Decodo lança API de dados da Web para fornecer acesso à Web aos agentes de IA
A Decodo, fornecedora líder de infraestrutura de dados da web, lançou a API Web Data, que coloca raspagem, mapeamento, rastreamento e pesquisa atrás de uma única chave de API. Projetado para startups de IA que criam agentes ou pipelines de recuperação, sua interface única fornece dados da web atualizados e estruturados.
“As startups de IA não têm tempo para construir sua própria infraestrutura de scraping”, observou o CEO da Decodo, Vaidotas Juknys. “A API de dados da Web fornece a eles uma chave para extração, pesquisa, mapeamento e rastreamento. Isso significa menos tempo na infraestrutura e mais tempo no produto.”
Desafio de dados enfrentado pela maioria dos agentes de IA
Os modelos de linguagem são treinados em um instantâneo fixo de informações. Os agentes que rastreiam uma empresa, um feed de notícias ou uma lista de preços precisam de dados atualizados. A geração aumentada de recuperação (RAG) também depende da atualidade dos documentos recuperados.
Extrair páginas ativas significa executar scrapers atrás de IPs rotativos, passar por CAPTCHAs e detecção de bot, seguido de limpeza de páginas incompletas e remoção de navegação, anúncios e clichês de tudo o que retorna. Construir essa infraestrutura ou montar ferramentas individuais tira tempo de engenharia dos produtos.
Conheça a API de dados da Web
A Decodo desenvolveu a API Web Data para eliminar esse trabalho adicional, trazendo quatro endpoints em uma conta e uma chave de API. Contratos separados de raspagem, pesquisa, mapeamento e rastreamento não são mais necessários. Cada endpoint aborda um estágio distinto no processo de coleta de dados da web.
- O Scrape recupera o conteúdo limpo de uma única página, mesmo por meio de proteção anti-bot.
- A pesquisa fornece resultados da web ao vivo, substituindo a API Fast Search oferecida anteriormente.
- O mapa revela a estrutura de um site; cada chamada pode retornar até 147.000 URLs.
- O rastreamento segue automaticamente os links de um site, coletando até 10 mil páginas em um único trabalho.
Um fornecedor para todos os quatro endpoints
Como os quatro funcionam em uma chave, uma equipe recebe uma fatura, um painel e um local para ler o uso. Cada um é suportado pela rede proxy da Decodo com mais de 125 milhões de IPs, abrangendo mais de 195 locais.
Também reduz as compras: um fornecedor para avaliar, uma fila de suporte para cobrança e questões técnicas, uma integração para novos contratados aprenderem.
Como as equipes já estão usando os 4 endpoints
Os quatro endpoints já estão disponíveis para fluxos de trabalho práticos e adaptados às necessidades de cada usuário:
- As equipes RAG convertem um site de documentação em Markdown limpo para incorporação por meio de um único trabalho de rastreamento.
- Os desenvolvedores que criam ferramentas de codificação usam a pesquisa para trazer resultados ao vivo para um IDE ou agente.
- As equipes jurídicas e de pesquisa localizam documentos mapeando o site de um regulador antes de rastrear esses documentos.
- As equipes de inteligência competitiva repetem regularmente trabalhos de mapeamento e rastreamento para monitorar o catálogo de um rival ao longo do tempo.
A melhor parte é que todos esses fluxos de trabalho são executados sem a necessidade de uma pilha de raspagem separada.
Comece aqui
A Decodo oferece até 10.000 solicitações gratuitas por mês, com uma cota compartilhada pelos quatro endpoints, sem necessidade de cartão de crédito. Essa cota é redefinida a cada mês, para que uma equipe possa realizar um piloto real antes de decidir por um nível pago.
Para startups de IA que comparam o tempo e o orçamento necessários para a infraestrutura interna de scraping com o licenciamento, a Web Data API reúne a extração de páginas com pesquisa, descoberta e rastreamento em uma integração. O nível gratuito permite que as equipes avaliem como ele se encaixa na pilha existente.
Imagem em destaque: Paul Poetry/Search Engine Journal
