A pesquisa ChatGPT pode atrair mais páginas após um piloto do Cloudflare
Cloudflare e OpenAI afirmam que um piloto de pesquisa ajudou a OpenAI a descobrir e indexar centenas de milhões de novas páginas da web. O piloto utilizou um grupo participante de cerca de 1% da rede total da Cloudflare.
As empresas compartilharam esses resultados iniciais em 15 de outubro em uma postagem no blog da Cloudflare, de autoria de dois funcionários da OpenAI. Cloudflare anunciou o piloto em 8 de julho.
A postagem diz que encontrar novas páginas pode inicialmente aumentar o rastreamento e não informa com que frequência as novas páginas foram citadas no ChatGPT ou quantas visitas elas enviaram.
Como os sinais da Cloudflare ajudam a OpenAI a encontrar páginas
Os sinais de rede da Cloudflare são usados pela OpenAI para ajudar seu rastreador de pesquisa a encontrar páginas da web com valor. A postagem do blog fornece vários exemplos dessas páginas, como o guia do usuário de uma máquina de lavar específica, as informações mais recentes sobre requisitos e taxas de passaporte e o cardápio e horário de funcionamento de um restaurante. Afirma que essas páginas “podem ser valiosas mesmo que poucos outros sites tenham links para elas”.
O anúncio de 8 de julho declarou alguns dos novos sinais que serão utilizados, incluindo há quanto tempo uma página foi atualizada, a qualidade do tráfego para um site e quais atualizações foram realmente feitas em uma página. Além disso, o anúncio afirma que esta informação vem dos sites participantes. Porém, nenhum anúncio explica quem participou, nem se as novas páginas estão em seus sites.
O que os sinais fazem para o rastreamento
A postagem de 15 de outubro afirma que os sinais da Cloudflare também ajudarão os rastreadores da OpenAI a evitar solicitações desnecessárias. Os bots fazem repetidas tentativas de obter arquivos que não estão disponíveis no servidor, alguns sites redirecionam quase qualquer endereço para suas páginas iniciais e outros endereços levam a cópias do mesmo conteúdo. Os sinais de mudança indicam ao rastreador se uma determinada página da web deve ser visitada novamente ou se não haveria valor em fazê-lo.
As empresas também estão testando sinais que sinalizam páginas potencialmente prejudiciais. O exemplo deles é um formulário de login falso que um invasor plantou em uma página de um site legítimo, onde o objetivo é sinalizar essa página em vez de todo o domínio. Os primeiros resultados sugerem que os sinais podem ajudar a identificar páginas a serem mantidas fora de um índice, diz o post.
A postagem diz que o objetivo é reduzir a carga desnecessária para os clientes da Cloudflare, embora não forneça números sobre o volume de rastreamento ou carga do servidor. Também diz: “Encontrar novas páginas pode inicialmente aumentar o rastreamento à medida que essas páginas são avaliadas e indexadas”.
As configurações do rastreador ainda decidem o acesso
A postagem do blog de 15 de outubro inclui a declaração “Um sinal sobre uma página não concede permissão para acessá-la”. O blog também afirma que os pesquisadores estão usando metadados da web para melhorar os recursos de pesquisa e descoberta de seus mecanismos de pesquisa, em vez de compartilhar o conteúdo da página para treinamento de modelo.
O documento que descreve como funciona o rastreador da OpenAI divide a pesquisa e o treinamento em duas diretivas robots.txt separadas. Portanto, se um site bloquear o OAI-SearchBot (o robô que busca informações), o site não será incluído nos resultados do mecanismo de pesquisa do ChatGPT; no entanto, os sites bloqueados ainda podem aparecer como links de navegação. Se um site permitir o rastreamento por ambos os bots (GPTBot (o bot que coleta conteúdo que pode ser usado para treinamento) e OAI-SearchBot), então a OpenAI poderá utilizar os dados coletados durante um rastreamento para ambos os fins.
A postagem de 15 de outubro direciona o leitor ao AI Crawl Control da Cloudflare, que está atualmente disponível em todos os planos. Este serviço mostra quais serviços de IA estão acessando seu site e oferece a opção de permitir ou bloquear cada rastreador.
Por que isso é importante
O ChatGPT terá outra fonte de onde extrair informações quando uma página estiver no índice do OpenAI. As empresas afirmam que a OpenAI avalia e classifica de forma independente as páginas que indexa, portanto não há garantia de ser citado quando suas páginas forem encontradas por meio do piloto.
Permitir o OAI-SearchBot enquanto bloqueia o GPTBot significa que seu site permanece acessível por meio dos resultados de pesquisa do ChatGPT, mas indica que seu conteúdo rastreado não deve ser usado para fins de treinamento. OpenAI forneceu essa mesma configuração como exemplo em sua página do rastreador.
O rastreamento de visitas do ChatGPT depende de uma tag UTM ou de um referenciador, e alguns links do ChatGPT estavam faltando no início deste mês, conforme relatei em 15 de outubro. Um analista disse que uma correção começou a ser implementada naquele dia.
Olhando para o futuro
Cloudflare e OpenAI afirmam que o próximo estágio de desenvolvimento deste projeto inclui melhorar a forma como uma página da web é selecionada por uma IA, testar indicadores mais rápidos e confiáveis para mudanças no conteúdo e medir os resultados quando a IA encontrar novo conteúdo.
De acordo com a Cloudflare, eles estão atualmente trabalhando com a OpenAI para determinar como a descoberta aprimorada de conteúdo pode se traduzir em resultados de negócios.
Além disso, de acordo com uma postagem no blog de 1º de julho da Cloudflare anunciando sua pesquisa sobre sinais de rede e pesquisa de IA, a Cloudflare pretende fornecer amplo acesso a esse recurso em algum momento durante o restante de 2026 (como mencionei em meu relatório de setembro). De acordo com o anúncio de 15 de outubro, não houve data específica anunciada.
Enquanto isso, a atividade do rastreador OpenAI em seu próprio site aparece nos logs do servidor e no AI Crawl Control.
Imagem em destaque: Tetiana Yurchenko/Shutterstock
