O Google diz que poderia fazer sentido usar o cabeçalho NoIndex com llms.txt

John Mueller, do Google, respondeu a uma pergunta sobre o LLMS.txt relacionado ao conteúdo duplicado, afirmando que não faz sentido que isso seria visto como conteúdo duplicado, mas ele também afirmou que poderia fazer sentido tomar medidas para evitar a indexação.

Llms.txt

O LLMS.txt é uma proposta para criar um novo padrão de formato de conteúdo que os grandes modelos de idiomas possam usar para recuperar o conteúdo principal de uma página da Web sem ter que lidar com outros dados que não sejam de conteúdo, como publicidade, navegação e qualquer outra coisa que não seja o conteúdo principal. Ele oferece aos editores da Web a capacidade de fornecer uma versão com curadoria e formatada por marcação do conteúdo mais importante. O arquivo llms.txt fica no nível raiz de um site (exemplo.com/llms.txt).

Ao contrário de algumas reivindicações feitas sobre llms.txt, não é de forma semelhante ao robots.txt. O objetivo do robots.txt é controlar o comportamento do robô, enquanto o objetivo do llms.txt é fornecer conteúdo a grandes modelos de idiomas.

O Google View llms.txt como conteúdo duplicado?

Alguém no Bluesky perguntou se o llms.txt poderia ser visto pelo Google como conteúdo duplicado, o que é uma boa pergunta. Pode acontecer que alguém fora do site possa vincular o llms.txt e que o Google possa começar a aparecer esse conteúdo em vez ou além do conteúdo HTML.

Esta é a pergunta feita:

“Os arquivos do Google View LLMs.txt como conteúdo duplicado? Parece rígido pescoço para fazê -lo, já que eles sabem que não é e para que serve.

Devo adicionar um cabeçalho “noindex” para llms.txt para o googlebot? “

John Mueller respondeu:

“Seria apenas conteúdo duplicado se o conteúdo fosse o mesmo que uma página HTML, o que não faria sentido (assumindo que o próprio arquivo fosse útil).

Dito isto, o uso do Noindex poderia fazer sentido, pois os sites poderiam vincular -se a ele e, de outra forma, poderia se tornar indexado, o que seria estranho para os usuários. ”

Noindex para llms.txt

Usar um cabeçalho noindex para o llms.txt é uma boa ideia, pois impedirá que o conteúdo insira o índice do Google. Usar um robots.txt para bloquear o Google não é necessário, pois isso apenas impedirá o Google de rastejar o arquivo que impedirá que ele veja o NoIndex.

Imagem em destaque de shutterstock/krakenimages.com