O Google afirma que não há problema em bloquear alguns recursos JavaScript com Robots.txt

John Mueller, do Google, respondeu a uma pergunta sobre se não há problema em impedir que o Googlebot indexe um pop-up de verificação de idade que os visitantes do site devem ver. Sua resposta oferece alguma clareza sobre se é correto ocultar propositalmente alguns tipos de conteúdo do Googlebot e explica como os proprietários de sites podem fazer isso.

Pergunta sobre como ocultar o pop-up de verificação de idade

O Google exige que os editores permitam que o Googlebot rastreie tudo o que um usuário possa ver, mas nem sempre foi esse o caso. Houve um tempo, nos primeiros dias do SEO, em que os SEOs impediam o Google de baixar arquivos JavaScript e CSS para otimizar o orçamento de rastreamento e incentivar uma melhor indexação do site.

Mas chegou um momento em que o Google começou a renderizar páginas da web e, posteriormente, exigiu que os proprietários de sites permitissem que o Googlebot baixasse todos os recursos que um usuário veria. Alguns sites que continuaram a bloquear o download de recursos críticos do Google perderam temporariamente suas classificações.

Portanto, a questão de saber se é correto impedir o Google de indexar um pop-up é razoável.

O SEO perguntou no Reddit se não há problema em usar o robots.txt para evitar que o Googlebot indexe um pop-up de verificação de idade que um site é legalmente obrigado a exibir aos visitantes.

A pessoa descreveu um site hipotético que carrega um pop-up de verificação de idade de um domínio separado por meio de uma API. A questão era se bloquear o Googlebot de rastrear esse domínio externo impediria a renderização do pop-up.

Eles perguntaram:

“Digamos que eu tenha um site websiteA.com – por motivos legais, ele tem um pop-up de verificação de idade que fica em um domínio separado e é inserido na página por meio de uma API. Vamos chamá-lo de verifypopup.com

Digamos que eu queira impedir que o Google veja isso – se eu adicionasse uma proibição em verifypopup.com/robots.txt, isso impediria o Google de renderizar o pop-up?

(isso é apenas uma hipótese e peço desculpas pelo estúpido Q, não sou muito preocupado com tecnologia)”

Mueller afirma que bloquear este pop-up específico é bom

Mueller confirmou que usar o robots.txt para evitar que o Googlebot renderize o pop-up de verificação de idade geralmente funcionaria. Ele também sugeriu uma abordagem alternativa que envolve o bloqueio de um arquivo JavaScript responsável por carregar o pop-up.

Ele respondeu:

“Isso geralmente funcionaria. Se você estiver usando um arquivo de script JS específico para fazer isso, você também pode proibir esse arquivo javascript específico via robots.txt. (Se você tiver apenas um arquivo JS que faz um monte de coisas, eu não faria isso”

A resposta de Mueller indica que os algoritmos do Google podem ser mais flexíveis do que costumavam ser, pelo menos em relação a algo como este pop-up de verificação de idade. Sua resposta confirmou que os proprietários de sites podem usar o robots.txt para evitar que o Googlebot renderize um pop-up de verificação de idade, mesmo quando o pop-up é exibido aos visitantes do site.

Ele voltou horas depois para elaborar mais detalhadamente sobre duas maneiras de fazer isso, abordando duas maneiras pelas quais o pop-up é carregado e quais recursos o proprietário do site pode controlar.

Duas maneiras de evitar que o Googlebot renderize o pop-up

Mueller explicou que a primeira abordagem envolve impedir que o Googlebot rastreie o domínio externo que fornece o pop-up de verificação de idade.

Na situação de um domínio externo que é a origem do recurso que precisa ser bloqueado, o robots.txt do domínio externo pode proibir o rastreamento e o Googlebot não buscará esses recursos e, portanto, não poderá usá-los para renderizar o pop-up. Mueller disse que isso é comum em recursos relacionados à publicidade, onde um arquivo JavaScript responsável por exibir anúncios é bloqueado pelo robots.txt.

Muller explicou:

“Para elaborar as duas opções:

o conteúdo do site incorporado é bloqueado pelo robots.txt. Se você incorporar conteúdo de verifypopup-com em seu site (por exemplo, por meio de iframe ou chamando um script em verifypopup-com, etc.), e verifypopup-com proibir todo o rastreamento, os rastreadores que seguem o robots.txt (como o Googlebot) não buscariam esse conteúdo e não o usariam na renderização.

É assim que funcionam muitos serviços de anúncios. O Googlebot não rastrearia esses URLs como uma página separada, mas tentaria buscá-los durante a renderização e, se o robots.txt o bloquear, ele não buscará o conteúdo e não poderá usá-lo. Você precisa ter certeza de que suas páginas ainda carregam quando esses URLs não são buscados, mas para algo assim, isso geralmente não é um problema.

Seu site usa um arquivo JS específico para carregá-lo e você mesmo o bloqueia. Por exemplo, talvez você use um arquivo “load-verification-popup.js” para fazer isso. Se você bloquear essa página com robots.txt em seu site, o script não será carregado durante a renderização (bloqueado por robots.txt).

Na minha experiência, isso é menos comum, mas é uma opção. Se o robots.txt em verifypopup-com não for algo que você possa influenciar, você precisará fazer isso, se quiser evitar que ele seja visível/usado durante a renderização.”

Então, para recapitular, a segunda abordagem envolve bloquear um arquivo JavaScript usado para carregar o pop-up que está em outro domínio onde o uso de robots.txt não é uma opção.

Remover

A parte interessante da resposta de Mueller é que ele confirmou uma maneira de impedir deliberadamente o Googlebot de exibir um pop-up de verificação de idade que os visitantes humanos são obrigados a ver.

Ele também explicou que o site deve continuar carregando corretamente quando o Googlebot não conseguir buscar os recursos bloqueados. Para um pop-up de verificação de idade como o descrito na pergunta, ele indicou que isso geralmente não é um problema.

A conclusão geral é que não há problema em usar o robots.txt para evitar que o Googlebot baixe e renderize um pop-up de verificação de idade, mesmo que visitantes humanos sejam obrigados a vê-lo. A resposta de Mueller mostra que os proprietários de sites exercem algum controle sobre quais recursos o Googlebot utiliza durante a renderização, incluindo recursos que fazem parte da experiência apresentada aos visitantes.

Imagem em destaque por Shutterstock/TierneyMJ