O Google perdeu seu caso de raspagem – agora você precisa escolher um lado na web aberta
Aqui está uma frase que pensei que não escreveria: estou do lado de um raspador de busca que revende dados para empresas de IA. Não porque o SerpApi seja o mocinho. Não há nenhum cara legal aqui. Mas um juiz federal na Califórnia decidiu contra o Google em sua briga com eles, e o princípio subjacente à decisão é o correto, mesmo que o Google tenha aparecido vestindo a fantasia mais feia disponível. Se estiver na web aberta, uma máquina poderá lê-lo. E isso tem que incluir a leitura automática do Google. Você não passa mais de duas décadas construindo a biblioteca mais rica do planeta rastreando as páginas de todos os outros e depois fica chocado quando alguém aponta um rastreador para a sua.
Então, ou estamos realmente falando dessa coisa de web aberta, ou paramos de dizê-la.
O que o tribunal realmente disse
Em 20 de julho, a juíza-chefe Yvonne Gonzalez Rogers rejeitou as reivindicações DMCA do Google contra a SerpApi, uma empresa cujo negócio inteiro consiste em extrair os resultados de pesquisa do Google e revendê-los por meio de uma API, cada vez mais para empresas de IA. A teoria do Google era que a SerpApi violou a lei ao contornar o SearchGuard, seu sistema anti-bot. Se você ainda não ouviu falar do SearchGuard, junte-se ao clube: é o mecanismo interno que o Google usa para detectar o tráfego automatizado e impedi-lo de obter resultados de pesquisa, o segurança na porta dos resultados do Google. A alegação do Google era que espancar aquele segurança contava como evasão ilegal sob o DMCA, a mesma lei que torna ilegal quebrar a proteção contra cópia em um DVD. O juiz não ficou convencido. Seu raciocínio: o SearchGuard protege a receita de anúncios do Google, não um trabalho protegido por direitos autorais, e a anti-evasão do DMCA tem a ver com direitos autorais. Uma barreira em torno do seu modelo de negócios não é um bloqueio para um arquivo protegido por direitos autorais. Ela rejeitou a afirmação com preconceito sempre que nenhum conteúdo protegido por direitos autorais estava envolvido e deu ao Google 21 dias para apresentar uma versão restrita sobre as imagens do Painel de conhecimento. Boa sorte com isso.
Deixe-me ser honesto sobre o elenco. A SerpApi explora em escala industrial e revende os resultados, muitos deles alimentando exatamente as empresas de IA com as quais todos estão nervosos, então não, não é um reclamante solidário. O Google é uma empresa de um trilhão de dólares que se construiu rastreando a web aberta e agora quer que a lei de direitos autorais impeça outros de rastreá-la, o que também não é uma posição simpática. São dois pesos pesados brigando para ver quem empacota a web, e o resto de nós está assistindo dos assentos baratos. É o meme da pior pessoa que você conhece que faz uma grande afirmação, em formato legal.
As pessoas não estão nesta luta
Quando a história é contada como SerpApi versus Google, algo falta: a web aberta deveria ser do povo e para o povo. Olhe para essa luta e tente encontrar uma pessoa nela. Os usuários cujas pesquisas, páginas e perguntas fazem com que valha a pena explorar a web não participam de nada. Duas empresas brigam pelos despojos, um juiz estabelece um limite e todos os demais leem sobre o resultado mais tarde.
Mas a linha que ela traçou é honesta, e eu seguirei uma linha honesta mesmo em uma briga feia. Se estiver na web, deve ser acessível a quem quiser lê-lo. Esse é um princípio adorável quando se trata do muro de outra pessoa caindo. Dói quando você lembra quem é o dono do maior rastreador do planeta. Toda a existência do Google é a web aberta transformada em produto. Executar esse manual por mais de duas décadas e depois declarar seus próprios resultados como o único canto à prova de rastreamento da Internet não é uma posição legal, é coragem. O Google também é um jogo justo. Esse foi o acordo que assinou no dia em que apontou seu primeiro rastreador para o site de outra pessoa.
E esta é toda a Agentic Web, não uma nota de rodapé
“Em que termos um visitante automatizado pode acessar conteúdo público da web?” é a questão fundadora da web agente, não uma briga de nicho, e não termina com o SerpApi. Um raspador revendendo resultados, um mecanismo de resposta lendo suas páginas para citá-lo, um agente de compras aparecendo para comprar em nome de alguém, um assistente verificando suas especificações para compará-lo com um concorrente. Aos olhos da lei, isso é uma coisa: um visitante automatizado de conteúdo público. SerpApi é o primeiro caso de teste feio. Qualquer que seja o limite que os tribunais tracem em torno dele, é o limite para todos eles.
E isso não é um problema algum dia. Uma parcela real e crescente do que já chega ao seu site não é humana. Os termos de quanto você supera esses visitantes estão sendo escritos agora, um processo por vez, em brigas nas quais você não tem assento. É exatamente por isso que a única decisão que é sua é tão importante quanto é.
Onde você realmente se senta
Você também está nisso e é duas coisas ao mesmo tempo, e elas não se dão bem.
Você é uma das pessoas. Seu conteúdo é copiado, revendido e colocado em modelos, e ninguém lhe enviou um formulário para assinar. A briga também é pela sua web, e seu assento à mesa é do mesmo tamanho que o dos usuários: nenhum.
Você também é um pequeno Google. Você gostaria de ter uma palavra a dizer sobre quem recebe seu conteúdo e em que termos, e talvez gostaria de ser pago por isso. Esta decisão reduz as ferramentas para isso, porque o precedente não tem nada a ver especificamente com o Google. Um muro anti-bot que protege sua receita em vez de um trabalho protegido por direitos autorais é o que a maioria dos sites administra, e o tribunal disse que esse tipo de muro não garante proteção DMCA.
Esta é a mesma fronteira que o caso Amazon v. Perplexity está testando no extremo oposto. Esse é executado no CFAA e pergunta se um agente de IA conta como visitante autorizado quando atua em seu site. Este é executado no DMCA e pergunta se o seu muro anti-bot conta como proteção de direitos autorais. Estatutos diferentes, a mesma questão subjacente e o kit de ferramentas para manter as máquinas afastadas continua a ser mais curto do que as pessoas que contavam com ele esperavam.
Pare de esperar que outra pessoa decida
A conclusão não é uma caixa de seleção para virar. É onde sua cabeça deveria estar.
Você não pode se deleitar na web aberta para descobrir cada fragmento de tráfego que você já encontrou, citou ou classificou, e então agarrar suas pérolas quando essa mesma abertura permite que uma máquina que você não gosta leia você também. É uma teia, não duas. A consistência ocorre nos dois sentidos, quer você goste da direção ou não.
Então faça a ligação você mesmo. Decida o que você deseja abrir e o que deseja fechar, por rastreador, propositalmente, usando o rastreador de IA que controla seu host, ou o CDN já oferece, sabendo que o fundamento legal para “bloqueá-los” ainda está em movimento e pode não ser válido. Não terceirize essa decisão para um tribunal que arbitra uma luta em que você não participa, e não a terceirize para um plugin que alterou um padrão que você nunca leu. Adquira-o.
Lute pela web aberta ou pare de fingir. O que quer que você escolha, realmente escolha. No momento, o Google e um raspador do qual você nunca ouviu falar estão fazendo esse apelo por você, e retirá-lo é o único passo em toda essa luta que é sua.
Mais recursos:
Este post foi publicado originalmente no No Hacks.
Imagem em destaque: Esboços mistos/Shutterstock
