Editores dos EUA exigem que o rastreamento comum pare de extrair seu conteúdo
Digital Content Next, um órgão comercial que representa os editores digitais dos EUA, enviou uma carta de cessação e desistência à Common Crawl Foundation.
A carta exige que o Common Crawl pare de coletar conteúdo do editor e remova o material que já está em seus conjuntos de dados.
O CEO da DCN, Jason Kint, anunciou o aviso legal em uma postagem no blog, e o Press Gazette relatou detalhes adicionais da carta esta semana.
O Common Crawl rastreou vários bilhões de novas páginas todos os meses desde 2007 para construir um arquivo público gratuito. Esse arquivo tem sido usado para treinar muitos dos modelos de IA em uso atualmente. O artigo GPT-3 da OpenAI listou o Common Crawl filtrado como 60% do mix de treinamento do modelo.
A disputa é importante para qualquer site que bloqueie rastreadores de IA. O bloqueio do rastreador do Common Crawl, CCBot, interrompe a coleta futura, mas não toca no conteúdo já no arquivo, que qualquer pessoa ainda pode baixar.
O que a DCN exige
A carta apela ao Common Crawl para parar de “raspar, reter ou compartilhar conteúdo protegido por direitos autorais, acesso pago, exclusivo para assinantes ou de outra forma protegido de empresas membros da DCN em seus conjuntos de dados” e remover conteúdo de membros que já tenha coletado.
A DCN afirma que o Common Crawl “violou flagrantemente” conteúdo protegido por direitos autorais ao criar seus conjuntos de dados e compartilhá-los com empresas de IA.
A carta argumenta que “a lei de direitos autorais não é um regime de exclusão”. Em outras palavras, a posição da DCN é que os editores não deveriam ter que pedir para serem excluídos. O rastreamento comum deve precisar de permissão para incluí-los.
Kint escreveu que o aviso:
“desafia uma suposição crescente de que o conteúdo criado através de investimentos substanciais pode ser coletado, armazenado, reaproveitado e monetizado simplesmente porque é tecnicamente acessível.”
Por que a DCN duvida do processo de remoção
A carta da DCN questiona se o Common Crawl segue as instruções de exclusão e se remove conteúdo quando solicitado. De acordo com o Press Gazette, os advogados do DCN estão examinando se as declarações do Common Crawl aos editores “podem ter sido imprecisas ou enganosas”.
Common Crawl publica um registro público de sites que pediram para não serem copiados. Inclui entradas para a Associated Press, a BBC e uma grande submissão da News/Media Alliance cobrindo centenas de domínios. Press Gazette relata que a lista também inclui outras grandes editoras.
Esta não é a primeira vez que o processo de remoção é questionado. O Atlantic informou em novembro que o conteúdo do The New York Times e de editores dinamarqueses ainda estava disponível depois que o Common Crawl concordou em removê-lo.
Resposta do rastreamento comum
O diretor executivo do Common Crawl, Rich Skrenta, se recusou a comentar a carta quando contatado pela Press Gazette.
Ele já rejeitou afirmações semelhantes antes. Em uma postagem de blog em novembro em resposta ao The Atlantic, Skrenta negou que a organização tenha mentido para editores ou raspado material com acesso pago.
Ele disse que o formato do arquivo não pode ser editado após a publicação sem quebrar sua integridade. Em vez disso, o Common Crawl diz que remove ou filtra URLs afetados de rastreamentos subsequentes e os torna inacessíveis por meio de suas ferramentas e índices públicos:
“Quando um editor nos pede para remover material rastreado anteriormente, respondemos prontamente e iniciamos um processo de remoção que reflete o design técnico do nosso conjunto de dados.”
Ele acrescentou:
“Ninguém na Common Crawl jamais afirmou que este trabalho foi instantâneo ou completo; em vez disso, fomos abertos sobre sua complexidade e natureza contínua.”
Em uma postagem no fórum esta semana, Skrenta disse que o Common Crawl está contribuindo para o trabalho de padrões abertos sobre como os sites expressam preferências de raspagem de IA.
Por que isso é importante
A carta da DCN tem como alvo o arquivo armazenado, não apenas o rastreamento futuro, e argumenta que o ônus não deveria recair sobre os editores em primeiro lugar.
A maioria dos editores da amostra do BuzzStream já tomou a decisão de bloqueio, com 79% dos 100 sites de notícias verificados bloqueando pelo menos um bot de treinamento. Os dados da análise anual da Cloudflare que cobrimos em janeiro encontraram o CCBot entre os bots com as diretivas de proibição mais completas nos principais domínios. A questão que o DCN levanta é o que esses blocos realizam se, de qualquer maneira, anos de conteúdo permanecerem disponíveis para treinamento.
Olhando para o futuro
O escalonamento do DCN depende de como o rastreamento comum responde, e o rastreamento comum não disse como isso acontecerá. Os dois lados querem regras diferentes para quem age primeiro.
Skrenta está apoiando o trabalho de padrões que permitiria aos sites declarar suas preferências de raspagem, o que continua sendo o modelo. A CMA do Reino Unido seguiu um caminho semelhante quando exigiu que o Google permitisse que os editores cancelassem os recursos de pesquisa de IA.
A DCN argumenta que os scrapers devem primeiro precisar de permissão. Se mais grupos comerciais adotarem esse argumento, a pressão passará dos arquivos robots.txt individuais para os próprios arquivos.
Imagem em destaque: André Boukreev/Shutterstock
