Rastejantes assustadores

Rastejantes assustadores (via) Konstantin Ryabitsev discute o quão ruim se tornou a “radiação de fundo” de rastreadores abusivos da perspectiva de git.kernel.org, o repositório Git oficial para o kernel Linux:

DR: gastamos mais ciclos de CPU renderizando commits para scrapers do que gastamos em todos os outros tipos de acesso legítimo, incluindo clones git. A qualquer momento, em 5 nós distribuídos geograficamente, há 14 núcleos de CPU que não fazem nada além de renderizar commits do git como html.

Eu me preocupo muito com isso do ponto de vista do Datasette, que atende a um grande número de páginas da web rastreáveis.