Esta é a ferramenta de pesquisa de IA do Flock para policiais

Flock disse à WIRED que os policiais não podem realizar pesquisas usando atributos proibidos, incluindo religião e nacionalidade, e que uma tentativa de pesquisar termos proibidos “será bloqueada”. Questionada sobre quais circunstâncias produzem um alerta nessas duas categorias, a empresa não disse.

Quando uma camiseta ou adesivo traz um aviso porque o texto inclui discurso com “proteções constitucionais”, os policiais são informados de que a busca será registrada e que os administradores serão notificados. Os oficiais então precisam marcar uma caixa de confirmação e deixar um comentário antes de poderem clicar em Continuar com a pesquisa mesmo assim.

Flock diz que o alerta abre espaço para trabalho legítimo, oferecendo como exemplo uma vítima que descreve um suspeito vestindo uma jaqueta de gangue de motoqueiros com “um determinado logotipo ou emblema de gangue contendo uma bandeira ou outra insígnia”. Um oficial que procede é reportado a um administrador em seu próprio departamento para revisão.

Kate Ruane, que dirige o projeto de liberdade de expressão do Centro para Democracia e Tecnologia, passou anos estudando como funcionam os sistemas automatizados de moderação. A expressão política, social e cultural é “uma categoria incrivelmente amorfa”, diz ela, e uma das razões pelas quais a busca de um agente pode conter linguagem que a inclua é para ver quem participou num protesto. Isso já aconteceu. A categoria preocupa Flock o suficiente para que o sistema retorne um aviso, ela ressalta, “mas você ainda pode obter os resultados se apenas clicar”.

“Nenhuma moderação de conteúdo feita em grande escala é necessariamente precisa”, diz ela. A análise de vídeos em movimento, diz ela, é ainda mais difícil e dá errado com mais frequência.

As categorias que são bloqueadas podem ser contornadas, diz Ruane. O sistema bloqueia buscas baseadas na religião, mas não no vestuário, o que significa que, na prática, um policial poderia contornar o quarteirão procurando o traje característico usado por alguns membros de uma determinada religião. “Muitas pessoas estão tendo suas imagens devolvidas em resposta a esses tipos de perguntas que provavelmente ficariam chateadas se soubessem disso.”

Numa pesquisa no ano passado, um oficial na Califórnia digitou “bandeira americana”. A busca desenhou um bloqueio quando direcionada a uma pessoa e, em seguida, passou por 11 mil câmeras quando direcionada a veículos.

Um aviso interrompe apenas os policiais que ainda não estão determinados a realizar a busca, diz Deepak Kumar, professor assistente de ciência da computação e engenharia na UC San Diego. Kumar, que estuda sistemas de confiança e segurança, aponta para interfaces construídas para lidar com o assédio online, onde utilizadores motivados por vezes causavam mais danos depois de serem avisados, e para alertas de navegador destinados a afastar as pessoas de websites maliciosos, onde o efeito depende da forma como os avisos são apresentados.

“Esse tipo de registro pode ser útil administrativamente, para ver quais policiais ou usuários finais ignoram os avisos com frequência, mas esse valor depende inteiramente de alguém o administrar”, diz Kumar. “Funciona menos como um impedimento e mais como um registro.”

A revisão dos termos de pesquisa antes da execução de uma consulta irá inevitavelmente detectar muitas tentativas de uso indevido, mas isoladamente, sabe-se que tais salvaguardas falham sem um escrutínio igual do que o modelo envia de volta. “As melhores práticas examinam tanto as entradas como as saídas”, diz Kumar, “é por isso que tantos esforços de segurança da IA ​​verificam agora ambos para evitar que os modelos gerem resultados prejudiciais”.