Google lança Modern Web Guidance 1.0 para agentes de codificação de IA

O Google lançou a versão 1.0 do Modern Web Guidance, que é um conjunto de habilidades gratuito que as equipes de desenvolvimento web podem usar como um aprimoramento de suas ferramentas de codificação de IA, para que essas ferramentas escrevam código com base nos recursos atuais do navegador. As habilidades estão na forma de pacotes de diretrizes que o agente analisará ao escrever o código. O código gerado pelo agente também será enviado para as mesmas páginas que são avaliadas por métricas como Largest Contentful Paint (LCP), Interaction to Next Paint (INP) e acessibilidade.

Philip Walton, engenheiro sênior de relações com desenvolvedores do Google, anunciou o lançamento em uma postagem do Chrome for Developers. A versão 1.0 adiciona uma auditoria para o código existente, e Firefox e Edge estão se juntando ao projeto. O Chrome lançou a orientação pela primeira vez como uma prévia no Google I/O em maio.

As equipes podem instalá-lo executando npx modern-web-guidance@latest install em um diretório do projeto. Também está disponível nos mercados de plugins dos agentes de codificação mais populares, de acordo com a postagem.

O que há de novo na versão 1.0

A auditoria da versão 1.0 passará pelos arquivos HTML, CSS, JavaScript de um projeto, bem como por seu package.json, para identificar áreas onde os desenvolvedores podem atualizar seu código com segurança e, em seguida, orientar o agente nas alterações. Esta primeira iteração da auditoria usa análise estática para observar um número limitado de padrões de código, de acordo com a postagem.

A postagem diz que a biblioteca agora visa “centenas de lacunas verificadas de conhecimento de IA” em seus guias. Além disso, os modelos de codificação atuais continuam a falhar nos testes de acessibilidade, cabeçalhos de segurança e prioridade de carregamento de scripts e imagens do Google.

De acordo com o Google, cada um dos guias agora é revisado e aprovado por um líder técnico de domínio. Para guias de recursos voltados para o usuário, há uma análise de acessibilidade dedicada feita por especialistas que usam tecnologias assistivas diariamente.

Um documento de governança foi carregado no repositório GitHub do projeto em 9 de novembro, que descreve seis licenças de proprietário para o projeto. Duas dessas vagas pertencem ao Chrome, Microsoft Edge e Mozilla têm uma cada, e duas são concedidas a especialistas independentes em plataformas web. Atualmente há um assento independente aberto e nenhum assento pertence à Apple.

O que as avaliações do Google medem

O anúncio do Google está vinculado a um painel de avaliação público onde agentes de codificação da Anthropic, OpenAI e Google executam o mesmo conjunto de tarefas todas as noites, com e sem orientação. Um navegador real verifica o DOM, os estilos e o código-fonte de cada aplicativo finalizado.

Quando verifiquei na manhã de terça-feira, as execuções guiadas passaram em 88% das verificações automatizadas, enquanto as execuções não guiadas passaram em 56%. Esses números são baseados nos resultados combinados de cada agente nas execuções noturnas concluídas em 8 de novembro; o intervalo é de 199 a 215 tarefas por agente. O painel fornece uma revisão limitada (não uma auditoria WCAG completa, diz) de recursos de acessibilidade, como suporte para teclados, foco e rótulos de formulário.

Seus prompts de tarefa não mencionam a orientação, portanto, cada agente precisa resolver por conta própria quando um guia se aplica. Na maioria dos pacotes recentes listados, as execuções guiadas foram executadas mais lentamente e queimaram mais tokens.

O consultor de acessibilidade Adrian Roselli avaliou a prévia em maio, dando ao Antigravity (ferramenta de codificação de IA do Google) um prompt de acordeão animado encontrado na documentação. Porém, segundo Roselli, a saída não estava de acordo com as WCAG e sua animação não funcionava no Firefox. Ele também não encontrou nenhuma garantia de que os agentes seriam capazes de seguir as diretrizes. Isso foi para a visualização, não para a versão 1.0.

O que os primeiros usuários relataram

As novas diretrizes foram testadas pela plataforma de criadores do Japão, note inc. usando dois agentes de codificação que executaram seis tarefas de interface de usuário (IU) em 180 execuções de teste em versões clones da base de código de produção da note inc. Conforme explicado em um blog do Chrome, as pontuações de ambos os agentes em 19 verificações do navegador aumentaram após a instalação da habilidade sem nomeá-la nos prompts e, novamente, quando os prompts a nomearam. O Agente Um passou de 60,8% para 76,5% para 94,0%. Da mesma forma, o Agente Dois obteve pontuações de 75,8%, 86,2% e 90,0% nas mesmas três condições de teste.

Uma das tarefas do note verificava se a maior imagem exibida na página de um artigo tinha alta prioridade e não era carregada lentamente. A tabela de comparação na postagem mostra que agentes não guiados escreveram código de imagem herói usando alta prioridade e carregamento lento.

A orientação é executada pela MetaMask, como parte de um processo de revisão automática para cada solicitação pull enviada à sua extensão de navegador de código aberto, de acordo com uma segunda postagem do Chrome. Até 21 de outubro (primeiras cinco semanas), o bot identificou 102 problemas em 57 solicitações pull de recursos e correções. Os engenheiros resolveram totalmente 43 deles e resolveram parcialmente três deles. Outros 16 foram recusados ​​ou falsos positivos. Vinte deles ficaram sem resposta. O resultado dos outros 20 é desconhecido.

Por que isso é importante

O Modern Web Guidance fornece um meio gratuito para as equipes incentivarem os agentes que escrevem código a usar recursos nativos do navegador e isso inclui código em bases de código legadas existentes. A maioria dos resultados publicados são baseados em testes conduzidos pelo Google, bem como em testes de clientes destacados pelo Google. A Note Inc. testou os dois agentes usando o mesmo prompt com e sem instruí-los a usar a orientação; ambos tiveram melhor desempenho quando o prompt lhes disse para usar a orientação. A equipe também pode rotular seus prompts para incluir a orientação e manter os dados de campo e os testes manuais de acessibilidade na revisão.

Olhando para o futuro

O Google afirma que planeja expandir esse processo de auditoria do código existente em algum momento, bem como realizar auditorias nas quais o agente raciocina sobre o código real que está sendo auditado.

A empresa sugere combinar a orientação com o Chrome DevTools para agentes para permitir que o agente execute seu próprio código criado e teste-o dentro do navegador. Os usuários de visualização podem usar o comando npx modern-web-guidance@latest update.

Imagem em destaque: Accogliente Design/Shutterstock

Fonte: Google.