Respostas de IA que fazem mais do que parecer plausíveis

O Google Research publicou um artigo que estuda como fazer com que sistemas generativos de IA produzam respostas que façam mais do que parecer plausíveis. Os investigadores dizem que a sua estrutura ALDRIFT “abre caminhos emocionantes” para ir além de respostas que apenas têm uma probabilidade elevada.

O artigo, intitulado “Otimização com eficiência de amostra sobre antecedentes generativos por meio de capacidade de aprendizado grosseiro“, examina um problema em que as respostas geradas devem permanecer prováveis ​​sob um modelo, ao mesmo tempo que se movem em direção a um objetivo separado. A pesquisa aponta para novos caminhos para abordar a armadilha da plausibilidade da IA.

Google SEMPRE

A evidência no artigo centra-se em uma estrutura chamada ALDRIFT (Algorithm Driven Iterated Fitting of Targets). O método refina repetidamente um modelo generativo em direção a respostas de baixo custo e utiliza uma etapa de correção para reduzir o erro acumulado durante o processo.

O artigo também apresenta “capacidade de aprendizagem aproximada”. O termo significa que o modelo aprendido não precisa corresponder perfeitamente ao alvo ideal. É necessário manter cobertura suficiente sobre partes importantes do espaço de resposta para que possibilidades úteis não sejam perdidas demasiado cedo. Sob essa suposição, os autores provam que o ALDRIFT pode aproximar a distribuição alvo com um número polinomial de amostras.

ALDRIFT opera em uma configuração de duas partes

ALDRIFT opera em uma configuração de duas partes:

1. O modelo generativo representa quais tipos de respostas permanecem prováveis ​​no modelo.
2. O processo de pontuação externa mede se uma resposta candidata tem um bom desempenho em relação ao objetivo pretendido.

Os autores descrevem essa pontuação como um “custo”. A palavra “custo” refere-se à penalidade medida atribuída a uma resposta candidata. Um custo menor significa que o candidato se saiu melhor de acordo com o requisito verificado. ALDRIFT não procura simplesmente qualquer resposta de baixo custo. Ele procura respostas com boa pontuação, embora permaneça provável no modelo generativo.

Algumas respostas de IA precisam funcionar como um todo

Os pesquisadores estão focados em respostas de IA para problemas onde a resposta deve funcionar no mundo real, como seus exemplos de planejamento de rotas e planejamento de conferências.

• Planeamento de rotas: O artigo explica que um LLM pode avaliar se segmentos de rota individuais são panorâmicos, mas pode ter dificuldades para garantir que esses segmentos se liguem num caminho válido.
• Planejamento de conferências: Um LLM pode agrupar sessões por tópico, enquanto um algoritmo clássico pode ser necessário para agendar essas sessões em um horário sem conflitos.

Esses exemplos mostram por que o artigo trata respostas plausíveis como apenas parte do problema. A questão mais difícil é produzir respostas que permaneçam coerentes quando partes separadas têm de trabalhar juntas como uma solução completa.

A suposição grosseira de aprendizagem

O artigo trata isso como um problema de orientar um modelo generativo em direção a respostas que se mantenham unidas em todas as suas partes. Os autores conectam o problema ao alinhamento no tempo de inferência, onde um modelo é ajustado durante o uso com base no fato de uma resposta específica funcionar como uma solução completa. Essa conexão confere relevância prática à pesquisa, embora a contribuição do artigo permaneça teórica e dependa do pressuposto grosseiro da capacidade de aprendizagem.

A frase “suposição grosseira de capacidade de aprendizagem” significa que a teoria do artigo depende da suposição de que o modelo pode manter possibilidades úteis suficientes disponíveis enquanto é empurrado para melhores respostas.

Isso não significa que o modelo tenha que aprender o alvo perfeitamente. Isso significa que o modelo deve preservar cobertura suficiente do espaço de respostas para que o processo não fique preso muito cedo ou perca possíveis respostas melhores.

Métodos de otimização existentes deixam lacunas limitadas por amostra

O artigo identifica várias lacunas na forma como os métodos de otimização existentes são entendidos:

• Limitação dos métodos existentes: Os métodos clássicos de otimização baseados em modelos baseiam-se em “argumentos de convergência assintótica”. Isso significa que eles são compreendidos teoricamente após grandes quantidades de amostragem, mas não necessariamente em ambientes práticos com amostras limitadas.
• Falha com modelos expressivos: O artigo diz que essas suposições clássicas “quebram” ao usar modelos generativos expressivos, como redes neurais.
• Lacuna na compreensão: Os autores dizem que o “comportamento de amostra finita” da otimização neste cenário é “teoricamente descaracterizado”. Isso significa que a teoria não explica completamente como estes métodos se comportam quando apenas amostras limitadas estão disponíveis.

A solução do artigo é introduzir a “capacidade de aprendizagem aproximada” para explicar como um modelo generativo pode ser levado a melhores respostas, mantendo ao mesmo tempo possibilidades úteis suficientes disponíveis ao longo do caminho.

A evidência do LLM é limitada

A principal prova do artigo se aplica a modelos analíticos generativos, que são mais fáceis de analisar matematicamente do que os LLMs modernos. A evidência do LLM é mais restrita: os autores usam GPT-2 em escalonamento simples e problemas relacionados a gráficos, mostrando um comportamento que apóia a ideia sem provar que as mesmas suposições são válidas para os LLMs modernos.

A pesquisa aponta para uma base para pesquisas futuras

O artigo oferece uma base teórica para estudar como os modelos generativos podem ser combinados com processos de verificação externa.

A pesquisa mostra que os pesquisadores do Google estão explorando uma estrutura para abordar o problema da “resposta plausível”, e os autores escrevem que a “estrutura abre caminhos interessantes para pesquisas futuras”. Eles concluem que esta pesquisa aponta “para uma base de princípios para modelos generativos adaptativos”.

Conclusões

• O requisito de “cobertura”:
  A capacidade de aprendizagem grosseira significa que o modelo não precisa aprender o alvo perfeitamente. Precisa evitar a perda de áreas úteis do espaço de resposta onde poderiam existir melhores soluções.
• A etapa de correção é importante:
  ALDRIFT usa uma etapa de correção para manter a pesquisa mais próxima do alvo pretendido à medida que o modelo é empurrado para melhores respostas.
• Abordagem em duas partes:
  A estrutura usa uma divisão de trabalho. O modelo generativo lida com preferências qualitativas ou semânticas, enquanto um processo separado verifica se a resposta funciona como uma solução completa.
• Evidência limitada de LLM:
  Testes com GPT-2 mostraram comportamento que apoia a ideia em agendamento simples e exemplos relacionados a gráficos, mas não prova que as mesmas suposições sejam válidas para LLMs modernos.
• O uso no mundo real é o objetivo maior:
  A pesquisa é importante para SEOs e empresas porque cada vez mais se espera que as respostas de IA façam mais do que resumir informações. Eles precisam apoiar decisões, planos e ações que se mantenham unidos fora da interface de chat. Embora a estrutura provavelmente não esteja sendo usada na produção, ela mostra que o Google está progredindo no fornecimento de respostas que são mais do que plausíveis.

Leia o artigo de pesquisa aqui:

Otimização com eficiência de amostra sobre antecedentes generativos por meio de capacidade de aprendizagem aproximada (PDF)

Imagem em destaque por Shutterstock/Faizal Ramli