Os experimentos de IA da Adobe permitem explorar fotos e entrevistar personagens

Algumas das tecnologias mais impressionantes que a Adobe apresenta em sua conferência anual Max a cada ano são os recursos experimentais que está desenvolvendo, e as mais recentes dessas ferramentas estão sendo anunciadas hoje: elas podem transformar imagens em cenas 3D exploráveis, criar personagens de IA conversando com eles e transformar a edição de fotos em um processo de copiar/colar.

O primeiro (e mais estranho, na minha opinião) é o Project Screen Test, que foi projetado para tornar os personagens gerados por IA mais fáceis de desenvolver e usar em conteúdo de vídeo. Em vez de apenas descrever como o personagem deve soar e se comportar em instruções de texto, a ferramenta permite conversar com o personagem e direcioná-lo em um ambiente semelhante ao de um teste. Você começa descrevendo alguns traços básicos de personalidade, como “ansioso, tímido, estranho”, e dando voz ao personagem, seja selecionando uma predefinição, descrevendo como soa em um prompt ou enviando uma amostra de áudio para referência.

Você pode então expandir sua personalidade com mais detalhes conversando com o personagem como se estivesse falando no FaceTime, descrevendo sua história de fundo, temperamento, objetivos, falhas, medos, peculiaridades de movimento e muito mais. Quando estiver satisfeito, a ferramenta permite gerar testes de tela animados com o personagem, descrevendo um ambiente ou cenário em que você deseja colocá-lo.

Atualmente, este é um exercício criativo independente e não está claro como (ou se) ele poderia aparecer em qualquer uma das ferramentas de vídeo de IA existentes da Adobe. Os resultados forneceram uma personalidade mais identificável e consistente em comparação com muitos personagens animados de IA sem alma que já vi, mas essa é a razão pela qual isso existe – a geração de vídeo por IA fornece distante menos controle criativo em comparação com a animação tradicional, onde cada aspecto de um personagem é incluído com intenção absoluta.

Há também o Project Sight Span, que reformula fotografias e imagens, transformando-as em um ambiente 3D pelo qual você pode navegar e reposicionar. O espaço 3D gera objetos e planos de fundo que estão fora do quadro original, mas parecem uma parte natural da imagem, mesmo se você estiver se virando para ver o que está atrás de você. Embora os visuais no ambiente 3D sejam pixelados e mal definidos, a qualidade da resolução é restaurada quando você seleciona o ângulo escolhido.

Sight Span funciona com qualquer imagem plana, incluindo fotos, pinturas e ilustrações, e pode preservar e replicar estilos artísticos. Mesmo tatuagens e características faciais reposicionadas nas fotografias permanecem surpreendentemente reconhecíveis e fiéis à referência original. É um pouco como uma versão do recurso Spatial Reframing da Apple com esteróides: você pode reposicionar de forma mais agressiva e mudar totalmente o ponto de disparo se quiser, mas também parece muito menos merecedor de ser chamado de foto depois.

Project Sound Bender é um recurso de mixagem de áudio AI que permite personalizar efeitos sonoros como se você estivesse clicando com o cursor em uma roda de cores. Ele funciona enviando um videoclipe e, em seguida, descrevendo o áudio desejado em um prompt de texto, como “ruídos borbulhantes de caldeirão de ficção científica”. O Sound Bender então gera efeitos sonoros e os sincroniza automaticamente com o vídeo, além de fornecer uma tela sonora quadrada que permite ajustar os ruídos em tempo real. Cada canto da tela atribuirá automaticamente um som relevante gerado por IA, como gorgolejar denso com bolhas estourando, pedras fervendo estrondosas, bloops agudos e fogo elétrico crepitante. Você pode arrastar o cursor pela tela para selecionar quais ruídos se destacam mais ou personalizar cada canto com diferentes efeitos sonoros.

A Adobe também apresentou o Project Rinse Repeat, que permite copiar edições e aplicá-las automaticamente a outros objetos ou pessoas na mesma foto. Por exemplo, se você retocar meticulosamente acne ou manchas em uma pessoa, o Rinse Repeat adaptará suas alterações específicas a qualquer outra pessoa em um grupo de pessoas que precise de retoques semelhantes. Também pode ser usado para adicionar sombras a produtos em gráficos de marketing, mesmo que os objetos tenham formatos e tamanhos diferentes. Rinse Repeat foi desenvolvido em torno do Photoshop, e as edições aplicadas a outros assuntos permanecem totalmente editáveis ​​porque a ferramenta as recria com ferramentas nativas do Photoshop.

Essas “espreitadelas” são prévias tecnológicas de capacidades que poder eventualmente, serão desenvolvidos em ferramentas para os aplicativos Creative Cloud da Adobe ou para a plataforma Firefly, portanto, não há garantia de que eles se tornarão recursos disponíveis. Quase todos esses projetos são construídos em torno dos desenvolvimentos generativos de IA da Adobe, no entanto, e dado que as ferramentas de IA agora desempenham um papel central na estratégia de crescimento da empresa, é provável que pelo menos alguns dos experimentos sejam lançados oficialmente. Por mais malucos ou divertidos que sejam esses experimentos de IA, eles também são um presságio. Se forem úteis o suficiente, isso significa que a IA poderá eventualmente substituir as ferramentas e bibliotecas de estoque que os profissionais criativos usam atualmente, independentemente de quão complexos sejam seus sentimentos em relação à tecnologia.

Um tema notável nesses sneaks é tornar os fluxos de trabalho complicados de edição de fotos, produção de filmes e mixagem de áudio mais acessíveis e intuitivos, adaptando-os em algo mais interativo e fácil de usar. Em alguns casos, os recursos quase parecem brinquedos, mas com a vantagem de permitir que você faça alterações práticas em projetos criativos.

“Tornar essas interações mais intuitivas também significa dar aos criativos experientes um controle mais preciso”, disse Gautham Mysore, cientista sênior de pesquisa da Adobe. A beira. “A capacidade de exploração sonora do Sound Bender e o posicionamento da câmera do Sight Span são exemplos de como os profissionais podem aplicar seu julgamento e refinar um resultado de forma mais direta. Essa conexão entre intenção criativa e controle é uma grande parte do que estamos explorando.”