Os recursos de IA do Apple Watch para retroceder e recapitular conversas iniciam testes beta

A tecnologia “Audio Intelligence” da Apple para o Apple Watch está agora sendo lançada em testes beta, inicialmente para desenvolvedores na atualização iOS 27.3, depois de ser anunciada pela primeira vez no evento de hardware Surprise and Shine da empresa em setembro. A tecnologia inclui um conjunto de quatro recursos de IA opcionais que permitem aos usuários do Apple Watch Series 12 detectar sons importantes, identificar músicas, acompanhar conversas e fazer anotações.

O recurso de reconhecimento de som ajudará usuários surdos e com deficiência auditiva a identificar sons importantes como sirenes, alarmes ou campainhas em seus relógios, enquanto o recurso de reconhecimento de música acessa o aplicativo Shazam da Apple para detectar música tocando em segundo plano e identificar a música nome e artista.

No entanto, os recursos mais potencialmente controversos são aqueles que ouvem conversas humanas: Live Rewind e Siri Recaps.

Dada a reação aos dispositivos de gravação de IA, como os óculos de IA da Meta e outros wearables de IA, a Apple tentou criar um espaço onde os recursos pudessem ser úteis para os proprietários do Apple Watch, ao mesmo tempo que respeitava a privacidade das pessoas ao seu redor.

Com o Live Rewind, a ideia é permitir que você volte no tempo para ver o que alguém acabou de dizer, caso você tenha perdido. Por exemplo, se alguém estivesse lhe dando instruções verbais ou lendo uma longa lista de pratos especiais em um restaurante, você poderia pressionar duas vezes a coroa digital do relógio para ver o que foi dito nos últimos 15 segundos como um trecho de texto exibido no mostrador do relógio. Você pode visualizar este trecho e não fazer nada, e ele desaparecerá permanentemente. Ou você pode salvá-lo no aplicativo Siri independente fornecido com o iOS 27 para acesso posterior, o que pode ser útil se você estiver tentando lembrar o nome de alguém ou fazer uma anotação rápida em uma apresentação rápida.

A Apple diz que os usuários também poderão tocar na opção “Perguntar à Siri” que aparece abaixo do trecho de texto se tiverem dúvidas sobre algo que foi dito – como um termo técnico que não entendem ou talvez alguma opção de molho que o garçom mencionou e com o qual não estão familiarizados, entre outras coisas.

Quando você pressiona duas vezes a coroa digital, um sinal sonoro aparece e uma animação é exibida no relógio. O objetivo é sinalizar às pessoas, por meio da combinação de gestos, som e exibição visual, que você gravou algo que foi dito.

Esses trechos serão excluídos automaticamente após 30 segundos se você não os salvar.

A outra opção, Siri Recaps, leva essa tecnologia de audição ambiente ainda mais longe, permitindo que os proprietários do Apple Watch façam anotações de alto nível de suas conversas.

É importante ressaltar que a Apple diz que não está identificando os alto-falantes, salvando o áudio bruto ou fornecendo transcrições palavra por palavra. Em vez disso, o recurso resume uma conversa com uma frase curta e alguns marcadores que identificam os pontos-chave. Por exemplo, dependendo do tópico, os marcadores podem incluir coisas como datas ou prazos importantes, informações sobre preços ou planos de pagamento e outras informações factuais.

A Apple sugeriu que o recurso poderia ser usado em cenários como reuniões de trabalho, conferências de pais e professores, sessões de treinamento pessoal ou outros locais onde você possa precisar lembrar quais tarefas você precisa realizar ou coisas que foram ditas. Essencialmente, ele pretende imitar a capacidade do usuário de fazer suas próprias anotações – sem adicionar emoção ou tom.

Isso pode ser útil principalmente nos momentos em que você não consegue escrever suas próprias anotações, seja porque suas mãos estão ocupadas ou porque você está tentando se concentrar no que está sendo dito naquele momento. As recapitulações não gravam conversas quando você ouve música com fones de ouvido ou usa os recursos de cancelamento de ruído.

No final do dia, você será solicitado a revisar seus Siri Recaps salvos quando o recurso estiver ativado e, em seguida, escolher quais deseja salvar, se houver. Essas notas podem ser salvas no aplicativo Notas ou até mesmo exportadas para o aplicativo Diário, se forem de natureza mais pessoal. Se você não fizer nada, as recapitulações serão excluídas em sete dias.

Este lembrete para revisar os Siri Recaps que você gravou também aparece quando você desbloqueia o Apple Watch pela manhã.

Os usuários podem optar por ativar o Siri Recaps manualmente ou podem configurar uma programação, como fazer a recapitulação apenas durante o trabalho ou garantir que nunca executem à noite. Mesmo que eles estejam sendo executados de acordo com uma programação, você ainda pode desativar o recurso de recapitulação a qualquer momento no Centro de Controle.

A Apple observa que o Siri Recaps foi projetado para omitir informações confidenciais, como identificadores atribuídos pelo governo, dados financeiros e de autenticação, certos identificadores pessoais e qualquer linguagem que possa promover automutilação.

Os recursos de Audio Intelligence do Apple Watch Series 12 e Apple Watch Ultra 4 dependem de uma combinação de hardware, software e serviços da Apple. Isso inclui o chip S11, o microfone embutido e os modelos Apple Intelligence que rodam no iPhone, bem como o Private Cloud Compute da Apple.

O processador sempre ativo inclui um enclave seguro — um espaço de memória protegido por hardware que não pode ser acessado pelo restante do sistema operacional — onde um buffer de áudio dedicado processa o áudio bruto. Isso permite que o áudio seja processado sem que seja realmente acessível a ninguém, incluindo a Apple. O áudio só é acessível ao iPhone emparelhado através de um mecanismo de emparelhamento seguro entre ele e o relógio.

Para funcionar, modelos leves de IA no chip S11 do Apple Watch detectam se há uma conversa da qual o usuário faz parte, que é então transferida para o enclave seguro no iPhone. O processamento no dispositivo do iPhone transforma o áudio em texto condensado, ou seja, o texto da conversa sem as palavras de preenchimento. Esse texto condensado é então criptografado e enviado ao Private Cloud Compute (PCC) da Apple para criar a recapitulação da conversa que é enviada de volta ao telefone. (A recapitulação e quaisquer resumos usados ​​para criá-la são excluídos do PCC imediatamente depois).

As recapitulações que você pode acessar no seu iPhone só podem ser acessadas por você, não pela Apple. E eles são criptografados quando sincronizados entre vários dispositivos Apple.

Da mesma forma, o Apple Watch transfere áudio para o iPhone para processamento e criação de trechos de 15 segundos para Live Rewind.

A Apple afirma que nenhum desses recursos deve afetar a vida útil da bateria do seu relógio ou telefone. Posteriormente, os recursos serão lançados na versão beta pública para testes mais amplos antes de serem disponibilizados publicamente para todos.