Vídeo do roadshow do IPO da Anthropic

Vídeo do roadshow do IPO da Anthropic. A Anthropic iniciou seu roadshow de IPO ontem, e seu vídeo de roadshow traz algumas informações inéditas sobre como seu negócio funciona.

A seção sobre “Abordagem para computação” com o cofundador Tom Brown é particularmente interessante, descrevendo como a Anthropic treina e atende Claude no AWS Trainium, Google TPUs, GPUs NVIDIA e GPUs AMD.

Não sei por que não há transcrição oficial do vídeo, mas aqui está uma que extraí usando o MacWhisper. Destaques abaixo:

Treinamos e atendemos Claude agora em todas as quatro principais famílias de chips. Isso só é possível porque desde cedo fizemos uma aposta pouco convencional numa estratégia multi-chip. Na época, muitas pessoas pensavam que não valia a pena executar modelos de IA em chips diferentes. Cada chip precisa de sua própria pilha de software e pilha de inferência, que são caras e difíceis de construir. Já fazemos isso há anos e nos tornamos incrivelmente bons nisso. (…)

Por exemplo, este ano começamos a trabalhar com GPUs AMD pela primeira vez. No passado, trazer uma nova plataforma de chips exigia meses de trabalho de dezenas de engenheiros Desta vez, pedimos ao Mythos que experimentasse. Ele colocou Claude rodando em AMD em apenas três dias, basicamente sem intervenção humana. Claude portou ou escreveu quase 100% dos kernels. (…)

O segundo fator de nossa vantagem computacional é nossa taxa de descoberta de multiplicadores computacionais. Nós nos concentramos na computação efetiva total, que é o produto multiplicativo da capacidade física vezes os multiplicadores de computação que descobrimos. Cada um que descobrimos aumenta nosso conjunto de computação efetiva total. Por exemplo, digamos que você precise de 100 unidades de computação para treinar um modelo de uma determinada inteligência. Um multiplicador de computação 4x significa que você pode usar 25 unidades de computação para treinar exatamente o mesmo modelo. Ou você pode usar essas centenas de unidades físicas para treinar um modelo ainda mais inteligente que anteriormente exigiria 400 unidades.

Os multiplicadores de computação criam para nós uma vantagem competitiva difícil de replicar. Eles se baseiam um no outro. Cada novo multiplicador que descobrimos tem um efeito positivo nos multiplicadores anteriores. Eles empilham. Acreditamos que isso pode acelerar ainda mais à medida que abordamos o autoaperfeiçoamento recursivo. Claude será capaz de descobrir multiplicadores de computação sozinhopermitindo que o número de multiplicadores de computação cresça cada vez mais rápido.

Recebemos uma dica da estratégia multi-chip da Anthropic em setembro passado em sua análise de três edições recentes, onde eles descreveram bugs que afetaram apenas suas implantações de TPU.