Por dentro da gigante interrupção do Outlook da Microsoft

Às 9h da última quinta-feira, tudo parecia normal. Os funcionários da Microsoft estavam chegando ao campus, prontos para um dia normal de e-mails e reuniões. Mas apenas uma hora depois, uma das piores interrupções da história da Microsoft começou a ocorrer, deixando funcionários, empresas e muitos governos sem acesso aos e-mails do Outlook por quase 24 horas.

Tudo começou na Suíça, segundo uma fonte familiarizada com a interrupção. Os servidores Exchange Online que alimentam o Outlook começaram a ficar offline. O problema rapidamente se espalhou para o México e depois para outros países ao redor do mundo, à medida que os sistemas de failover da Microsoft tentavam transferir o tráfego de e-mail para outros lugares. Em algumas horas, mais de 80% dos servidores Exchange não responderam.

Fontes me disseram que a Microsoft marcou a interrupção como “sev0” em seu sistema interno de rastreamento de incidentes, o nível mais alto, o que indica um nível catastrófico de interrupção do serviço. Centenas de engenheiros começaram a tentar descobrir o que havia de errado e como restaurar o serviço. Não é incomum que os servidores falhem em determinadas circunstâncias, mas a Microsoft possui uma variedade de sistemas que supostamente encaminham o tráfego para servidores íntegros para manter o sistema mais amplo online. Neste caso, os sistemas de failover fizeram o seu trabalho, mas também espalharam o problema.

Nas primeiras horas da interrupção, os engenheiros estavam analisando relatórios de falhas, registros de rastreamento e despejos de kernel para tentar encontrar pistas sobre a interrupção gigante. Alguns servidores entraram no modo de manutenção e não responderam devido a cargas de CPU excepcionalmente altas. Os engenheiros tentaram colocar os servidores online novamente, mas foram quase imediatamente sobrecarregados pelo tráfego que esperava para acessar os servidores.

Os servidores Exchange inicializam e executam um sistema operacional em uma rede (Preboot Execution Environment), um processo que permite que a equipe de suporte e os engenheiros da Microsoft gerenciem as atualizações do sistema operacional remotamente. Entendo que a explosão repentina de tráfego dos servidores sendo reiniciados sobrecarregou os sistemas que os monitoravam, causando uma forma de loop de reinicialização em que eles tentavam e não conseguiam voltar a ficar online.

À medida que os engenheiros continuavam a procurar a causa raiz, a Microsoft estava até lutando para reverter os servidores para um estado saudável usando seus processos habituais de reversão de alterações recentes. À medida que o mundo exterior começou a se perguntar se essa interrupção estava relacionada a um ataque cibernético ou a uma codificação de IA desleixada, os engenheiros da Microsoft já estavam investigando possíveis vetores de ataque e entrando em contato com especialistas em DDoS para entender se isso poderia ter sido um ataque.

Disseram-me que relatórios e logs de falhas descartaram rapidamente a possibilidade de um ataque e, depois que as reversões recentes falharam, os engenheiros da Microsoft começaram a examinar mais de perto a pilha de rede dos servidores e descobriram um bug incomum. Era incomum porque o bug estava presente nos servidores de gateway de rede do Microsoft 365 desde julho, sem qualquer impacto nos servidores.

“Um defeito latente fez com que os servidores ficassem sobrecarregados e sem resposta sob certas condições de carga”, escreveu Charles Lamannao líder da equipe Copilot, Agents, and Platform (CAP) da Microsoft, em uma postagem no X. As equipes por trás do Office, Outlook e Microsoft Teams começaram a se reportar a Lamanna no mês passado, depois que o chefe do Office e Teams, Ryan Roslanskysaiu da empresa.

O relatório preliminar pós-incidente da Microsoft descreve o bug como aquele que afeta servidores Windows selecionados “devido à contenção de bloqueio dentro de um processo interno do Windows”. O bug não afeta as versões regulares do Windows, pois foi o resultado de uma correção preparada especificamente para servidores de gateway de rede do Microsoft 365.

A Microsoft não encontrou o bug até esta grande interrupção e admite que isso se deveu ao mix de tráfego e ao hardware usado em seus laboratórios de testes. “O problema de contenção piora em máquinas com mais núcleos e hardware mais recente; enquanto nossos testes de carga tendem a se concentrar em hardware mais fraco com menos núcleos”, escreveu Lamanna.

O bug tornou-se óbvio devido a dois outros incidentes que aumentaram a carga e reduziram a capacidade do servidor. Quinze horas antes do início da interrupção do Outlook, o Microsoft Teams fez failover de um gateway de rede alternativo para o gateway principal que oferece suporte ao Exchange Online. “Isso aumentou a carga no gateway de rede e mudou seus padrões de tráfego”, escreveu Lamanna. Normalmente, isso não teria sido um problema, mas, ao mesmo tempo, cerca de 14% da capacidade do servidor deste gateway estava “fora de serviço devido a um problema não relacionado do dia anterior”.

A trifeta de um bug, o failover do Microsoft Teams e a redução da capacidade do servidor fizeram com que o gateway de rede acionasse o problema que estava inativo desde julho. A Microsoft levou quase 24 horas para estabilizar seus servidores Exchange novamente, e me disseram que intervenções sobrepostas de equipes que tentavam corrigir problemas às vezes complicavam a coordenação.

Os engenheiros da Microsoft realizaram uma chamada de ponte o tempo todo e, a certa altura, atingiram o máximo de 1.000 participantes. Isso mostra quantas equipes estiveram envolvidas na tentativa de encontrar a causa raiz dessa enorme interrupção, que começou no período de pico de tráfego nos EUA.

“A recuperação demorou mais do que o normal porque, à medida que os servidores voltavam ao serviço, eram imediatamente sobrecarregados pelo tráfego em espera e não respondiam novamente”, escreveu Lamanna. “Nossos processos de recuperação normalmente automatizados não foram projetados para restaurar o serviço desse amplo estado de falta de resposta. Além disso, como o defeito principal do código era um bug latente de vários meses anteriores, nossos sinalizadores normais de reversão, período de veiculação e recursos não conseguiram reverter rapidamente a alteração.”

A Microsoft está agora trabalhando em uma revisão final pós-incidente que será publicada ainda esta semana. Mesmo sem essa revisão completa, fica claro que a empresa precisará investir mais em seus processos de testes para garantir que, quando algo assim acontecer novamente, ela possa detectar o problema muito mais cedo. As interrupções acontecem diariamente, mas esse tipo de falha em cascata é um raro momento para a Microsoft aprender com seus erros e garantir que a mesma sequência de eventos não derrube novamente o Outlook para milhões de pessoas.

Bloco de notas retornará em dezembro, após o feriado de Ação de Graças da próxima semana.

Estou sempre interessado em ouvir os leitores, então deixe um comentário aqui ou entre em contato comigo pelo e-mail notepad@theverge.com se quiser discutir qualquer outra coisa. Se você ouviu falar de algum dos projetos secretos da Microsoft, pode entrar em contato comigo por e-mail em notepad@theverge.com ou falar comigo confidencialmente no aplicativo de mensagens Signal, onde sou tomwarren.01. Também sou TomWarren no Telegram, se preferir bater um papo por lá.

Obrigado por se inscrever Bloco de notas.

Siga tópicos e autores desta história para ver mais como esta no feed da sua página inicial personalizada e para receber atualizações por e-mail.


Source link

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Botão Voltar ao Topo