No dia 07 de Julho, instabilidades em nosso serviço fizeram com que a plataforma tivesse o funcionamento impactado ou interrompido em diversos momentos:


09h31 > 09h38 - Indisponível - Agentes e ligações desconectadas

10h30 > 11h00 - Instável - Demora na conexão das ligações

14h18 > 14h30 - Instável - Falhas na identificação de CXP

14h39 > 14h57 - Instável - Falhas na identificação de CXP

15h16 > 15h26 - Instável - Falhas na identificação de CXP

15h37 > 15h45 - Instável - Falhas na identificação de CXP

21h56 > 22h05 - Indisponível - Agentes e ligações desconectadas

Também, no dia 08 de Julho tivemos um novo incidente:


10h42 > 11h01 - Indisponível - Agentes e ligações desconectadas


Diagnóstico

Nosso time interrompeu todas as tarefas para dar atenção à este problema que impactava toda nossa base operacional.

Trabalhamos incessantemente na identificação da causa das falhas no período de 07/07/2020 09h31 até 08/07/2020 11h30 onde realizamos diversas ações para tentar mitigar o problema e reduzir ao máximo o tempo de indisponibilidade.

Identificamos que a instabilidade partia de uma má distribuição dos serviços sob a infra-estrutura Kubernetes. Isso fez com que, em alguns momentos, a carga fosse toda para um lado ou para outro, tornando o sistema instável de uma forma bastante complexa de ser percebida.

Resolução

Em 08/07/2020 às 10h50 quando a ultima queda ocorreu, pudemos verificar que o micro-serviço kube-dns estava subdimensionado para a estrutura que aumentou recentemente. Nosso time então pode fazer um ajuste de auto-scale e reinicializar os serviços forçando-os à subirem de forma equilibrada.

Persistimos acompanhando tudo de perto por aqui e trabalhando arduamente para que isso não volte à ocorrer. Sentimos muito pelos transtornos causados e pedimos que continuem contando conosco, mesmo nestes momentos estamos dedicados totalmente à manter sua operação rodando com a máxima disponibilidade possível.


Agradecemos pela parceria e compreensão,
Diogo Hartmann - CEO @ 3CPlus

Encontrou sua resposta?