mercredi 21 novembre 2018

Panne majeur de l'application

Une panne majeure de l'application s'est produite ce matin.

09h00:

Panne majeure de tout notre environnement de production. Toutes les applications web et mobile sont impactées.

09h10:

Nous confirmons que le problème est dû à un problème de DNS interne de l'infrastructure. L'environnement utilise plusieurs serveurs DNS internes pour permettre aux différents services de communiquer entre eux. Ces derniers n'arrivent plus à contacter les différents serveurs DNS de l'environnement.

09h38

Le problème est identifié. Les serveurs DNS internes de l'environnement utilisent un serveur DNS externe qui servait à tester l'infrastructure avant sa mise en production le Samedi 17 Novembre. Il a été décidé ce matin que ce serveur n'était plus utile et qu'il devait être éteint. Le problème vient du fait que l'adresse IP de ce serveur était encore dans le fichier de configuration des DNS internes (un oubli de notre part). De ce fait, l'arrêt du serveur DNS externe a entraîné un arrêt des serveurs internes.

09h40

Le DNS externe est retiré de la configuration afin de relancer les DNS internes.

09h41

Les services sont redémarrés afin de s'assurer de leur bon fonctionnement.

09h45

Retour à la normale de l'ensemble des services de l'application.

En résumé : L'erreur est causée par la suppression d'un élément de test dont nos serveurs étaient encore dépendants. L'élément en question est retiré afin de prévenir un évènement similaire. L'ensemble de l'équipe 90Tech vous présente ses excuses pour la gêne occasionnée.