OVHcloud Web Hosting Status
Current status
Legend
- Operational
- Degraded performance
- Partial Outage
- Major Outage
- Under maintenance
MySQL / Opérations du manager
Incident
Report for Web Cloud
Resolved
Incident en cours sur ces serveurs, nous intervenons.
---
Incident in progress on this servers, work in progress.
Les actions réalisés par le manager sur la partie hébergement web à P19 sont également suspendus.
Les serveurs suivants sont également impactés :
mysql55-1.abuse
mysql55-1.perso
mysql55-10.bdb
mysql55-114.business
mysql55-123.premium
mysql55-129.premium
mysql55-14.perso
mysql55-157.business
mysql55-164.business
mysql55-169.business
mysql55-181.bdb
mysql55-182.bdb
mysql55-185.bdb
mysql55-189.perso
mysql55-191.bdb
mysql55-195.perso
mysql55-222.perso
mysql55-1.pro
mysql55-101.bdb
mysql55-10.pro
mysql55-10.perso
mysql55-102.bdb
mysql55-102.business
mysql55-102.perso
mysql55-104.perso
mysql55-106.perso
mysql55-11.bdb
mysql55-11.perso
mysql55-125.perso
mysql55-13.bdb
mysql55-137.premium
mysql55-219.perso
mysql55-7.perso
mysql55-200.perso
mysql55-180.bdb
mysql55-180.perso
mysql55-253.perso
mysql55-233.perso
mysql55-154.business
mysql55-155.business
mysql55-5.pro
mysql55-19.perso
mysql55-185.perso
mysql55-8.perso
mysql55-194.perso
mysql55-186.perso
mysql55-178.bdb
mysql55-165.pro
mysql55-220.perso
mysql55-167.business
mysql55-188.bdb
mysql55-167.pro
mysql55-211.perso
mysql55-258.perso
mysql55-168.pro
mysql55-6.perso
mysql55-169.pro
mysql55-170.pro
mysql55-217.bdb
mysql55-173.bdb
mysql55-4.bdb
mysql55-174.bdb
mysql55-156.business
mysql55-213.perso
mysql55-9.bdb
mysql55-4.perso
mysql55-250.perso
mysql55-190.bdb
mysql55-241.perso
mysql55-208.perso
mysql55-217.perso
mysql55-215.perso
mysql55-174.perso
mysql55-177.bdb
mysql55-176.perso
mysql55-177.perso
mysql55-179.bdb
mysql55-179.perso
mysql55-158.business
mysql55-182.perso
mysql55-181.perso
mysql55-187.perso
mysql55-183.perso
mysql55-186.bdb
mysql55-195.bdb
mysql55-196.perso
mysql55-188.perso
mysql55-216.perso
mysql55-7.bdb
mysql55-19.bdb
mysql55-191.perso
mysql55-193.perso
mysql55-199.perso
mysql55-2.pro
mysql55-138.premium
mysql55-197.perso
mysql55-14.bdb
mysql55-198.perso
mysql55-21.perso
mysql55-210.perso
mysql55-2.bdb
mysql55-144.pro
mysql55-2.perso
mysql55-218.perso
mysql55-15.perso
mysql55-22.bdb
mysql55-221.perso
mysql55-1.bdb
mysql55-103.perso
mysql55-127.premium
mysql55-175.perso
mysql55-184.perso
mysql55-3.abuse
Update(s):
Date: 2017-07-05 09:55:02 UTC
Les différentes tentatives avec les équipes support du fournisseur de datastore ne nous ont pas permis à ce jour de récupérer les données qui étaient stockées dessus.
D'après le fournisseur, les chances de récupérer celles-ci (à savoir les mises à jour de la journée du 29 Juin) sont quasi nulles.
Date: 2017-06-30 21:44:52 UTC
Le dernier serveur est accessible :
sql43.modules
Date: 2017-06-30 21:15:28 UTC
Les serveurs suivant sont accessibles :
sql38.modules
sql39.modules
Nous sommes à 96/97 serveurs restaurés.
Date: 2017-06-30 21:05:58 UTC
Le serveur suivant est accessible :
sql36.modules
Les trois derniers serveurs sont en cours de restauration, c'est une question de minutes.
Nous sommes à 94/97 serveurs restaurés.
Date: 2017-06-30 19:29:05 UTC
Le serveur suivant est accessible:
mysql55-185.bdb
Nous sommes à 93/97 serveurs restaurés.
Il reste 4 machines de type sqlxx.modules à restaurer, c'est en cours.
Date: 2017-06-30 19:17:58 UTC
Le serveur suivant est accessible:
mysql55-123.premium
mysql55-211.perso
mysql55-208.perso
mysql55-250.perso
Nous sommes à 92/96 serveurs restaurés.
Date: 2017-06-30 18:37:24 UTC
Le serveur suivant est accessible:
mysql55-241.perso
mysql55-210.perso
Nous sommes à 88/96 serveurs restaurés.
Date: 2017-06-30 18:01:27 UTC
Le serveur suivant est accessible:
mysql55-182.perso
Nous sommes à 86/96 serveurs restaurés.
Date: 2017-06-30 17:46:02 UTC
Les serveurs suivants sont accessibles:
mysql55-4.perso
mysql55-2.perso
mysql55-1.pro
Nous sommes à 85/96 serveurs restaurés.
Date: 2017-06-30 17:42:35 UTC
Nous rencontrons des lenteurs dans la restauration des données, mais nous vous garantissons que tous les serveurs seront restaurés.
Nous mettons tout en œuvre pour remettre en service ces bases de données le plus rapidement possible.
Date: 2017-06-30 17:33:44 UTC
Les serveurs suivants sont accessibles:
mysql55-8.perso
mysql55-200.perso
Nous sommes à 82/96 serveurs restaurés.
Date: 2017-06-30 17:11:05 UTC
Le serveur suivant est accessible:
mysql55-2.abuse
Nous sommes à 80/96 serveurs restaurés.
Nous rencontrons des difficultés pour restaurer les derniers serveurs. Nous faisons tout notre possible pour respecter les délais annoncés.
Date: 2017-06-30 15:16:02 UTC
Les serveurs suivants sont accessibles:
mysql55-213.perso
mysql55-233.perso
mysql55-253.perso
Nous sommes à 79/96 serveurs restaurés.
Date: 2017-06-30 14:54:53 UTC
Les serveurs suivants sont accessibles:
mysql55-219.perso
mysql55-218.perso
mysql55-220.perso
mysql55-3.abuse
mysql55-221.perso
mysql55-4.bdb
Nous sommes à 76/96 serveurs restaurés.
Date: 2017-06-30 14:37:20 UTC
Les serveurs suivants sont accessibles:
mysql55-202.perso
mysql55-2.bdb
mysql55-22.bdb
mysql55-217.perso
Nous sommes à 70/96 serveurs restaurés.
Date: 2017-06-30 14:23:41 UTC
Les serveurs suivants sont accessibles:
mysql55-217.bdb
mysql55-216.perso
Date: 2017-06-30 14:05:31 UTC
Les serveurs suivants sont accessibles:
mysql55-197.perso
mysql55-199.perso
mysql55-186.perso
mysql55-217.perso
Nous sommes à 64/96 serveurs restaurés.
Date: 2017-06-30 13:37:34 UTC
Les serveurs suivants sont accessibles:
mysql55-1.bdb
mysql55-194.perso
mysql55-1.abuse
mysql55-196.perso
Nous sommes à 60/96 serveurs restaurés.
Date: 2017-06-30 13:26:54 UTC
Le serveur suivant est accessible:
mysql55-180.perso
Date: 2017-06-30 13:23:44 UTC
Les bases qui étaient en Read-Only sont maintenant en Read-Write.
Toutes les nouvelles bases seront restaurées en Read-Write à partir de maintenant.
Date: 2017-06-30 13:22:02 UTC
Les serveurs suivants sont accessibles:
mysql55-195.bdb
mysql55-191.perso
mysql55-179.bdb
mysql55-193.perso
Nous sommes à 54/96 serveurs restaurés.
Date: 2017-06-30 13:07:21 UTC
Tout comme les bases de données mysql5.1, les bases de données crées en mysql 5.0 il y a quelques années sont maintenant sur des serveurs mysql55-*.
Voici la liste des correspondances : mysql5-19.perso -> mysql55-103.perso
mysql5-13.xxl -> mysql55-123.premium
mysql5-50.90 -> mysql55-167.business
mysql5-22.90 -> mysql55-168.business
mysql5-15.perso -> mysql55-194.perso
mysql5-25.perso -> mysql55-184.perso
mysql5-9.perso -> mysql55-193.perso
mysql5-36.90 -> mysql55-114.business
mysql5-2.90 -> mysql55-164.business
mysql5-1.xxl -> mysql55-120.premium
mysql5-1.perso -> mysql55-185.perso
mysql5-56.90 -> mysql55-166.business
mysql5-3.bdb -> mysql55-217.bdb
mysql5-9.start -> mysql55-106.perso
mysql5-47.90 -> mysql55-154.business
mysql5-57.90 -> mysql55-114.business
mysql5-5.perso -> mysql55-183.perso
mysql5-2.300gp -> mysql55-106.perso
mysql5-22.perso -> mysql55-189.perso
mysql5-5.business -> mysql55-101.business
mysql5-24.90 -> mysql55-166.business
mysql5-8.60gp -> mysql55-104.perso
mysql5-27.perso -> mysql55-180.perso
mysql5-45.90 -> mysql55-167.business
mysql5-7.media -> mysql55-127.premium
mysql5-2.start -> mysql55-106.perso
mysql5-52.90 -> mysql55-168.business
mysql5-48.90 -> mysql55-156.business
mysql5-13.60gp -> mysql55-104.perso
mysql5-16.240 -> mysql55-159.business
mysql5-6.720 -> mysql55-136.premium
mysql5-7.bdb -> mysql55-182.bdb
mysql5-2.business -> mysql55-101.business
mysql5-0.bdb -> mysql55-101.bdb
Date: 2017-06-30 13:03:23 UTC
Nous venons d'ajouter un message dans l'espace client aux clients concernés par cette panne.
Si vous êtes impactés par cette panne, vous aurez le message suivant dans votre espace client :
\"Nous vous informons que nous rencontrons actuellement un incident sur une partie de nos hébergements mutualisés situés à Paris (P19). Nos équipes techniques sont actuellement en cours d'intervention, les services sont rétablis au fur et à mesure, vous pouvez suivre l'évolution de la tâche sur http://travaux.ovh.net/?do=details&id=25709. Nous vous prions de nous excuser pour ces désagréments. Pour toutes questions sur nos produits et services, vous pouvez nous contacter au 1007.\"
Date: 2017-06-30 12:59:50 UTC
Les serveurs suivants sont accessibles en lecture seule:
mysql55-191.bdb
mysql55-190.bdb
Nous sommes à 50/96 serveurs restaurés.
Date: 2017-06-30 12:42:04 UTC
Les serveurs suivants sont accessibles en lecture seule:
mysql55-156.business
mysql55-185.perso
mysql55-186.bdb
mysql55-170.pro
mysql55-166.business
Nous sommes à 48/96 serveurs restaurés.
Date: 2017-06-30 12:25:04 UTC
Nous sommes à 43/96 serveurs restaurés.
Date: 2017-06-30 12:18:32 UTC
Les serveurs suivants sont accessibles en lecture seule:
mysql55-187.perso
mysql55-188.bdb
Date: 2017-06-30 12:16:38 UTC
Le serveur suivant est accessible en lecture seule:
mysql55-189.perso
Date: 2017-06-30 12:08:10 UTC
Le serveur suivant est accessible en lecture seule:
mysql55-182.bdb
Date: 2017-06-30 11:31:43 UTC
Le serveur suivant est accessible en lecture seule:
mysql55-184.perso
Date: 2017-06-30 11:26:49 UTC
Le serveur suivant est accessible en lecture seule:
mysql55-183.perso
Date: 2017-06-30 11:20:53 UTC
Les serveurs suivants sont accessibles en lecture seule:
mysql55-176.perso
mysql55-175.perso
mysql55-177.bdb
mysql55-174.bdb
mysql55-183.bdb
Nous sommes à 37/96 serveurs restaurés.
Date: 2017-06-30 11:04:42 UTC
Beaucoup de bases de données ont été migrées de mysql5.1 vers mysql 5.5 il y a quelques mois.
Le nom de base de données commence donc pas mysql51-* et n'est pas listée dans cette tâche travaux car c'est en réalité un serveur mysql5.5 qui répond.
Voici les bases mysql5.1 qui sont ou ont été impactées ainsi que leur correspondance avec le serveur mysql5.5
mysql51-12.business -> mysql55-158.business
mysql51-154.perso -> mysql55-222.perso
mysql51-144.perso -> mysql55-210.perso
mysql51-29.bdb -> mysql55-179.bdb
mysql51-89.perso -> mysql55-176.perso
mysql51-39.perso -> mysql55-200.perso
mysql51-106.perso -> mysql55-219.perso
mysql51-66.bdb -> mysql55-183.bdb
mysql51-47.pro -> mysql55-169.pro
mysql51-65.perso -> mysql55-103.perso
mysql51-145.perso -> mysql55-213.perso
mysql51-56.bdb -> mysql55-186.bdb
mysql51-115.perso -> mysql55-215.perso
mysql51-76.bdb -> mysql55-185.bdb
mysql51-19.premium -> mysql55-137.premium
mysql51-12.premium -> mysql55-138.premium
mysql51-158.perso -> mysql55-211.perso
mysql51-90.perso -> mysql55-175.perso
mysql51-10.business -> mysql55-157.business
mysql51-118.bdb -> mysql55-190.bdb
mysql51-62.bdb -> mysql55-183.bdb
mysql51-37.perso -> mysql55-191.perso
mysql51-3.abuse -> mysql55-1.abuse
mysql51-117.perso -> mysql55-216.perso
mysql51-158.bdb -> mysql55-195.bdb
mysql51-103.perso -> mysql55-220.perso
mysql51-55.perso -> mysql55-197.perso
mysql51-40.perso -> mysql55-196.perso
mysql51-37.bdb -> mysql55-182.bdb
mysql51-65.bdb -> mysql55-185.bdb
mysql51-135.perso -> mysql55-250.perso
mysql51-96.bdb -> mysql55-181.bdb
mysql51-79.perso -> mysql55-125.perso
mysql51-84.bdb -> mysql55-186.bdb
mysql51-41.bdb -> mysql55-191.bdb
mysql51-85.pro -> mysql55-168.pro
mysql51-119.perso -> mysql55-217.perso
mysql51-31.pro -> mysql55-144.pro
mysql51-141.perso -> mysql55-253.perso
mysql51-85.perso -> mysql55-182.perso
mysql51-91.perso -> mysql55-187.perso
mysql51-75.bdb -> mysql55-188.bdb
mysql51-104.perso -> mysql55-218.perso
mysql51-33.bdb -> mysql55-174.bdb
mysql51-15.business -> mysql55-102.business
mysql51-38.perso -> mysql55-202.perso
mysql51-36.perso -> mysql55-199.perso
mysql51-148.perso -> mysql55-208.perso
mysql51-132.perso -> mysql55-241.perso
mysql51-93.bdb -> mysql55-178.bdb
mysql51-71.bdb -> mysql55-101.bdb
mysql51-94.bdb -> mysql55-173.bdb
mysql51-40.pro -> mysql55-144.pro
mysql51-80.pro -> mysql55-167.pro
mysql51-156.perso -> mysql55-233.perso
mysql51-79.pro -> mysql55-165.pro
mysql51-86.perso -> mysql55-186.perso
mysql51-7.business -> mysql55-101.business
mysql51-81.pro -> mysql55-170.pro
mysql51-2.abuse -> mysql55-3.abuse
mysql51-71.abuse -> mysql55-2.abuse
mysql51-97.bdb -> mysql55-177.bdb
mysql51-48.perso -> mysql55-181.perso
mysql51-8.business -> mysql55-102.business
mysql51-150.perso -> mysql55-221.perso
Date: 2017-06-29 23:35:04 UTC
Voilà le plan pour les prochaines heures:
Les Storage Processors sont en route vers notre datacentre de Paris.
Les Storage Processors actuels présentent un défaut au bout de 3
minutes de fonctionnement, néanmoins l'état des disques semble
correct.
En parallèle, nous déployons les systèmes qui vont recevoir
les données sauvegardées provenant du dernier backup de
la nuit dernière.
Une fois les restaurations effectuées, nous allons remettre
en production les bases de données en lecture seule.
Le but de cette manoeuvre est de remettre les sites web
en ligne, en évitant l'impact que pourrait causer une
\"désynchronisation\" de plus de 20h.
Les bases de données seront restaurées en lecture seule
à partir de 2h du matin.
Nous espérons pouvoir remplacer le matériel et remettre en
marche les Storage Processors vers 5h du matin, et ainsi
remettre les bases de données dans leur dernier état avant l'incident.
Si cette opération n'aboutit pas, nous redémarrerons les bases
de données en lecture ET écriture avec la version de sauvegarde.
Toute l'équipe est mobilisée et fait le maximum pour réduire
ces délais.
Nous monitorons les taux d'erreur, afin d'assurer un retour
à la normale au plus vite de vos sites web.
Date: 2017-06-29 22:34:52 UTC
1. Récupération du datastore hébergeant les données des VM
La baie ne redémarre toujours pas.
Le matériel de spare est en chemin.
2. Reconstruction de nouvelles VM avec nos derniers backups.
L'étape \"1\" s'est bien passé.
Nous allons lancer la procédure de récupération des sauvegardes:
- Provisionning de nouveaux datastores dans les environnements de production
- Déploiement des \"socles\" MySQL, qui vont recevoir les backups et remettre en production les services
- Restauration des données brutes
- Démarrage des services MySQL
Les données qui seront restaurées ont été sauvegardées dans la nuit du 28 au 29 juin (environ 20h avant la panne)
Date: 2017-06-29 21:52:53 UTC
\"mysql55-167.business\" est UP (nous checkons l'intégrité des données)
Date: 2017-06-29 21:49:20 UTC
1. Récupération du datastore hébergeant les données des VM
la baie ne redémarre toujours pas.
Le système est doté de deux Storage Processors, pourtant,
les deux systèmes (SPA & SPB) sont en panne.
Nous vérifions aussi les connectiques de fibre.
2. Reconstruction de nouvelles VM avec nos derniers backups.
Les données brutes de \"mysql55-167.business\" sont toujours en restauration.
Nous préparons l'étape \"100\" en parallélisant la procédure.
Une fois le \"1\" validé (d'ici 30min), nous lancerons les
robots de backup.
Date: 2017-06-29 21:24:56 UTC
1. Récupération du datastore hébergeant les données des VM
L'équipe du datacentre de P19 est entrain de remettre en marche
chaque composant du chassis, qui n'arrive pas à redémarrer
(défaut sur l'alimentation).
En parallèle, nous envoyons nos enclosure de Spare à Paris au
cas où l'équipe sur place ne parviendrait pas à remettre en
marche l'équipement.
2. Reconstruction de nouvelles VM avec nos derniers backups.
Nous checkons d'abord la procédure de recovery des backups.
Etape \"1\": nous restaurons \"mysql55-167.business\", et
validons l'intégrité des données.
Une fois fait, nous déroulerons l'intégralité de la procédure
sur toutes les bases.
Nous mettrons à jour la tâche travaux régulièrement durant
cette étape.
Date: 2017-06-29 20:59:46 UTC
Tous les équipes sont mobilisées. Deux actions sont conduites en parallèles:
1. Récupération du datastore hébergeant les données des VM
2. Reconstruction de nouvelles VM avec nos derniers backups.
Date: 2017-06-29 19:27:50 UTC
une enclosure ne remonte pas, on creuse
Date: 2017-06-29 18:46:20 UTC
Le chassis est up l'ip de management aussi, on up le service
Date: 2017-06-29 18:37:08 UTC
Le chassis est en train de booter
Date: 2017-06-29 18:18:48 UTC
les techniciens réparent les disques de la baie de stockage, c'est toujours en cours
Date: 2017-06-29 17:52:26 UTC
Le technicien travaille à remonter la tete de stockage.
Date: 2017-06-29 17:34:10 UTC
nous avons une panne sur des composants de stockage nécessaire au bon fonctionnement du système. Les techniciens sont dessus.
Date: 2017-06-29 17:24:25 UTC
Plusieurs de nos Datastores sont inaccessible suite a un problème électrique.
----
Many of our Datastores are inaccessible due to an electrical problem.
---
Incident in progress on this servers, work in progress.
Les actions réalisés par le manager sur la partie hébergement web à P19 sont également suspendus.
Les serveurs suivants sont également impactés :
mysql55-1.abuse
mysql55-1.perso
mysql55-10.bdb
mysql55-114.business
mysql55-123.premium
mysql55-129.premium
mysql55-14.perso
mysql55-157.business
mysql55-164.business
mysql55-169.business
mysql55-181.bdb
mysql55-182.bdb
mysql55-185.bdb
mysql55-189.perso
mysql55-191.bdb
mysql55-195.perso
mysql55-222.perso
mysql55-1.pro
mysql55-101.bdb
mysql55-10.pro
mysql55-10.perso
mysql55-102.bdb
mysql55-102.business
mysql55-102.perso
mysql55-104.perso
mysql55-106.perso
mysql55-11.bdb
mysql55-11.perso
mysql55-125.perso
mysql55-13.bdb
mysql55-137.premium
mysql55-219.perso
mysql55-7.perso
mysql55-200.perso
mysql55-180.bdb
mysql55-180.perso
mysql55-253.perso
mysql55-233.perso
mysql55-154.business
mysql55-155.business
mysql55-5.pro
mysql55-19.perso
mysql55-185.perso
mysql55-8.perso
mysql55-194.perso
mysql55-186.perso
mysql55-178.bdb
mysql55-165.pro
mysql55-220.perso
mysql55-167.business
mysql55-188.bdb
mysql55-167.pro
mysql55-211.perso
mysql55-258.perso
mysql55-168.pro
mysql55-6.perso
mysql55-169.pro
mysql55-170.pro
mysql55-217.bdb
mysql55-173.bdb
mysql55-4.bdb
mysql55-174.bdb
mysql55-156.business
mysql55-213.perso
mysql55-9.bdb
mysql55-4.perso
mysql55-250.perso
mysql55-190.bdb
mysql55-241.perso
mysql55-208.perso
mysql55-217.perso
mysql55-215.perso
mysql55-174.perso
mysql55-177.bdb
mysql55-176.perso
mysql55-177.perso
mysql55-179.bdb
mysql55-179.perso
mysql55-158.business
mysql55-182.perso
mysql55-181.perso
mysql55-187.perso
mysql55-183.perso
mysql55-186.bdb
mysql55-195.bdb
mysql55-196.perso
mysql55-188.perso
mysql55-216.perso
mysql55-7.bdb
mysql55-19.bdb
mysql55-191.perso
mysql55-193.perso
mysql55-199.perso
mysql55-2.pro
mysql55-138.premium
mysql55-197.perso
mysql55-14.bdb
mysql55-198.perso
mysql55-21.perso
mysql55-210.perso
mysql55-2.bdb
mysql55-144.pro
mysql55-2.perso
mysql55-218.perso
mysql55-15.perso
mysql55-22.bdb
mysql55-221.perso
mysql55-1.bdb
mysql55-103.perso
mysql55-127.premium
mysql55-175.perso
mysql55-184.perso
mysql55-3.abuse
Update(s):
Date: 2017-07-05 09:55:02 UTC
Les différentes tentatives avec les équipes support du fournisseur de datastore ne nous ont pas permis à ce jour de récupérer les données qui étaient stockées dessus.
D'après le fournisseur, les chances de récupérer celles-ci (à savoir les mises à jour de la journée du 29 Juin) sont quasi nulles.
Date: 2017-06-30 21:44:52 UTC
Le dernier serveur est accessible :
sql43.modules
Date: 2017-06-30 21:15:28 UTC
Les serveurs suivant sont accessibles :
sql38.modules
sql39.modules
Nous sommes à 96/97 serveurs restaurés.
Date: 2017-06-30 21:05:58 UTC
Le serveur suivant est accessible :
sql36.modules
Les trois derniers serveurs sont en cours de restauration, c'est une question de minutes.
Nous sommes à 94/97 serveurs restaurés.
Date: 2017-06-30 19:29:05 UTC
Le serveur suivant est accessible:
mysql55-185.bdb
Nous sommes à 93/97 serveurs restaurés.
Il reste 4 machines de type sqlxx.modules à restaurer, c'est en cours.
Date: 2017-06-30 19:17:58 UTC
Le serveur suivant est accessible:
mysql55-123.premium
mysql55-211.perso
mysql55-208.perso
mysql55-250.perso
Nous sommes à 92/96 serveurs restaurés.
Date: 2017-06-30 18:37:24 UTC
Le serveur suivant est accessible:
mysql55-241.perso
mysql55-210.perso
Nous sommes à 88/96 serveurs restaurés.
Date: 2017-06-30 18:01:27 UTC
Le serveur suivant est accessible:
mysql55-182.perso
Nous sommes à 86/96 serveurs restaurés.
Date: 2017-06-30 17:46:02 UTC
Les serveurs suivants sont accessibles:
mysql55-4.perso
mysql55-2.perso
mysql55-1.pro
Nous sommes à 85/96 serveurs restaurés.
Date: 2017-06-30 17:42:35 UTC
Nous rencontrons des lenteurs dans la restauration des données, mais nous vous garantissons que tous les serveurs seront restaurés.
Nous mettons tout en œuvre pour remettre en service ces bases de données le plus rapidement possible.
Date: 2017-06-30 17:33:44 UTC
Les serveurs suivants sont accessibles:
mysql55-8.perso
mysql55-200.perso
Nous sommes à 82/96 serveurs restaurés.
Date: 2017-06-30 17:11:05 UTC
Le serveur suivant est accessible:
mysql55-2.abuse
Nous sommes à 80/96 serveurs restaurés.
Nous rencontrons des difficultés pour restaurer les derniers serveurs. Nous faisons tout notre possible pour respecter les délais annoncés.
Date: 2017-06-30 15:16:02 UTC
Les serveurs suivants sont accessibles:
mysql55-213.perso
mysql55-233.perso
mysql55-253.perso
Nous sommes à 79/96 serveurs restaurés.
Date: 2017-06-30 14:54:53 UTC
Les serveurs suivants sont accessibles:
mysql55-219.perso
mysql55-218.perso
mysql55-220.perso
mysql55-3.abuse
mysql55-221.perso
mysql55-4.bdb
Nous sommes à 76/96 serveurs restaurés.
Date: 2017-06-30 14:37:20 UTC
Les serveurs suivants sont accessibles:
mysql55-202.perso
mysql55-2.bdb
mysql55-22.bdb
mysql55-217.perso
Nous sommes à 70/96 serveurs restaurés.
Date: 2017-06-30 14:23:41 UTC
Les serveurs suivants sont accessibles:
mysql55-217.bdb
mysql55-216.perso
Date: 2017-06-30 14:05:31 UTC
Les serveurs suivants sont accessibles:
mysql55-197.perso
mysql55-199.perso
mysql55-186.perso
mysql55-217.perso
Nous sommes à 64/96 serveurs restaurés.
Date: 2017-06-30 13:37:34 UTC
Les serveurs suivants sont accessibles:
mysql55-1.bdb
mysql55-194.perso
mysql55-1.abuse
mysql55-196.perso
Nous sommes à 60/96 serveurs restaurés.
Date: 2017-06-30 13:26:54 UTC
Le serveur suivant est accessible:
mysql55-180.perso
Date: 2017-06-30 13:23:44 UTC
Les bases qui étaient en Read-Only sont maintenant en Read-Write.
Toutes les nouvelles bases seront restaurées en Read-Write à partir de maintenant.
Date: 2017-06-30 13:22:02 UTC
Les serveurs suivants sont accessibles:
mysql55-195.bdb
mysql55-191.perso
mysql55-179.bdb
mysql55-193.perso
Nous sommes à 54/96 serveurs restaurés.
Date: 2017-06-30 13:07:21 UTC
Tout comme les bases de données mysql5.1, les bases de données crées en mysql 5.0 il y a quelques années sont maintenant sur des serveurs mysql55-*.
Voici la liste des correspondances : mysql5-19.perso -> mysql55-103.perso
mysql5-13.xxl -> mysql55-123.premium
mysql5-50.90 -> mysql55-167.business
mysql5-22.90 -> mysql55-168.business
mysql5-15.perso -> mysql55-194.perso
mysql5-25.perso -> mysql55-184.perso
mysql5-9.perso -> mysql55-193.perso
mysql5-36.90 -> mysql55-114.business
mysql5-2.90 -> mysql55-164.business
mysql5-1.xxl -> mysql55-120.premium
mysql5-1.perso -> mysql55-185.perso
mysql5-56.90 -> mysql55-166.business
mysql5-3.bdb -> mysql55-217.bdb
mysql5-9.start -> mysql55-106.perso
mysql5-47.90 -> mysql55-154.business
mysql5-57.90 -> mysql55-114.business
mysql5-5.perso -> mysql55-183.perso
mysql5-2.300gp -> mysql55-106.perso
mysql5-22.perso -> mysql55-189.perso
mysql5-5.business -> mysql55-101.business
mysql5-24.90 -> mysql55-166.business
mysql5-8.60gp -> mysql55-104.perso
mysql5-27.perso -> mysql55-180.perso
mysql5-45.90 -> mysql55-167.business
mysql5-7.media -> mysql55-127.premium
mysql5-2.start -> mysql55-106.perso
mysql5-52.90 -> mysql55-168.business
mysql5-48.90 -> mysql55-156.business
mysql5-13.60gp -> mysql55-104.perso
mysql5-16.240 -> mysql55-159.business
mysql5-6.720 -> mysql55-136.premium
mysql5-7.bdb -> mysql55-182.bdb
mysql5-2.business -> mysql55-101.business
mysql5-0.bdb -> mysql55-101.bdb
Date: 2017-06-30 13:03:23 UTC
Nous venons d'ajouter un message dans l'espace client aux clients concernés par cette panne.
Si vous êtes impactés par cette panne, vous aurez le message suivant dans votre espace client :
\"Nous vous informons que nous rencontrons actuellement un incident sur une partie de nos hébergements mutualisés situés à Paris (P19). Nos équipes techniques sont actuellement en cours d'intervention, les services sont rétablis au fur et à mesure, vous pouvez suivre l'évolution de la tâche sur http://travaux.ovh.net/?do=details&id=25709. Nous vous prions de nous excuser pour ces désagréments. Pour toutes questions sur nos produits et services, vous pouvez nous contacter au 1007.\"
Date: 2017-06-30 12:59:50 UTC
Les serveurs suivants sont accessibles en lecture seule:
mysql55-191.bdb
mysql55-190.bdb
Nous sommes à 50/96 serveurs restaurés.
Date: 2017-06-30 12:42:04 UTC
Les serveurs suivants sont accessibles en lecture seule:
mysql55-156.business
mysql55-185.perso
mysql55-186.bdb
mysql55-170.pro
mysql55-166.business
Nous sommes à 48/96 serveurs restaurés.
Date: 2017-06-30 12:25:04 UTC
Nous sommes à 43/96 serveurs restaurés.
Date: 2017-06-30 12:18:32 UTC
Les serveurs suivants sont accessibles en lecture seule:
mysql55-187.perso
mysql55-188.bdb
Date: 2017-06-30 12:16:38 UTC
Le serveur suivant est accessible en lecture seule:
mysql55-189.perso
Date: 2017-06-30 12:08:10 UTC
Le serveur suivant est accessible en lecture seule:
mysql55-182.bdb
Date: 2017-06-30 11:31:43 UTC
Le serveur suivant est accessible en lecture seule:
mysql55-184.perso
Date: 2017-06-30 11:26:49 UTC
Le serveur suivant est accessible en lecture seule:
mysql55-183.perso
Date: 2017-06-30 11:20:53 UTC
Les serveurs suivants sont accessibles en lecture seule:
mysql55-176.perso
mysql55-175.perso
mysql55-177.bdb
mysql55-174.bdb
mysql55-183.bdb
Nous sommes à 37/96 serveurs restaurés.
Date: 2017-06-30 11:04:42 UTC
Beaucoup de bases de données ont été migrées de mysql5.1 vers mysql 5.5 il y a quelques mois.
Le nom de base de données commence donc pas mysql51-* et n'est pas listée dans cette tâche travaux car c'est en réalité un serveur mysql5.5 qui répond.
Voici les bases mysql5.1 qui sont ou ont été impactées ainsi que leur correspondance avec le serveur mysql5.5
mysql51-12.business -> mysql55-158.business
mysql51-154.perso -> mysql55-222.perso
mysql51-144.perso -> mysql55-210.perso
mysql51-29.bdb -> mysql55-179.bdb
mysql51-89.perso -> mysql55-176.perso
mysql51-39.perso -> mysql55-200.perso
mysql51-106.perso -> mysql55-219.perso
mysql51-66.bdb -> mysql55-183.bdb
mysql51-47.pro -> mysql55-169.pro
mysql51-65.perso -> mysql55-103.perso
mysql51-145.perso -> mysql55-213.perso
mysql51-56.bdb -> mysql55-186.bdb
mysql51-115.perso -> mysql55-215.perso
mysql51-76.bdb -> mysql55-185.bdb
mysql51-19.premium -> mysql55-137.premium
mysql51-12.premium -> mysql55-138.premium
mysql51-158.perso -> mysql55-211.perso
mysql51-90.perso -> mysql55-175.perso
mysql51-10.business -> mysql55-157.business
mysql51-118.bdb -> mysql55-190.bdb
mysql51-62.bdb -> mysql55-183.bdb
mysql51-37.perso -> mysql55-191.perso
mysql51-3.abuse -> mysql55-1.abuse
mysql51-117.perso -> mysql55-216.perso
mysql51-158.bdb -> mysql55-195.bdb
mysql51-103.perso -> mysql55-220.perso
mysql51-55.perso -> mysql55-197.perso
mysql51-40.perso -> mysql55-196.perso
mysql51-37.bdb -> mysql55-182.bdb
mysql51-65.bdb -> mysql55-185.bdb
mysql51-135.perso -> mysql55-250.perso
mysql51-96.bdb -> mysql55-181.bdb
mysql51-79.perso -> mysql55-125.perso
mysql51-84.bdb -> mysql55-186.bdb
mysql51-41.bdb -> mysql55-191.bdb
mysql51-85.pro -> mysql55-168.pro
mysql51-119.perso -> mysql55-217.perso
mysql51-31.pro -> mysql55-144.pro
mysql51-141.perso -> mysql55-253.perso
mysql51-85.perso -> mysql55-182.perso
mysql51-91.perso -> mysql55-187.perso
mysql51-75.bdb -> mysql55-188.bdb
mysql51-104.perso -> mysql55-218.perso
mysql51-33.bdb -> mysql55-174.bdb
mysql51-15.business -> mysql55-102.business
mysql51-38.perso -> mysql55-202.perso
mysql51-36.perso -> mysql55-199.perso
mysql51-148.perso -> mysql55-208.perso
mysql51-132.perso -> mysql55-241.perso
mysql51-93.bdb -> mysql55-178.bdb
mysql51-71.bdb -> mysql55-101.bdb
mysql51-94.bdb -> mysql55-173.bdb
mysql51-40.pro -> mysql55-144.pro
mysql51-80.pro -> mysql55-167.pro
mysql51-156.perso -> mysql55-233.perso
mysql51-79.pro -> mysql55-165.pro
mysql51-86.perso -> mysql55-186.perso
mysql51-7.business -> mysql55-101.business
mysql51-81.pro -> mysql55-170.pro
mysql51-2.abuse -> mysql55-3.abuse
mysql51-71.abuse -> mysql55-2.abuse
mysql51-97.bdb -> mysql55-177.bdb
mysql51-48.perso -> mysql55-181.perso
mysql51-8.business -> mysql55-102.business
mysql51-150.perso -> mysql55-221.perso
Date: 2017-06-29 23:35:04 UTC
Voilà le plan pour les prochaines heures:
Les Storage Processors sont en route vers notre datacentre de Paris.
Les Storage Processors actuels présentent un défaut au bout de 3
minutes de fonctionnement, néanmoins l'état des disques semble
correct.
En parallèle, nous déployons les systèmes qui vont recevoir
les données sauvegardées provenant du dernier backup de
la nuit dernière.
Une fois les restaurations effectuées, nous allons remettre
en production les bases de données en lecture seule.
Le but de cette manoeuvre est de remettre les sites web
en ligne, en évitant l'impact que pourrait causer une
\"désynchronisation\" de plus de 20h.
Les bases de données seront restaurées en lecture seule
à partir de 2h du matin.
Nous espérons pouvoir remplacer le matériel et remettre en
marche les Storage Processors vers 5h du matin, et ainsi
remettre les bases de données dans leur dernier état avant l'incident.
Si cette opération n'aboutit pas, nous redémarrerons les bases
de données en lecture ET écriture avec la version de sauvegarde.
Toute l'équipe est mobilisée et fait le maximum pour réduire
ces délais.
Nous monitorons les taux d'erreur, afin d'assurer un retour
à la normale au plus vite de vos sites web.
Date: 2017-06-29 22:34:52 UTC
1. Récupération du datastore hébergeant les données des VM
La baie ne redémarre toujours pas.
Le matériel de spare est en chemin.
2. Reconstruction de nouvelles VM avec nos derniers backups.
L'étape \"1\" s'est bien passé.
Nous allons lancer la procédure de récupération des sauvegardes:
- Provisionning de nouveaux datastores dans les environnements de production
- Déploiement des \"socles\" MySQL, qui vont recevoir les backups et remettre en production les services
- Restauration des données brutes
- Démarrage des services MySQL
Les données qui seront restaurées ont été sauvegardées dans la nuit du 28 au 29 juin (environ 20h avant la panne)
Date: 2017-06-29 21:52:53 UTC
\"mysql55-167.business\" est UP (nous checkons l'intégrité des données)
Date: 2017-06-29 21:49:20 UTC
1. Récupération du datastore hébergeant les données des VM
la baie ne redémarre toujours pas.
Le système est doté de deux Storage Processors, pourtant,
les deux systèmes (SPA & SPB) sont en panne.
Nous vérifions aussi les connectiques de fibre.
2. Reconstruction de nouvelles VM avec nos derniers backups.
Les données brutes de \"mysql55-167.business\" sont toujours en restauration.
Nous préparons l'étape \"100\" en parallélisant la procédure.
Une fois le \"1\" validé (d'ici 30min), nous lancerons les
robots de backup.
Date: 2017-06-29 21:24:56 UTC
1. Récupération du datastore hébergeant les données des VM
L'équipe du datacentre de P19 est entrain de remettre en marche
chaque composant du chassis, qui n'arrive pas à redémarrer
(défaut sur l'alimentation).
En parallèle, nous envoyons nos enclosure de Spare à Paris au
cas où l'équipe sur place ne parviendrait pas à remettre en
marche l'équipement.
2. Reconstruction de nouvelles VM avec nos derniers backups.
Nous checkons d'abord la procédure de recovery des backups.
Etape \"1\": nous restaurons \"mysql55-167.business\", et
validons l'intégrité des données.
Une fois fait, nous déroulerons l'intégralité de la procédure
sur toutes les bases.
Nous mettrons à jour la tâche travaux régulièrement durant
cette étape.
Date: 2017-06-29 20:59:46 UTC
Tous les équipes sont mobilisées. Deux actions sont conduites en parallèles:
1. Récupération du datastore hébergeant les données des VM
2. Reconstruction de nouvelles VM avec nos derniers backups.
Date: 2017-06-29 19:27:50 UTC
une enclosure ne remonte pas, on creuse
Date: 2017-06-29 18:46:20 UTC
Le chassis est up l'ip de management aussi, on up le service
Date: 2017-06-29 18:37:08 UTC
Le chassis est en train de booter
Date: 2017-06-29 18:18:48 UTC
les techniciens réparent les disques de la baie de stockage, c'est toujours en cours
Date: 2017-06-29 17:52:26 UTC
Le technicien travaille à remonter la tete de stockage.
Date: 2017-06-29 17:34:10 UTC
nous avons une panne sur des composants de stockage nécessaire au bon fonctionnement du système. Les techniciens sont dessus.
Date: 2017-06-29 17:24:25 UTC
Plusieurs de nos Datastores sont inaccessible suite a un problème électrique.
----
Many of our Datastores are inaccessible due to an electrical problem.
This incident affected: Web Hosting || Datacenter GRA (Cluster002, Cluster003, Cluster006, Cluster007, Cluster011, Cluster012, Cluster013, Cluster014, Cluster015, Cluster017, Cluster020, Cluster021, Cluster023, Cluster024, Cluster025, Cluster026, Cluster027, Cluster028, Cluster029, Cluster030, Cluster031).