Ouvert le | Samedi 19 octobre 2019, 18:02 |
Dernière édition | |
Type | Incident |
Etat | Terminé |
Avancement | 100% |
L'infrastructure VPS est indisponible
L'ensemble de l'infrastructure a été restaurée. Elle sera continuellement améliorée selon le service nominal désormais.
Vous pouvez demander une compensation pour la panne si vous avez été impacté plus de 24h sur votre service. Merci d'ouvrir un ticket support.
Il reste actuellement 4 hosts HS :
Host-75 (39 VPS)
Host-61 (31 VPS)
Host-90 (29 VPS)
Host89 (19 VPS)
Toutes ces machines sont en cours de réparation, elles le seront ce jeudi ou vendredi.
Nous enregistrons un nombre élevé de VPS HS sur :
Host 103
Host 27
Le diagnostic est en cours individuellement pour chaque VPS hors service.
Le reste sont HS car installation échouée, ou corruption du disque. Nous passons sur chaque VPS VPS hors service pour analyser l'origine de la panne et la réparer.
Le réseau continue d'être upgradé progressivement, cela se ressent sur de nombreux hosts désormais. Il le sera intégralement dans les 15 jours à venir.
Nous allons également prochainement recevoir 5 nouveaux filers et 16 nouveaux hosts pour augmenter la performance de l'infrastructure et reprendre nos livraisons en 5 minutes.
Les fonctions de management ont étés réactivées. Vous pouvez à nouveau rebooter ou réinstaller votre VPS.
Il reste 300 VPS hors service sur notre monitoring à cette heure ci. De nombreux VPS sont simplement en kernel panic, nous vous invitons à faire un reboot dans votre fiche vps si vous n'avez pas accès.
Il reste le host 90 qui ne démarre pas. Nous allons changer ses disques et le réinstaller ce mercredi. Les VPS seront redémarrés ensuite.
Si vous avez des difficultées sur votre VPS après reboot, nous vous invitons à ouvrir un ticket. Attention cependant, le temps de traitement est long.
N'hésitez pas à partager votre problème sur notre salon Discord (lien en bas de site) afin de nous aider à identifier les problèmes globaux à un host ou un filer et le résoudre plus rapidement.
Nous continuons à rallumer les infrastructures VPS. La totalité des machines a été inspecté, et une stratégie de remise de service a été produite pour chacune.
Certaines disposent d'un boot cassé, d'autre d'un disque HS, ou encore d'alimentation hors service.
Coté filers, il ne reste à ce jour que le filer 2 en panne. Celui ci refuse de démarrer et le diagnostic est toujours en cours (peu de VPS impactés, moins de 20).
Les hosts 28, et 51 ont étés remis en fonction ce jour.
La saturation du réseau est en cours de résolution, nous avons upgradé une dizaine d'équipement dans la journée. Les travaux continuent demain.
Le retour à la normale définitif est prévu pour le vendredi 25/10. Les fonctions de reboot et de réinstallation seront remis en service ce Mercredi 23/10 dans la journée.
Etat à 22h30 21/10 : 500 VPS indisponibles.
La remise en marche de l'infrastructure a duré tout le week-end.
Nous avons pu rallumer plus de 90 % de l'infrastructure.
Le réseau a encore besoin d'être amélioré pour éviter les goulots d'étranglements mais globalement, cela fonctionne.
Il nous reste actuellement 1 Filer (Filer-02) et 8 hosts hors service.
Voici la liste des hosts :
Host 27
Host 28
Host 43
Host 51
Host 57
Host 72
Host 74
Host 90
Ces machines seront dépannées ce lundi.
Les fonctions de reboot et de réinstallations ont étés remise en fonction mais sont pour l'instant suspendue dans votre espace client le temps que le réseau soit upgradé.
Etat à 01hh 21/10/2019 : 670 VPS indisponibles.
Le déménagement des infrastructure VPS a été réalisé en urgence suite à des boucles réseaux incompréhensible.
Nous sommes actuellement en train de remettre en route l'infrastructure qui est indisponible partiellement depuis le 17/10.
Actuellement, 70% de l'infrastructure a été remise en service. Les VM sont en train de démarrer.
Etat à 18H : 1250 VPS indisponible.