È stato un risveglio difficile quello del 10 Marzo 2021. Molti gestori di siti web che avevano scelto il provider francese OVH si sono infatti ritrovati con il sito irraggiungibile. La causa? Un incendio significativo nel datacenter di Strasburgo
Notizia in continuo aggiornamento
Le prime conseguenze sono state rilevate attorno all'01:20 di questa notte, quando i siti web ospitati presso il datacenter di Strasburgo di OVH sono divenuti irraggiungibili.
"Un incendio ha distrutto SBG2. Una parte di SBG1 è distrutta. I pompieri stanno proteggendo SBG3. Nessun impatto per SBG4", racconta Octave Klaba, fondatore e CEO di OVH. I vari SBG, ricordiamo, identificano i gruppi di servizi presso l'area OVH di Strasburgo.
Il quotidiano lefigaro.fr riporta che "un centinaio di pompieri" sono impegnati a contenere le fiamme. Si tratta dunque di un incidente piuttosto significativo.
Il grave danno è circoscritto all'apparecchiatura. Le persone sono state immediatamente evacuate dagli edifici, e non vi sono né morti, né feriti.
OVH ha informato i clienti qui. Nella comunicazione si rassicura che il provider è al lavoro per ripristinare l'operatività. Al momento, nonostante l'incendio abbia colpito SBG2 e parte di SBG1, l'azienda ha disconnesso anche SBG3 e SBG4 per preservarne l'integrità.
Alle 07:30 della mattina, l'intervento risolutivo è ancora in corso, ed i siti in questione continuano ad essere down.
Al momento non è ancora noto se il provider sarà in grado di riavviare i siti interessati dalle copie ridondate oppure se sarà necessario un intervento manuale dei singoli clienti. Alla luce del fatto che OVH ha consigliato ai clienti di attivare il proprio piano di Disaster Recovery, è probabile che un ripristino automatico non sia possibile, perlomeno non nel breve periodo.
Su Twitter, nel frattempo, molti utenti stanno esprimendo solidarietà all'azienda con il tag #hugops, a significare "abbracci agli amministratori di sistema".
Alle 08:20 Klaba ha comunicato che i pompieri hanno domato l'incendio. SBG1, SBG3 e SBG4 non saranno comunque ripristinati entro oggi
Il team di OVH sta rientrando ora nell'impianto SGB3. L'obbiettivo è di "riavviare al più presto SBG3 e SBG4, potenzialmente SBG1".
Alle 11:20, Klaba ha aggiornato i clienti: "tutti i server in SBG3 sono OK". Il sito rimane disconnesso senza tempistiche per il riavvio.
La situazione relativa ad SBG1 è la seguente: la sala di networking è OK. Altre 4 sale sono distrutte, 8 sale sono OK.
Le rilevazioni di Netcraft conteggiano 3.6 milioni di siti non più raggiungibili, distribuiti su 464 mila domini distinti.
Tempistiche aggiornate per il ripristino
Con il tweet delle 16:07, Klaba ha comunicato che SBG1 e SBG4, oltre al networking, verranno ripristinati lunedì 15 marzo.
Per il ripristino di SBG3 sarà invece necessario attendere venerdì 19 marzo. Questa riattivazione, in particolare, è critica poiché è qui che venivano depositati i backup: senza poter accedere a questa stanza, gli operatori sono impossibilitati a ripristinare i propri servizi.
OVH ha predisposto una pagina dedicata con il resoconto della vicenda e un riepilogo delle ultime notizie disponibili.
Video-aggiornamento di giovedì 11 marzo 2021
Dal video del CEO di OVH Octave Klaba apprendiamo che:
- SBG2 è stato completamente distrutto dall'incendio
- 4 stanze di SBG1, quelle adiacenti a SBG2, sono state distrutte
- 8 stanze di SBG1, nonché gli interi stabili SBG3 e SBG4 sono intatti
- i tecnici sono al lavoro per rendere nuovamente operative le aree integre
- OVH si aspetta di rendere nuovamente funzionanti alcune parti di SBG1, SBG3 e SBG4 fra mercoledì 17 marzo 2021 e venerdì 19 marzo. In seguito, i clienti che avevano server in tali aree potranno nuovamente accedere ai propri dati
- il provider sta preparando una lista che indichi, per ogni cliente, in quale SBG e in quale stanza si trovavano i rispettivi servizi, sia il "principale", sia il "backup"
- i datacenter conservano infatti due copie dei dati dei clienti: una principale e una di backup. A volte, la copia di backup si trova nella stesso SBG, ma in una stanza diversa, dell'istanza principale. In altri casi, la copia di backup era conservata in un SBG differente o, addirittura, in un area distaccata (OVH ha aree datacenter anche a Londra e altri Paesi)
- Vi è quindi la concreta possibilità che alcune istanze distrutte dall'incendio possano essere riavviate dal backup, con necessità di intervento minime da parte dei clienti. La lista che il provider sta finalizzando e che verrà distribuita nelle prossime 48 ore consentirà di individuare con chiarezza, per ogni cliente, dove si trovavano le due copie
- OVH sta potenziando gli altri datacenter: 2.000 server sono in arrivo e le linee di assemblaggio stanno lavorando a pieno regime per rendere disponibili ulteriori 2.500 server alla settimana
- SBG2 era un datacenter definito di "vecchia generazione", realizzato nel 2011. Era dotato di una torre di aspirazione del calore. OVH ha in uso 4 impianti analoghi a SBG2
- In merito alle cause dell'incendio: l'investigazione è ancora in corso, ma i vigili del fuoco intervenuti hanno individuato tramite le telecamere termiche due gruppi di continuità (UPS) in fiamme. Uno dei due era stato oggetto di un intervento di manutenzione profondo il mattino precedente. Il collaudo era stato superato con successo
- il provider sta analizzando le registrazioni video delle 600 telecamere installate per estrapolare ulteriori informazioni
- l'aziende ha intenzione di modificare i datacenter di vecchia generazione ancora in uso per adeguarli a quelli più moderni già in uso
- gli operatori sono attualmente al lavoro per ripulire l'area, rimuovendo soprattutto le ingenti quantità d'acqua utilizzate per domare le fiamme
Storia in aggiornamento...
