30時間ぶりの復旧
7月
4日
エアコンがとまり、サーバーの温度が上がり始め、サーバーのシャットダウンを開始しましたが400台のサーバーのシャットダウンが終わる前にUPSからの電気供給がなくなり、全てのサーバーは電源を失い停止しました。
火災が原因であったこともあり、データセンタースタッフは全員ビルの外に出され、サーバーへのアクセスさえもなくなりました。停電はその後も継続、復旧の見込みすら無い状態に陥りました。
外部からの電源、発電機からの給電も不可能な状態の中、データセンターへの電気供給を行うため、300km離れたポートランドから大型の発電機を2台トラックで持ち込み、ビルへの電気供給を行うための突貫工事が開始されました。この時点で12時間が過ぎています。そして工事が終わって発電機から給電を開始したのが火災発生してから24時間が過ぎていました。そしてそこから6時間過ぎた今、やっとサーバーが動き始めています。
現在400台中6台のサーバーに障害が確認されています。2日間の徹夜を行ったスタッフですが、この6台の復旧まで現在努力を行っています。
大変大きな問題になってしまい申し訳ありませんでした。この間状況は twitter.com/uchikura でお伝えすることができました。ブログルに書き込めるのが本当に嬉しいです。