記事検索

PSPINC代表 内倉憲一の公式ブログ

https://jp.bloguru.com/uchikura

30時間ぶりの復旧

スレッド
データセンターで火災、スプリンクラーが稼働、スプリンクラーの水で変電機がショートと言うアクシデントが米国の木曜日の午後11時に発生しました。これによってデータセンターのビル全体が停電、外部からの電力、内部の発電機も使えない最悪の状況が発生しました。この時点でインターネットへの回線は遮断、インターネットへのアクセスがなくなりました。

エアコンがとまり、サーバーの温度が上がり始め、サーバーのシャットダウンを開始しましたが400台のサーバーのシャットダウンが終わる前にUPSからの電気供給がなくなり、全てのサーバーは電源を失い停止しました。

火災が原因であったこともあり、データセンタースタッフは全員ビルの外に出され、サーバーへのアクセスさえもなくなりました。停電はその後も継続、復旧の見込みすら無い状態に陥りました。

外部からの電源、発電機からの給電も不可能な状態の中、データセンターへの電気供給を行うため、300km離れたポートランドから大型の発電機を2台トラックで持ち込み、ビルへの電気供給を行うための突貫工事が開始されました。この時点で12時間が過ぎています。そして工事が終わって発電機から給電を開始したのが火災発生してから24時間が過ぎていました。そしてそこから6時間過ぎた今、やっとサーバーが動き始めています。

現在400台中6台のサーバーに障害が確認されています。2日間の徹夜を行ったスタッフですが、この6台の復旧まで現在努力を行っています。

大変大きな問題になってしまい申し訳ありませんでした。この間状況は twitter.com/uchikura でお伝えすることができました。ブログルに書き込めるのが本当に嬉しいです。
#ブログ

ワオ!と言っているユーザー

  • ブログルメンバーの方は下記のページからログインをお願いいたします。
    ログイン
  • まだブログルのメンバーでない方は下記のページから登録をお願いいたします。
    新規ユーザー登録へ
めゑ
めゑさんからコメント
投稿日 2009-07-04 21:20

復旧作業お疲れ様です。

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-05 06:40

みんな2日間徹夜です。本当に頑張ってくれています。

ワオ!と言っているユーザー

KUMA
KUMAさんからコメント
投稿日 2009-07-04 21:21

お疲れ様でした・・・・

逐一レポートをいただき、クライアントには
「安心」をお伝えできたと思います。
ありがとうございました。

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-05 06:43

こんな事故があってはいけないのです。


でも Microsoft bing.com の Travel サイトも米国最大のクレジットカードオンラインプロセスの Authorized.net もダウンしていました。だれも本当に予期していなかったのだと思います。

問題・課題が多く残っています。今も発電機で稼働している状態です。不安です。

ワオ!と言っているユーザー

kito
kitoさんからコメント
投稿日 2009-07-04 21:36

予期せぬ出来事で復旧作業必死にされたと思い心より感謝しています。

2日くらい前からつながらなくてメンテナンスでもしているくらいの軽い気持ちでいて2日めになってもつながらないので何か起きたと思いメールでお聞きした次第です。
復旧作業本当に感謝申しあげます。

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-05 06:44

すみません。本当にあってはならないことです。

ワオ!と言っているユーザー

shiropoko
shiropokoさんからコメント
投稿日 2009-07-04 21:36

ご苦労様 すべて水かぶったら どうなるのかと心配していました。皆様の努力に敬意を表します。

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-05 06:45

火災と水没は地下2階です。サーバーは全て3階なので大丈夫です。でも電気が来ないとサーバはただの箱です。

ワオ!と言っているユーザー

MR職人
MR職人さんからコメント
投稿日 2009-07-04 22:22

お疲れ様でした・・。

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-06 16:41

返事がおそくなりました。日曜日になって少し落ち着きました。ご声援ありがとうございます。

ワオ!と言っているユーザー

keimi
keimiさんからコメント
投稿日 2009-07-04 22:38

大変お疲れさまでした。

ありがとうございます。

ワオ!と言っているユーザー

この投稿へのコメントはできません。
内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-06 16:41

返事がおそくなりました。ほんとうにご迷惑をおかけしました。

ワオ!と言っているユーザー

sunukolyn
sunukolynさんからコメント
投稿日 2009-07-04 22:53

お疲れさまです。

ブログルにアクセスできなくて寂しかったです。

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-06 16:43

返事がおそくなりました。最低の状況でした。ごめんなさい。

ワオ!と言っているユーザー

Toshiaki Nomura
Toshiaki Nomuraさんからコメント
投稿日 2009-07-04 23:29

ブログルにつながらなくなり、

信頼性の薄い我がパソコンが故障かと焦りました・・・。
無事復旧してよかったです。

大変な作業、ほんとにお疲れ様でした・・・。

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-06 16:44

返事がおそくなりました。本当に復旧するまで気がかりでした。本当にすみません。

ワオ!と言っているユーザー

量産型水野
量産型水野さんからコメント
投稿日 2009-07-05 00:28

朝みてたのですが夕方になって見ようとしたら見れなくなってあかんこれはあかんと思って何回もアクセスしてましたがなかなかアクセス出来ずで自分のパソコンいじってました。けど問題が分かって解決出来て良かったです、迅速なご対応ありがとうございました


またTシャツ活動出来ます、先日はご注文ありがとうございます。他の人からの注文も確定しましたので来週本格的に制作していきます

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-06 16:50

返事がおそくなりました。Tシャツ売れて良かった。本当に売れて良かった。

ワオ!と言っているユーザー

おしょう
ロッキーおしょうさんからコメント
投稿日 2009-07-05 08:34

お疲れ様です

いやあ焦りました。(笑)
こんなにあてにしてただなあと実感
お客様からも電話があったりして
落ち着かない24時間でした
それにしても復旧できて何よりです
一般ユーザーに何かインフォメーション(笑)
あっ私はメールも止まったので無理か(笑)

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-06 16:56

最悪の状況を考えたシステムを考える仕事が残されました。考えないと。

ワオ!と言っているユーザー

yumirou
yumirouさんからコメント
投稿日 2009-07-05 20:49

大変なことになっていたのですね。

私のアドレスだけ除外されたのかと思いました。
無知ですから、そのぐらいの発想です。
これからの復旧作業がんばって下さい。

お疲れ様です。

ワオ!と言っているユーザー

内倉憲一
内倉憲一さんからコメント
投稿日 2009-07-06 17:02

申し分かりません。想定外のことでした。まだまだ考えが甘いようです。

ワオ!と言っているユーザー

ハッピー
悲しい
びっくり