記事検索

PSPINC代表 内倉憲一の公式ブログ

https://jp.bloguru.com/uchikura

データセンターで火災、サーバー稼働を一時停止!

スレッド
2008年6月21日

今朝、シアトル時間午前2時から我々が使用するシアトル
データセンターで無停電電源のバッテリーの入れ替えがあ
りました。電源のリダンダンシー(冗長化)をするために
サーバーには A,B,C,D の4電源が入っています。今日の入
れ替えは A 電源のバッテリー入れ替えでした。

2時からスタートした作業は順調に終了して2時半には、
APC のスタッフなども帰り始めました。それから2時間が
過ぎた4時過ぎ(日本時間の土曜日午後8時)に入れ替え
た UPS D スイッチから発煙しました。

この発煙により消防が到着、A, C, D 電源への電気供給を
物理的にストップしました。片っ端から電源スイッチを OFF
にしていったそうです。しかし、発煙(消防は出火と言って
います)は UPS から発生しています。ですから給電を止め
てもバッテリーで電気供給は継続されるために、発煙はと
まりませんでした。そこで消防は、物理的に UPS のクロー
ジャを破壊・・・良く感電しなかったものです。

この時点で C と D の UPS がシャットダウンしました。
このためデータセンター内のサーバーへの電源供給が停止
する状態が発生しました。

6時には UPS を外した形で全てのサーバーへの電源供給は
復旧しています。現在使用不可能になった D UPS からの
給電を A UPS に入れ替える作業を行っています。

この事故が発生しましたことを深くお詫び申し上げます。ま
た、この事故でメールの遅延が発生いたしました。現在、
データセンター運営スタッフが全力で対応いたしております
ので日本時間の日曜日午前2時までには正常に戻ると考えて
おります。

役にはたちませんが、私もデータセンターに来て、スタッフ
のじゃまにならないよう今このリポートを書いています。

Pacific Software Publishing, Inc.
内倉
ken.uchikura@pspinc.com
#PC #テクノロジー #ネット

ワオ!と言っているユーザー

  • ブログルメンバーの方は下記のページからログインをお願いいたします。
    ログイン
  • まだブログルのメンバーでない方は下記のページから登録をお願いいたします。
    新規ユーザー登録へ
KUMA
KUMAさんからコメント
投稿日 2008-06-22 02:36

お疲れ様です。

発煙時は臭いが重要で、発火に至るか否を判定が出来ます。
無闇に電源を停止するのは考え物で、消火準備さえあれば、予後を考慮すべきです。
家庭での出火なら知らず、データセンターでの事故には対応があるはずです。

問題の発煙ですが、バッテリー交換に直接起因しているのか、交換時にケーブルの差込、その他の理由でスイッチの部分の接触が緩み、発熱>発煙になったか等を至急に調査されることを強くおすすめします。
後者なら他のスイッチも疑わないといけないからです。

ワオ!と言っているユーザー

うちくら
内倉憲一さんからコメント
投稿日 2008-06-23 00:34

今回発煙した機材は APC のもので、フィッシャープラザの管理のものです。我々は直接さわることはできません。さわりたくもないです。

ワオ!と言っているユーザー

birdy
birdyさんからコメント
投稿日 2008-06-22 09:08

よくわからないけど、大変だったんですね。

大事にいたらなかったようで。

お見舞い申し上げます。

ワオ!と言っているユーザー

うちくら
内倉憲一さんからコメント
投稿日 2008-06-23 00:36

ありがとうございます。ご心配をおかけしました・・・と言うか、ご心配をおかけしています。

ワオ!と言っているユーザー

Toshiaki Nomura
Toshiaki Nomuraさんからコメント
投稿日 2008-06-22 10:28

これは大変なことですね!!


ここを開いた途端、
IMが停止してしましました・・・(−−〆)

ワオ!と言っているユーザー

この投稿へのコメントはできません。
うちくら
内倉憲一さんからコメント
投稿日 2008-06-23 00:37

IM???

何でしょうか?

ワオ!と言っているユーザー

kito
kitoさんからコメント
投稿日 2008-06-22 14:10

大変な事になっていたんですね。


消防士が片っ端から電源スイッチを OFF にして行ったとありますが消防の方はどういう仕事をしている会社か解っていたのでしょうか。

むやみに電源OFFはすごい決断がいるとおもいます。

復帰するのに電源OFFは影響ないわけないですよね。いつもお世話になり心より今後も何事も無いよう祈っています。

ワオ!と言っているユーザー

うちくら
内倉憲一さんからコメント
投稿日 2008-06-23 00:38

消防士も特別な訓練が必要。感電がなくて良かったです。本当に・・・

ワオ!と言っているユーザー

ハッピー
悲しい
びっくり