自動ニュース作成G
無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06551/
2019-11-27 11:56:41
>11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。
>その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。
すばらしかったので。
◇
・電源ヨシ!
・感電の恐れあるから作業する時は全ての電源をオフにするのは当然の事
・無停電電源装置確保ヨシ!
・https://encrypted-tbn0.gstatic.com/images?q=tbn%3AANd9GcS6mhBQvBtv0f1yrgPaRcezbwtFHWp0IRigOK9HykkSmq4XnNc8
・dc側のミスはまずいのはたしかだけどいまだに2割近く復旧出来てないってテナント側で障害テストちゃんとやってたのかな?
・電源オフだけで感電防止になるかなあ
・このリハクの目をもってしても
・昔データセンターのフロア電源を工事ミスでおとされて、サーバーが40台くらいダーティーダウン食らったけどやはり1台データベース破損したもんなあ
・#6 コンセント抜いた後に電源ボタンも押さないとな
・#8 破損した原因が気になる。ジャーナルを持たないデータべースか、ジャーナルを冗長性を持たないストレージに収容しててストレージが破損したか、くらいかな?
・#10 富士通とかのメモリ型DBじゃないの?
・メモリ型DB乗せるような機種はバッテリ内蔵してる
・raid5上のsqlserverでした。書き込み中にダウンして書き込みキャッシュの内容をロストしテーブルデータが破損しましたよ
・RAIDはストレージは多重化されているけど、コントローラがなぁ。コントローラの故障で、アクティブに多重化関係にあるストレージを論理的に破壊してくれちゃうのがRAIDなのに復旧できない主要因
・#13 まじか!キャッシュがストレージ側なのかサーバ側なのかわからないけど、ライトバック設定ならバッテリバックアップが必須、それがないならライトスルーにしないとDBじゃなくてもなんでも壊れる。その辺はどうだったんだろうね。