自動ニュース作成G
53自治体でシステム障害、7割復旧も全面復旧の見通し立たず――日本電子計算が謝罪
https://headlines.yahoo.co.jp/hl?a=20191216-00000182-impress-sci
2019-12-17 01:26:00
>Jip-Baseは2011年に稼働を開始した自治体専用の共同利用型クラウド基盤サービス(IaaS)で、70団体が1318個の仮想OSを稼働させている。ストレージ保守をEMCジャパン、ストレージ製品の提供をDell Technologiesが担当する。
>12月4日にDell EMC社製ストレージに異常が発生し、全国53の自治体・団体のシステムに影響が出た。LUNとよばれる論理区画が次々とオフラインになり、これによってサーバー側からアクセスができなくなり、システムが停止状態となった。翌5日に原因がストレージのファームウェアにあることが判明、夕方にはファームウェアップデートとEMC側エンジニアによるスクリプト処理でLUNのオンライン化を進めた。
・以前のトピックへのリンク http://gnews.x0.com/20191206_004320/ http://gnews.x0.com/20191205_202852/
・そしていつものpiyolog 「類例報告過去4件の不具合で発生した自治体専用IaaSのシステム障害についてまとめてみた」 https://piyolog.hatenadiary.jp/entry/2019/12/11/063826
・問題のストレージは米デルテクノロジーズ(Dell Technologies)のストレージ装置「Dell EMC Unity 500」、検索でひかっかったブログ『ストレージのファームウェアアップデートを急ぐべき理由』 https://www.orangeitems.com/entry/2019/12/11/080953?utm_source=feed
・#3のブログ中にストレージファームウエアのリリースメモ(?)からの発生条件と症状についての和訳あり。コントローラの予期せぬ再起動や、ホストアクセスの喪失(リンクダウン?)など、IT関係者にとって恐ろしい文言が並んでる。
・なんで単なるOFFLINEでここまで復旧が遅れるのか不思議だったが、こっちの記事には『論理的にデータの不整合が発生』とあるな。データ破壊が起きてる感じか?だとしたら悪夢やな。 https://tech.nikkeibp.co.jp/atcl/nxt/news/18/06709/?ST=nnm&P=2
・システム担当者的には、自社で持ってるシステムが飛ぶのと、こういう余所に預けるタイプのシステムが飛ぶの、どっちがいいんだろ
・#6 ある程度大きなシステムならば、リスク分散を図るべきではないか。
・https://qiita.com/ktnyt/items/a4729e11b465c8f65478 Dropboxで運用していればこんなことには
・#7 「Hybrid Cloud Service Jip-Base」とあるから、可溶性確保のための東西バックアップ的なハイブリッドクラウドの利用もできたんだろうね。どこまでのサービスメニューが用意されてどこまでを各自治体が利用してたのかは判らないけど。
・#8 昨日ツイッターでちょっとバズってた案件やなw 本当にそんなことがあったかわからんけどw
・#8 データベースまるごとドロップボックスに転送されてて、全体で500TB近い容量がドロップボックスにコピーされてたという
・#8 数百ギガの同期にさえ丸一日かかるし、ちょっと大げさに書いてる気がする。ここのファイルはそれほどの容量じゃなくて、バックアップ等の不要ファイルを相当数合計してそう
・ここっていつの間にかNTTデータ傘下になってたんだね。ひょっとしてここの監視システムってhinemosベースなのかな?NTTデータが作ってるOSSの監視システムで、以前に15テナント150VMくらいの仮想環境を作ったときに使ってたことがある > 「監視システムに問題があった」(神尾氏)