東証arrowheadシステム障害原因お粗末さ露呈

先日10月1日に発生した、東京証券取引所のarrowhead障害による売買の終日停止トラブルですが、昨日東証及びシステムベンダーである富士通から、トラブルの原因についての発表がありました。本日は原因の解説等をしたいと思います。

10月1日に株式売買システムで発生した障害について | 日本取引所グループ

取引再開ルール、年度内に整備　富士通「試験・確認が不十分」

▼前回、東証トラブルについてのnote▼

東京証券取引所arrowhead 全面停止から考える「絶対」は無いとういうこと

トラブルの原因

障害事象
arrowhead内で使用されている、共有ディスク装置（以下NAS）1号機のメモリ故障が発生したが、2号機に自動で切り替わるはずが正しく2号機への切り替えが行われなかった。

切り替わらなかった原因
当社は、NAS 故障時でも 30 秒以内に切替えて、業務を継続できることをシステム要件として定めています。現行 arrowhead構築時に、富士通の製品マニュアルを参照して NAS の設定値の妥当性を当社と富士通で共同検討しましたが、そこには切替えに関する設定値に拠らず自動切替えが動作すると記載されていたことから、同設定値におけるこれまでの arrowhead の稼働実績に鑑み、富士通の設定値を当社が確認のうえ、決定しました。
しかし実際には、arrowhead に設定した値ではメモリ障害時には自動的に切り替わらない製品仕様であることが、本障害後の調査で判明しました。※東証リリースより。

つまり、1号機から2号機への自動切換えが動作する、という製品仕様だと認識していたが、実際にはそのような製品仕様ではなかった、ということになります。そもそも富士通のマニュアルそのものが間違っていたようです。

富士通のストレージ装置（NAS）は、オリジナル製品ではなくNetAppというワールドメジャーなストレージ製品のOEMになっています。OEMする際には、富士通が日本語の製品マニュアルを作成したと思いますが、NetApp社の仕様書を見落としていたのか、そもそもNetApp社の仕様書が間違っていたのかはわかりません。いずれにしても、OEMベンダーである富士通は、出荷試験等のタイミングで検出すべき内容であったと思います。

初代（2010年）機種は、NAS設定値というものがON/OFFに関わらず自動で切り替わる製品仕様になっていたが、2代目（2015年）3代目（2019年）の機種においては、自動では切り替わらない仕様になっていたようです。

どうやら初代→2代目への機種バージョンアップの際に、NetApp側のOSが大幅にアップデートがあったようで、それに伴いここのデフォルト値も切り替わっていたようです。

責任の所在は

東証か、富士通か、はたまたNetApp社なのか？どのような契約を締結していたかわかりませんが、基本的には富士通は富士通の責任でNetApp社の製品をOEMしており、東証は東証の責任で富士通のシステムを納入しているため、終日売買システムを止めたことそのものは東証の責任であることに違いは無いと思っています。しかし、システム納入ベンダーの富士通も「製品仕様の確認漏れがありました」の一言では済まされないのが今回のトラブルです。

記者会見において、東証CEOも富士通に対して賠償請求をするつもりはない、とコメントされていましたが、今回ほどのお粗末な原因によるものだとするとどうなのでしょうか。もしも私が東証側の人間だったら、前言撤回したくて地団駄踏んでるでしょうね。

当初は、ハードウェアの故障は日常茶飯事なので、突発的な交通事故だと私も思っていおりました。しかし、今回はそんな話ではなく、日常茶飯事であってはならない事象です。

自動車のタイヤに本当はネジを4本留めなければならないのに、これまでずっと3本で留める仕様だったから、今回もネジ穴数を確認しないでネジ3本で留めていたら脱輪して事故っちゃいました、というような内容だ。

一方東証側も、自動切換えが動作するという前提でテストも運用も組み立てていたということですが、仕方ないと思いつつも東証ほどの社会インフラであれば、切り替えのテストも疑似的に済ますだけではなく、実際に切り替わるかどうかまでやるべきであったとも思います。

結局全ての関係者の認識が甘く、「これまで通り」、「前回と同様に」といったように試験を簡素化してしまった結果なのだと思います。「株式売買を一日止めた」という事実に関しては、東証が全面責任となりますが、原因となる「システムが切り替わらなかった」と「自動切換え前提でのBCP」に関しては、お互い様なのではないでしょうか。

今後金融庁からの立ち入り検査が入り、業務改善命令を軸にした行政処分が下るかと思いますが、東証も直接的な賠償請求はしない者の、何かしらのペナルティを富士通に与えることになるのではないでしょうか。