感じた胸騒ぎはスルーしない方がいいという話。

Konitaroです。
みなさん、普段の仕事や生活の中でふと目にしたものに大小問わず胸騒ぎがしたことがある方は多くいらっしゃると思います。

今回は、僕が感じた胸騒ぎが現実のシステムトラブルとなってしまった話です。

僕はちょっとした用事でサーバールームで作業していました。作業をして立ち上がった目の前に、最近引き継いだばかりのシステムのサーバーがありました。僕が未経験のソフトを使ったシステムで、引き継いだものの前任者がいい加減な人だったこともありまともな引継書もなく、システムの仕組みはまだちゃんと把握出来ていませんでした。

「こいつに何かあったらどうしよっかなー。」

なんて思いながらログを眺めてみると、ディスクの障害が検知されたことが記載されていました。気になってディスクのチェックを実行させたところ、何もエラーもなかったので、「誤検知かな？ビックリさせるなよ。」と思いながらサーバールームを出ました。

ただ、あのログに妙な胸騒ぎを少しだけ感じたのですが、サーバールームを出て早々に問い合わせやら何やらでそんな胸騒ぎもあっという間にどこかへ行ってしまいました。

そして次の日…。

朝会社に行くと一本の電話が鳴りました。

『Konitaroくん、○○システムが使えないんだけどっ！！』

なんと、あの胸騒ぎを感じたサーバー上で稼働しているシステムが使えない。一気に変な汗が全身から吹き出ます。
そう、そのシステムは何千人という社員が使う経費精算系のシステム、止まったら経費精算できない、社員に精算した経費が振り込まれない、という社員のお金が絡んでくる重要なシステム。これはマズイ、すぐ復旧させないと、と思いとにかく慌ててサーバールームへ…。

サーバーの画面を見るとWindowsが固まっている、そしてハードディスクのランプは点灯したまま…。もううんともすんとも言わないサーバー、先輩に指示を仰ぎながらも電源を切って再投入…。「起動してくれっ！」、心の中でひたすら祈りながらサーバーの起動を待つ…。こんなに起動時間が長く感じたことは人生でも初めてでした。そして結果は…。

…起動しませんでした。

ハードディスクがお亡くなりになったようで、うんともすんとも言いません。

そしてここからが試練の始まりでした。
重要なシステムなのでサーバー機を2台立て同期させていて、故障したらもう1台に切り替えて運用する仕組みになっていました。なのでサーバーを切り替え、もう1台で稼働させれば…と思いデータの同期状況を見ると…。

前日にデータの同期がエラーで止まっていました…。

ヤバい…経費精算データが1日分抜けている…。
上司に全てを説明してから全社にシステム障害の案内を出し、正常稼働へと動き続けました。

結果としては丸1日かかりましたが、サーバーも通常通り稼働させ、無くなった経費精算データは再申請してもらうことで、事なきを得ました。
ただ、再度申請してもらう、と言っても移動の多い営業部門の方などは全てを覚えているわけではなく、結果として精算忘れも出たと思います。お叱りの電話を受けることもありました。

最初に感じた胸騒ぎを気にかけ、サーバーの状況を細かく確認し動いていれば、ここまでの損害は防げたかも知れない、と思うと自分の甘さが悔やまれてなりません。

自分の直感は大事です、何か感じることがあったらスルーせずに向き合ってみた方が良いかも知れません。