【其の１】過去にやらかしたこと

お久しぶりの更新です。

昨日は深夜作業があり、久しぶりだなーなんて思っていましたが、若い頃はわりとこの深夜作業は多々あり、また若さゆえか夜中に仕事をしていることに対して、それを楽しんでいる自分がいたことを思い出しました。

そこで以前深夜作業をしていた時にやらかしてしまったことを社内に向けて発信した記事がありましたので、noteでも公開しようと思います。

■内容

ガラケー時代の経験がある方なら記憶に新しいのではないかと思いますが、当時はUIDの付き合わせという作業を行う必要がありました。

このUID付き合わせとは、キャリア（docomo、au、vodafone※ソフバン前）から毎月（docomoは毎日）UIDデータをもらい、キャリアに登録されている会員情報と、DBに登録されている会員情報にズレが生じないよう整合性を行うことを目的としていました。数値がズレてしまうと本当の会員数がわからなくなったり、事業計画や収支計画に支障が出てしまうからですね。またこの作業はなぜか会社に泊まり込んで深夜帯に行うことが当たり前となっていた時代であり、しかも毎月実施する必要があり、この日もいつものと同じ深夜作業となるはずだったのですが、事件は起きてしまいました。

■何が起きたのか

時間は深夜の2時頃。アクセスも急激に落ち込み、そろそろやるべ！とメンテナンスを入れずに作業を開始（当時は毎回ノーメンテで実施）します。
UIDの付き合わせデータはあらかじめクライアント様から受け取っており、それを会員DBに流し込むというごく単純な作業でした。この日も会員DB（PostgreSQL）にログインし、キャリア毎にUIDデータを順番に流し込んででいましたが、ここで事件が起きてしまうことに。

部下A「あれ？なんか会員数が減っていってません？」
自分「突き合わせをしているんだから、減っていくもんよ」
部下B「いや、減り方が激しすぎませんか？」
自分「docomo以外は月に一回の付き合わせだから、けっこう大きく減るで」
部下A、B「いや・・・会員数が0になっていませんか？」
自分「え？？？？？！！！！！」

そうなんです。部下AとBが言うように会員数が0になっていることを確認しました。なぜだ？何が起きた？？と変な汗は出るし軽くプチパニックになりながらも原因を探したところ、すぐに理由は見つかりました。

■原因

あれれ？クライアント様に用意してもらったUID付き合わせデータが退会者のデータになってるじゃん！だったのです。本来であれば正常会員のデータでなければいけないのに、退会者のデータとなっていたため、丸っとデータが入れ替わってしまいました（まさかの退会者の会員DBが完成）

■復旧

これはヤバイ！ということで、すぐにメンテナンスを入れ会員DBを戻さねばと決心するものの、実際にはいつも問題は発生することはなく、復旧作業自体これまでに対応した経験がないため、部下ABと手探りで実施することに。

クライアント様に電話！・・・出ない。
続いて上司に電話！・・・出ない。
誰も連絡が取れない（涙）
取り急ぎクライアント様にメールで一報（上司もCCに入れてメール送信!!）

本来であればGOサインをもらってからの作業ということになりますが、今回は復旧しなきゃ話にならないので、ここは自己判断で復旧作業を開始します。

当時は1日1回早朝のバックアップしかとっておらず、前日の朝4時のものしかなかったのですが、ひとまずこれに戻す作業を開始します（前日朝4時から翌日深夜2時までの会員データは戻せず、これはアクセスログから一つずつ会員データを復旧したのは今となっても苦い思い出）

明け方頃にクライアント様から連絡が入り、理由を説明するとすいません・・と逆に謝罪をされてしまい、こちらの確認不足が原因でもあるので心が痛かった記憶が。UIDデータの内容を確認しておらず申し訳ございませんとお伝えし、復旧作業を続け時間は朝になり、昼になり、夕方になる頃には一通りの作業が終了しました。

■対策

そもそも今回のミスはクライアント様からもらったデータだから大丈夫だろうという固定観念が原因であったため、自分たちでキャリアからデータを取得する方法に変更しました。そうすることで、取得したデータが本当に問題ないかを複数人でも確認できますし、障害を未然に防ぐことができると判断した結果となります。

その後、僕が転職したあとでも過去話として話題になることが多い障害でしたが、以降は同様の障害は発生していないため、対策としては正解だったのではないかなと思っています。

余談ですが、ガラケーサイトってまだまだ健在のようです。前職でもガラケーサイトの運用を継続していると聞いていますし、時代がアプリに変わりつつある中でも、まだ相当の会員数がいるんだなーってビックリしました。

さて次回はソシャゲー運営時のやらかしでも書こうと思います。