システムリリースを越えていこう

新月のパワーが強すぎたのか、2日がかりで作業しながら本番リリース動作確認で障害が発生して、リリースした機能はあえなく運用中止となった。

まず初日、リリースを担当したリーダーの朝一のメール報告はさっぱり状況がわからないまとめ方で、ボスからは「どういう意味？」とslackが来た。

読み解きながらリーダーにもヒアリングしてようやく状況が見えた。
どうやら相手先側のモジュールに問題があり、そこからのアクセスでエラーが出たようだ。
原因は相手先が中心となって調査中で、こちらは相手先の出方を待っていればいい状態だというリーダーの見解。

整理した結果をボスに報告。
報告までに気がついた我々の改善点を自分にフィードバック。

フィードバック:障害発生はストレスの高い状況であるが、学びのネタの宝庫だ。
・初動対応
・障害の内部報告／エスカレーション
   リリース障害フォーマットの周知
・事実確認とそのエビデンス
・顧客への報告
・担当変更時引継ぎ(深夜と昼間の担当)
・顧客の温度感の認知

そして迎えた2日目。
昨日とは異なる機能であるが、同様に連携相手先側の事情で、非活性化させて一旦終了。

顧客への影響は最小化されているものの、この状態を長引かせることは誰も望んでいない。
早期原因究明、解決に向けて着実に、不安要素はつぶしていこう。それが、当システムの問題有無を明らかにし、問題ないことがわかればプライムベンダーに対しても、正々堂々としていられる。

障害が出たという事実は変えられないけど、そこに対してわたしたちが何ができるかを考え、原因究明に協力すること、リリースプロセスについて今後改善する点はあるか振り返りフィードバックすること、これらが大事ではないかと思う。

うまくいってもいかなくても、それは表面に見えるだけのこと。
全てが貴重な成長の材料だ。