初の障害対応でやらかした話

エピソード的なものを書こうと思い立ったので書いてみます。
盛大なやらかしもしています。
少し話をボカす部分がありますのでご了承ください。

自己紹介にも書きましたが、元々QAとして仕事をしていた私はインフラ未経験で採用されました。

客先では基本的に1人での対応となる（普通もう1人つけるよねぇ）ので、経験者でもある先輩に色々と聞いたり、業務後に勉強したりと何とかついていこうと数か月たった時の話です。

担当して初めての障害連絡

一部の部屋のNWがダウンしている。業務に影響するので早急に対応してほしい。

との連絡を午後一で受け、現場に急行しました。
何分初の障害対応で軽くテンパりつつ現場到着。ヒアリングを行います。

お客さん「かくかくしかじか」
私「分かりました。確認しますね。」

内部・外部への通信が共にNG。
スイッチやLANケーブルは一切触っていないとのヒアリング結果からスイッチの故障かなあと推測。
前任者から引き継いだ配線図を片手に経路確認を行います。

その時の状況と引き継いでいた配線図を簡単に書くとこんな感じ。

こうなるとL2の故障を疑うんですが、L2は常時死活監視されています。
管轄のベンダーに連絡をすると、正常稼働中ですとだけ回答。
経験も少なくスキル不足の私はそれ以上の情報を引き出せず、分かりましたとだけ返答。
どちらにせよ、「この配線図間違ってるやんけ！」となるので経路調査を行います。

スイッチが見つからない！！！！

1人での経路調査も（当時の私にとっては）難易度がかなり高い。今もだけど。
ようやく連絡のついた先輩にヘルプを求めましたが、先輩もトラブル対応中で手が離せず、新規事業の2人体制ということもあり、詰みの状況。

そこで手を止めるわけにもいかず、先輩からの助言で「配線図に載ってないスイッチがあるんじゃない？」という情報を元にスイッチを探しますが探しても探してもスイッチは見つからない。

申し訳ないと思いつつも先輩に再度TEL
その中の会話で

私「点検口に入らないと分からんのでは」
先輩「点検口内の作業は契約になくてグレーなんだよね。万が一、ケガしても困るからなあ。」
私「じゃあどうしたｒ」
先輩「申し訳ない。。。お客さんに呼ばれた。また折り返す。ｶﾞﾁｬｯﾂｰﾂｰ」

スイッチを探し回ってたり、LANケーブルの故障も個人的に疑ってたので調査してたりと、この時点でもう18時前後。
ここでお客さんの1人が若干キレ気味で「まだかかりそうですかねえ」と声をかけてくる。

私も「申し訳ありません。図面と現状が異なっているようで。。。」としか返せない。

2つのやらかし

ここでそのお客さんが
「そうなの。。。NW機器の管轄はどこなの？」
私「NW機器は〇〇さんと聞いています」（やらかしその1）
これが余計な一言だった

お客さん「そこの業者に連絡してみるね」
私「到着まで待機しますね」
お客さん「もう遅いし、その業者に来てもらうから帰ってもいいですよ」
私「（無茶言うなあ）え？本当に大丈夫なんですか？」
お客さん「だぶん大丈夫でしょ！」

ここで私は帰ります。（やらかしその2）

帰宅中にその業者から連絡があり、「仮配線でしのいだ」とのこと。
一安心して翌日の朝を迎える。

ここで発注担当者から連絡。
担当者「昨日のXXXでの障害の件ですが、〇〇さんから連絡がありまして、こういった作業は〇〇さんの管轄外でして。」
私「管轄と伺っていたのですが違うのでしょうか。」
担当者「いや違うんです。こちらも説明不足だったようで申し訳ないです。正確には・・・略」
私「こちらが対応すべきでした。申し訳ありませんでした。」
担当者「こちらも説明が足りていませんでした。申し訳ないです。」

このやり取りの後、〇〇さんの対応された方へ謝罪を行いました。
「まぁまぁ、わざわざ謝らんでも。気にされなくて結構ですよ。実は・・・・略」と言っていただいたので少し気が楽になりました。
（この対応された方とは今も良好な関係です）

前述した（ミスその1）では「原因切り分けまではウチの管轄です」と答えるのが正しい対応でした。
初めてのことばかりで混乱していたとはいえ、根本的な部分を誤っていました。

（ミスその2）では帰ってはいけなかったに尽きます。原因を特定しきれなければ仮配線を敷いて仮復旧させるのはこちらの仕事。
テンパっており、先輩との連絡も取れなかったとはいえ、一旦仮配線を敷いてしのぐという結論に至れなかったことで、お客さんと対応された方には本当に申し訳ないことをしました。

後日談

翌日、先輩にも同行していただき何とか原因の故障したスイッチを発見できました。

ロッカー上の段ボールと柱の隙間にスイッチが縦向きに置いてあり、LANケーブル含め完全に死角になっていました。

配線も何とか追えました。結果的にはこんな感じ。
（今現在は変わっています）

防火壁もないのになんでわざわざ経由させてるの。。。

L2のポートもガラ空きなんですが。。。

あと弊社、リスクマネジメントもちゃんとしようね。2人（ワシは未経験）じゃきつかったよ。
先輩もきつかったと思うよ。