ナレッジワークQAにおけるスキル面接の改善と模擬面接の活用
ナレッジワーク QAエンジニアの河野（@TetsuayaKouno）です。
「ナレッジワークにおけるQAエンジニア向けのスキル面接とオンボーディングについて」という記事でスキル面接について紹介しましたが、実は事務的な手間の多さや面接官の属人化などの課題があり、QAエンジニアの採用を続ける上で、早めにそれらの課題を解決しようということで、スキル面接のブラッシュアップを8月上旬辺りから行っておりました。また、今まではQAマネージャ1名が面接を主導してきましたが、私もスキル面接に関わることになったということもあり、それもブラッシュアップすることになった理由の一つになります。
本ブログでは、もともとのスキル面接の課題やその課題解決に向けたアプローチを示し、実際にどのように課題を解決して行ったのかを説明していきます。この記事が、QA組織でQAエンジニア向けのスキル面接を検討されている方にとって参考になると嬉しいです。
スキル面接ブラッシュアップの背景
今までのスキル面接の流れ
まず、課題の解像度を上げるため、ナレッジワークの立場でブラッシュアップする前のスキル面接の流れを3つのステップに分けて概説したいと思います。
スキル面接用のコンテンツの提供
以前のブログでも紹介しましたが、ナレッジワークのQAエンジニアの選考では、主にテスト設計のスキルをチェックするような面接を実施しています。面接では、応募者の方に実際にテスト設計を行っていただくくのですが、事前にテスト設計のためのコンテンツを提供し、テスト対象をある程度理解した状態で面接に挑んでいただけるようにしています。
コンテンツとして、セールスイネーブルメントクラウド「ナレッジワーク」の一機能の実際の仕様書と、テスト用のデモアカウントで「ナレッジワーク」に触れることができる環境の2点を提供しています。スキル面接の実施
スキル面接では、テスト対象の仕様を簡単に説明をした後に、応募者の方に画面を共有いただき、お好みのテキストエディターやスプレッドシート（ツールは自由に使用可能）を使用しながらテスト設計を行っていただきます。この面接において、面接官はテスト設計の進め方や抽出されたテスト観点、テストケースを確認していきます。また、テスト設計を一通り行った後は、テスト設計成果物に対してディスカッションを行い、両者の理解度を深めます。スキルの評価
スキル面接の結果に基づき、面接官が複数だった場合には、両者のフィードバックをすり合わせた上で評価結果を記載し、HR担当者に結果を共有します。
今までのスキル面接における課題
では、ここから上記の3つのステップの流れを踏まえて、課題について述べていきます。
スキル面接用のコンテンツの提供
コンテンツとして、実際の仕様書と「ナレッジワーク」の環境を提供しているとお伝えしましたが、具体的な製品仕様や製品情報を提供するがゆえに、応募者の方と事前に機密保持契約（NDA）を締結する必要がありました。また、環境の提供に際しては、環境を作成しテストアカウントを発行するような手間も発生しておりました。
このようにスキル面接の準備段階で事務的な手間や煩雑な作業が多い上に、応募者の方との慎重なコミュニケーションが求められるため、無視できない工数がかかっておりました。スキル面接の実施
スキル面接では応募者の方に実際にテスト設計を行っていただきますが、テスト設計の誘導や質問に対しての受け答えなど、面接の進行のファシリテーションが必要になります。私自身が面接官の経験がほとんどなく、何回かスキル面接に同席したものの、実際に一人でファシリテーションしつつ、スキルを評価していく点に漠然とした不安がありました。スキルの評価
こちらも2と同様、今までQAマネージャ1名で実施してきたため、テスト設計に関する簡単な評価ポイントは用意していたものの、QA Group内で共通した評価ポイントの認識が持てておらず、評価が属人化していたという課題がありました。
課題解決のアプローチ
先に述べた3つステップにおける課題に対して、対処した順番に課題解決のアプローチを示していきます。
テスト設計の題材の再考
テスト設計の題材として実際の仕様をテスト対象にすることによりNDAの締結が必要だったため、その題材を見直すことにしました。評価ポイントの整理
属人的だった評価ポイントを解決するために、QA Groupのメンバー全員で評価ポイントを洗い出しチェックリストとして整理を行いました。模擬面接の活用
上記で述べた2つのアプローチによる課題解決が適切にワークするのかという点と、ファシリテーションの練習という点の2つを模擬面接を通じて対処していきました。
テスト設計の題材の再考
テスト設計の題材として、まずNDAの締結という手間を省くために架空のサービスやプロダクトの仕様書にすることとし、以下の点に配慮しながら仕様書を作成していきました。
特定のドメイン知識を必要せずに理解できるか
限られた時間である程度やりきれる適度なボリュームであるか
「ナレッジワーク」というプロダクトに一定の親和性があるか
このような点を先に整理することが重要で、大きな方向性が間違っていないかをQAマネージャと相談しながら、題材の作成を進めました。また、ある程度できあがったら中間レビューを入れつつドラフトまで作成し、その後、QA Groupのメンバーにレビューしてもらいました。
最終的にはテスト設計の題材として、ラーニングの計画と実施をサポートするような架空のSaaSの一機能に対しての仕様書が完成しました。
評価ポイントの整理
まず、QA Groupのメンバー全員の目線を合わせるために、みんなに（と言っても自分含めて4人ですが）再考したテスト設計の題材を配布して、テスト観点やテストケースを洗い出してもらいました。そして、ミーティングを開催し、その洗い出したテスト観点やテストケースを1件ずつみんなで確認しながら進めました。ここで、このテスト観点やテストケースは最低でも候補者の方に挙げてほしい、もし候補者の方がこのテスト観点やテストケースを挙げたら高評価、みたいな感じで分類していきました。もちろん、レアすぎるものや不要なものもここの確認作業で選別していきました。
その後、私の方で、分類や選別した結果を整理して、評価ポイントとしてチェックリスト化しました。スキル面接の間は、この評価ポイントに照らし合わせながら、テスト設計スキルの確認ができるので、以前よりはかなり属人化が減らせたように思います。
また、副次的効果として、QA Groupのメンバー全員で評価ポイントを作り上げたので、今後、私とQAマネージャ以外のメンバーが面接官になる場合は、立ち上がりがかなりスムーズになるように予想されます。
模擬面接の活用
テスト設計の題材を再考し、評価ポイントが整理できたので、それらがスキル面接で適切に機能するのかを確かめるために模擬面接を開催することにしました。もちろん、私のスキル面接のファシリテーションの練習も同時に行いました。
なお、模擬面接を開催するに当たり、当社のコーディング面接でも同様の試み（詳細はこちら）を行っていたこともあり、その活動を参考にしながら進めました。（frontend / backend ともに模擬面接募集は終了しています）
模擬面接の参加者はX（旧Twitter）で以下のような募集をポストし、無事に4名の方に参加していただきました。また、模擬面接では、本番を模擬したスキル面接を実施し、その後参加者の方からのフィードバックをいただいたり、テスト設計の結果に関してディスカッションしたりしながらお互い意見交換を行いました。
テスト設計のスキル面接の模擬面接を正式に実施することになりました。平日日中に1時間30分（模擬面接1時間 + お互いに所感や意見交換30分）確保できる方＋腕試ししたい方、DM頂けると嬉しいです！
— tettan（テッタン） (@TetsuayaKouno) August 21, 2023
さて、いざ模擬面接を実施したら、以下のような気づきと課題を得ることができました。
気づき1
テスト設計の題材の間違いや曖昧な点がまだまだ残って、模擬面接を進めながら題材の質を上げることができた
気づき2
テスト設計に関するディスカッションは参加者にとっても満足度が高いようであった（あまりこのようなディスカッションをする機会自体がないとのこと）
気づき3
評価ポイントはうまく機能しそうな感触を得たが、ボーダーラインのような明確な基準を設けることは難しそうなので、定性的な評価も同時に行う必要がある
課題1
単純なテスト設計のスキルも必要だが、時間が限られているので間接的にタイムマネジメントのスキルも評価される
課題2
面接の進行をしながら質問に答えつつ、評価ポイントのチェックを並行でやるのはかなり大変
課題1については、スキル面接中に応募者の方を適切に誘導してタイムマネジメントの悪さによってテスト設計スキルが評価できないようにならないようにしたいと思っています。
課題2については、慣れが大きな割合を占めているため、徐々に解決に向かっていくと考えています。
おわりに
本ブログでは、まず以前のスキル面接の課題やその課題の解決アプローチを整理しました。そして、実際に行った課題解決として「スキル面接の課題の再考」、「評価ポイントの整理」、「模擬面接の活用」の3点について説明しました。
このブログがQAエンジニア向けのスキル面接を検討されている方々にとって、参考になると嬉しいです。
最後になりますが、模擬面接に参加していただいた皆様、ありがとうございました。皆様のおかげで、より良いスキル面接が実施できそうです。
ナレッジワークでは引き続きQAエンジニアや、その他職種の採用を積極的に行っております。
ナレッジワークのQA Groupに少しでも興味を持っていただけましたら、ぜひカジュアルにお話しましょう！