見出し画像

GLITにおける求人検索の品質改善②（運用編）

saitoxu

こんにちは，Caratの斎藤( @saitoxu )です．

今回は「GLITにおける求人検索の品質改善①（準備編）」の続きになります．
前回の記事から約2ヶ月が経ち，検索ログが貯まるようになったので今回はそれを分析してみたという話です．
前回載せた検索改善の全体像（図1）でいうと，「オンライン評価」のステップに当たります．

図1: 検索改善の全体像

どんなデータか

最初に検索ログの具体例を示します（図2）．

図2: 検索ログの例

たとえば検索ID = 1のログは「ID = 1のユーザが検索条件Aで検索して，1番目に表示されたID = 1の求人をクリックした」という結果を示しています．
1回の検索で複数回クリックされる可能性があるため，クリックポジションと求人IDは配列の形を想定しています．

分析

最初は大まかに分析をして課題がどこにありそうかアタリを付けたいので，今回は以下の分布・数値を調べてみました．

  • クリックポジションの分布

  • 検索条件の利用分布とCTR (Click Through Rate)

  • 検索条件数の分布とCTR

ちなみにCTRは「検索結果が1度以上クリックされた検索数 / 検索数」と今回は定義します．

クリックポジションの分布

図3: クリックポジションの分布．横軸がクリックポジション，縦軸（左）がクリック数（水色），縦軸（右）が累積比率（赤点線）

図3を見ると大半のクリックは上位のポジションで発生している事が分かります．
累積比率からは約9割のクリックが上位100位以内で発生しているようです．
GLITにおいてもユーザのニーズに合った求人を検索結果の上位で表示することができれば，より多くのクリックや応募を期待できそうということが分かります．

検索条件の利用分布とCTR

図4: 検索条件の利用分布とCTR．横軸が検索条件，縦軸（左）が利用回数（水色），縦軸（右）が平均CTRとの比（赤点線）

図4ではprefecture（都道府県）を使った検索がダントツで多いことが分かります．
やはりどこで働くかは重要視されるということでしょうか．
しかし，平均CTRとの比は1.0より低く改善の余地がありそうです．
他の検索条件は総じてボリュームは少ないがCTRは高いという傾向でした．

検索条件数の分布とCTR

図5: 検索条件数の分布とCTR．横軸が検索条件数，縦軸（左）が検索数（水色），縦軸（右）が平均CTRとの比（赤点線）

1回の検索で指定された検索条件数の分布とCTRも調べてみました（図5）．
検索条件が1つの検索が最も数は多いですがCTRは低く，2つ以上の検索は数は少なくなりますがCTRは高かったです．
検索条件数が多いほうが転職意欲の高いユーザで，かつ検索結果も絞り込まれるのでCTRも高くなるだろうなというのは想像できますが，ここまで大きな差が出るのは意外でした．

課題

ここまでざっと検索ログを眺めてきましたが，収集したログに以下のような課題があることが分かりました．

  • ゼロヒット率がどれくらいか分からない：検索結果数が0件の場合，GLITではそもそも検索できない仕様なのでログに残せていませんでした．アプリのUXとしては「検索結果が0件でガッカリ😢 」ということがないので良いですが，検索品質を改善していくためには0件だった検索条件やその割合を収集しておく必要があります．

  • 暗黙的な検索の影響が大きい？：GLITでは検索画面を開くと自動で以前の検索条件で検索されるのですが，この暗黙的な検索とそれ以外の明示的な検索を区別する必要があると感じました．図4や図5の結果は暗黙的な検索数の影響が大きい可能性があり，明示的な検索のみの場合にどうなるかは改めて見たいです．

おわりに

以上，GLITにおける求人検索の品質改善の途中経過をお話しました．
今後は，上記で述べた課題をクリアしつつ，検索品質を改善できそうなアイデアを見つけ，実装・A/Bテストなどをしていきたいと思っています．

最後に，弊社では日本の仕事探しにおける負を一緒に解決してくれる仲間を募集しています．
下記の募集ポジションまたは，その他少しでも興味を持たれた方は斎藤のTwitterまでお気軽にご連絡ください．


この記事が気に入ったらサポートをしてみませんか？