AIエンジニアを採用する際の注意点

## はじめに

　昨今、AI技術を用いたシステムの開発を進めている企業が多数存在しています。そんな中、AIエンジニアの不足が至るところで叫ばれています。ITエンジニアさえ不足しているのに、AIエンジニアはなかなかいません。Wantedlyやその他の転職・求人サイトに求人を掲載してもなかなか見つけられない状況だと思います。
　私はAIベンチャーのCTOであり、これまで国内外問わず会社員、フリーランス、学生の採用面接及び採用、マネージメントを行ってきました。そんな中で面接ではいいこと言っていたが蓋を開けたらあれ？というエンジニアもいました。。
　ということで、今回は効率的にAIエンジニアを採用する方法ではないですが、せっかく見つけたAIエンジニアが本当にあなたの会社で活躍できるのかを判断するための注意点を共有いたします。（特に画像・映像系AIエンジニアです）

## あなたの会社で活躍できるAIエンジニアか判断するための注意点

前提として、あなたの会社がこれからAIサービス・機能の開発に取り組み始めたとします。

- データセットが欠乏している場合でも創意工夫でAIモデルを作成したことがあるか
- モデルを評価する場合、指標以外の傾向を見てきたか
- 自らアノテーションしたことがない

## データセットが欠乏している場合でも創意工夫でAIモデルを作成したことがあるか

　これからAIサービス・機能の開発に取り組み始める経営者及びプロジェクトメンバーに理解しておいてほしいことですが、この世に十分なデータセットが用意された状態でAIを開発始めることはほぼあり得ません。AIを開発する際にまず必要なのは、"使える"データセットを作成することです。既存のデータは不備があり、不足していることがほとんどです。
　そういう状況で、データセットが準備した状態でなければAIモデルを開発したことがないAIエンジニアがジョインしたらどうなるか、それは、「こんなデータではAIモデルは開発できません。」となります。このAIエンジニアの言い分は真っ当です。しかし、そこで終わってしまうとプロジェクトは終わりです。
　もし、データセットが欠乏している場合でも創意工夫でAIモデルを作成したことがあるAIエンジニアがジョインした場合どうなるか。まずは、データセットを作成するためにデータのクレンジングや拡張、アノテーションの追加を要求することでしょう。しかし、予算や期限の兼ね合いでそれらを実現できない場合（本来このような状況は避けるべき）、AIエンジニアは創意工夫によるAIモデル開発、DeepLearning等を用いない前処理、後処理の利用も含め、既存のデータからサービスとして使えるレベルのAIモデルを開発することでしょう。
　まずはサービスとして使えるAIモデルでサービスをスタートさせ、時には人力でカバーしPMFを達成。そして利益が出たところで高性能なAIモデルを開発すべく、データセット開発に投資する。という流れができます。
　
面接時の質問：
データセットが欠乏している場合でも創意工夫でAIモデルを作成したことがありますか？

## モデルを評価する場合、指標以外の傾向を見てきたか

　AIモデルを開発する場合、当たり前ですがAIモデルを評価します。評価ではお決まりの指標(ROI, MRRのようなもの)というものがあり、それを最大化することを目標にAIモデルを改善していきます。この指標だけに囚われてしまうAIエンジニアが結構多いのです。経営でもMRRといった指標だけを追い求めては経営は良くならないように、AIモデルでも指標に囚われると数字は良いけど脆いモデルとなってしまうことが多々あります。
　頑健なモデルにするために必要なのは、解析結果や学習データの傾向を目で確認することです。これは顧客へのヒアリングや従業員への1on1に近い感覚と思います。数字では表に出てこないけど、重要なことがそこにはあります。解析結果や学習データの傾向を目で確認することで、前処理や後処理のアイデアにもつながります。また、データセットの不備を発見することにもつながります。特に、画像解析や動画解析のモデル開発において、解析結果や学習データの傾向を目で確認しないエンジニアはダメだと考えています。

面接時の質問：
開発したモデルをどのように評価しますか？
評価に際して重要なことは何と考えていますか？

## 自らアノテーションしたことがない

　AIエンジニアがアノテーションをするなんてリソースの無駄使いと考える人もいることでしょう。基本的にアノテーションというのは、海外の人件費の安い国に依頼して行うことが多いです。国内でもいわゆる内職のような形で費用を抑えてアノテーションすることが多いです。
　なぜ私がAIエンジニアが自らアノテーションする経験が必要と考えているかというと、アノテーションを疑う目を持つ必要があるからです。アノテーションは誰でもできる簡単な仕事と思われるかもしれませんが、均一にアノテーションすることはかなり難しいです。例えば、人の領域を四角で囲むというアノテーションがあった場合、人が物の影に隠れて足しか見えない場合どうしますか？どこまで人が画像から見切れていたらどうしますか？人の領域は頭頂のギリギリからつま先ギリギリまでにしますか？それとも少し余白を入れますか？　といったように、考えることが多いです。もちろんアノテーション時に仕様として決めておく必要がありますが、人間がやる以上ミスはあります。このようなことを身をもって理解しておくことで、アノテーションを疑い、本当に正しいデータなのかを自ら確認するアクションを取ることができます。アノテーションデータはAI開発にとって肝という部分なので正確なアノテーションデータを作成することは長期的に見ても有意です。

面接時の質問：
これまで自らアノテーションしたことはありますか？それはどれくらいの量でしたか？
自らアノテーションしてみてどうでしたか？

## 最後に

　あなたの会社で採用するか検討しているAIエンジニア（特に画像・映像系AIエンジニアです）が本当にあなたの会社で活躍できるのかを判断するための注意点を共有いたしました。
　注意点に該当するのはKagglerと呼ばれる人に多い傾向と思います。ただ、Kagglerの人は知識や数値的な追い込みの力はかなり高いので、Kagglerの人に加えて、上記の注意点をクリアする人とのタッグを組めると強いですね。
　また、AIエンジニアの採用候補者探しですが、日本人で探す場合は学生か、20代で大手SIerにいる研究職のAIエンジニアにアタックするのが良いかと思います。学術的にDeepLearningを理解し研究しているのはその世代以降です。まずは、インターンや副業から始めてもらい、その後ジョインしてもらうとベストですね。