画像アノテーションプロジェクトを失敗させない為に抑えるべき３つのポイント

今回は前回ご紹介した、「画像アノテーションプロジェクトを開始する為に必要な８つの情報」に加えて、さらに、「画像アノテーションプロジェクトを失敗させない為に抑えるべき３つのポイント」についてご紹介させて頂きます。

優先順位に沿ってご紹介させて頂きます。

①　納品タイミング
②　アノテーション済み画像及びアウトプットファイルのご提供
③　ディレクトリ構造

①　納品タイミング

とにかく、これに尽きます。アノテーション作業をアウトソースしたご経験がある御客様であれば、言わずもがなかと思いますが、可能な限り納品タイミングは細ければ細かいほど良いです。

たったそれだけ？と思われるかもしれませんが、これを抑えていれば、大きな問題になる可能性はかなり減ります。

何かあっても手戻りが小さくてすみます。非常に基本的だけれども極めて重要なプロジェクトマネジメントの問題です。

何もなければ良いのですが、例えば、「御客様側から提示して頂いたアノテーションルールには沿っているけれども、御客様が期待しているアノテーションのイメージと若干異なる」ということは、しばしば起きます。

アノテーションルールを活字のみでご提示頂いている場合は特に注意が必要です。ご想像頂けると思うのですが、文字で視覚的に完璧に描写することは限界がありますし、対象画像も様々なパターンがありますので、それを、完璧に文字でルール化して伝えるのは御客様にとっても非常に難易度が高いのです。

作業を実施する側としては、「質問するべき状況」と判断した場合は、御客様に質問させて頂き、このタイミングで御客様の意図を汲むことは可能ですが、御客様から頂いた活字のアノテーションルールに沿っているのであれば、「御客様から頂いたアノテーションルールに沿っているから」、という理由で悪気なく、作業を進めてしまうわけです。

ただ、一方で、納品タイミングを多くすれば、それだけ、納品に伴う管理工数、つまり、費用がかかってきますし、御客様側での検品工数もかかってまいります。また、そもそも、アノテーション業者によっては、最短でも１週間毎の納品にしか対応していないという話を御客様から伺います。

従いまして、ただ「納品は毎日が良い」ということではなく、まずは、お客様自身が望む納品タイミングで、御客様自身が検品可能か？、また、受託側がその短いメッシュでの納品に対応できるか？という問題があり、次にそのコストを御客様が許容できるか？というところはクリアにしておく必要があります。

仕様、リソース状況にはよりますが、弊社では「毎日の納品」にも対応させて頂くことも可能ですので、その点、ご希望される御客様は是非、弊社までお問い合わせください。

②　アノテーション済み画像のご提供

「アノテーションルールを活字でご提示頂いている場合は特に注意が必要です。」と書きましたが、いわばそれに対する対応策です。

活字だけでなく、実際のアノテーションの結果をご共有頂くことで、作業側にもアウトプットイメージ伝わりやすくなります。御客様にとっては、実際にアノテーションして頂くことになりますので、お手間かとは思いますが、これによって作業開始後の御客様への確認作業はかなり減り、かつ作業精度も向上しますので、御客様にとっても、意味のある作業かと思います。

具体的にアノテーションの結果とは、具体的には、下記の２点です。
・アノテーション済みの画像
・そのアウトプット

「アノテーション済みの画像」は御客様でアノテーション頂いた結果をスクリーンショットで送って頂ければ結構です。
つまり、矩形やポリゴンで物体検出している様をご共有頂くことになります。

例えば、写真の中に、大きさがバラバラの複数の文字が並んでいる場合、御客様からは「写真の中の最も大きい文字を基準に、その２分の１程度の大きさの文字までを対象とする」という指示があったとします。確かに、活字の説明で理解はある程度できるのですが、ここにさらに「アノテーション結果」をビジュアルで確認させて頂けると、御客様が希望する内容がより確実に作業側に伝わります。

③　ディレクトリ構造

これは、先に出た２つに比べて優先順位はかなり落ちるかもしれません。全く考慮する必要ないときもありますので。

たとえば、アノテーションした結果、写真が３つに分類できるとします。「Aだけが写っているもの」、「Bだけが写っているもの」、「AとB両方写っているもの」の３つです。さらに、御客様側で「Aが写っているもの」を何か加工・処理することがあるとします。
この場合、「Aが写っているもの」が一つのフォルダに納まっていることが良い場合があります。
しかも、「Aだけが写っているもの」を対象にするのか、「AとB両方写っているもの」も対象に含めるのか等、意外とバリエーションがあります。

アノテーションのルールを決めて頂く際にこのあたりは、見過ごされがちなポイントになりますので、このあたりもご留意頂けますと、手戻りが少なく、結果、価格も抑えることができます。

まとめ

上記、３つの情報がなければ、作業がスタートできない、というものではありません。前回、紹介させて頂いた８つの情報さえあれば、作業は着手できます。
ただ、より失敗しない、あるいは手戻りの少ない、つまり費用をかけないアノテーションを目指すのであれば、抑えておくべきポイントであることは間違いないと思います。

次回は、VoTTというマイクロソフトのアノテーションツールをマイクロソフトのAzureと連携させた使い方について、ご紹介させて頂きたいと思います。