見出し画像

【AI】画像アノテーションの外注費はいくらが相場か?

画像アノテーションとは?

画像アノテーション(画像のタグ・ラベル付けともいう)とは、画像に対してタグづけをしたり、画像内の特定の領域を人間が手作業で指定したりすることです。この作業は、AIモデル開発で最初の重要なステップで、アノテーションの品質は予測精度に大きな影響を与えます。

スクリーンショット 2020-06-25 21.46.35

安価に画像アノテーションをするための最適な方法とは?

このノートでは、企業のAI研究開発において、画像アノテーションによって教師データを作成するための選択肢と、それぞれの選択肢に関わる費用についてみていきます。

一つ目の選択肢は開発者自身によるアノテーションです。つまり、画像のアノテーションを社内のAIチームやデータサイエンスチームに任せることです。この方法のメリットは、開発者自身が進捗を簡単に把握でき、かつアノテーションの仕方を完璧に把握できているのでデータ品質を高く担保できるという点です。少量データのときは、社内リソースでアノテーションを行うのが良いでしょう。しかし、データ量が10、20万枚のように多くなると高単価なAIエンジニアのリソースをアノテーションに使うのは費用対効果が非常に悪いというデメリットがあります。

二つ目の選択肢は、パートタイマーを数人雇って社内でアノテーションを行うことです。この方法だと、AIエンジニアの時間をアノテーション作業に使わずに、教師データを準備できます。また、複雑な指示がある場合も、外部のアノテーターに委託するよりも、雇用した社内アノテーターの方がコミュニケーションが取りやすく、アノテーション作業も実際、早くできることがあります。しかし、この方法のデメリットは、後でより多くの画像のアノテーションが必要なことに気付いた時にスケールできないことです。さらに、パートタイマーの採用や研修に追加の管理コストがかかります。多くの場合、社内でアノテーションを行うとコストがメリットを上回ります。貴重な社内リソースを消費してしまうだけでなく、データの多様性が低下し、時間もかかります。

そのため、大部分のAI企業は、手間のかかる手作業の画像アノテーションを業務委託(作業代行を依頼)することを選択します。委託先としては一般的なクラウドソーシング企業やAI学習データを専門とするプロバイダーなどがあります。多少精度や管理コストを払っても費用を抑えたい時は、クラウドソーシング企業を使ったり、高品質を担保して納期をきっちり守りたいときなどはAI学習データ作成の専門企業を選択するなど、ニーズに合わせて適切なアウトソーシング企業を見つけることができれば、リソースの取得や品質評価を管理する必要なく、多様性を確保したデータを入手できます。

価格設定

次に価格設定について話します。アウトソーシングを検討している場合、次に知りたいのは、アノテーションの価格設定でしょう。いくつかのアウトソーシング企業の調査をする際に考慮すべきいくつかの要素を以下にまとめました。

品質水準

画像のアノテーションを行うアウトソーシング企業の中には、顧客が求める品質水準によって異なる価格設定を行っているものがあります。画像のアノテーションの品質は、画像の全てのオブジェクトが期待した通り正確に判別され、ラベル付けされていること、バウンディングボックスやキーポイントが対象物の上にピクセル単位で正確に表示されていることなどで決まります。例えば、品質水準に応じて以下のような料金プランがあります。

シングルチェック:1人のアノテーターがアノテーションを行います。
ダブルチェック:1人のアノテーターがアノテーションを行い、1人のレビュワーが全てのデータに対してチェックを行います。(チェック割合は調整できます。)
コンセンサス:複数人のアノテーターがお互いにばらばらにアノテーションを行って、アノテーション結果を多数決で採用します。例えば、3人のアノテーターのうち、2人がある画像をネコと判断して、1人がイヌと判断した場合、ネコが採用されます。
品質水準に基づく契約:契約時に設定した品質水準(95%)に基づいて、アノテーションを行います。お客様の方で受入時に一定の量のデータを検品頂き、その割合が事前に合意した、品質水準に満たない場合、アノテーション作業を再度やり直します。

当社ではデフォルトでダブルチェックでお見積もりを行っています。学習データの精度が低いとAIの予測精度も低くなって、学習データとして使い物にならないため、こちらのプランをオススメしています。どうしても予算をオーバーするので、コストを抑えたい場合は、シングルチェックやコンセンサスという手段もあります。

アノテーションマニュアル

どのようなAIプロジェクトでも、アノテーターが迷わず作業できるように明確なアノテーションマニュアルを確立することが重要です。アノテーターに明確な指示を与えるためにアノテーションマニュアルを作成し、そのプロジェクトでどのようなアノテーション結果を求めているのかを明らかにする必要があります。アノテーションマニュアルには、アノテーションの種類やアノテーションの具体例などを含めると、アノテーターの方が理解しやすくなります。

しかし、アノテーションを外部に委託する場合、独特のビジネス用語や非常に複雑なマニュアルがある場合は、アノテーターをトレーニングするための費用がかさむ可能性があります。

プロジェクト管理費

プロジェクト管理には、プロジェクト予算を作成し、スケジュールを組むことなどが含まれます。クラウドソーシング企業を利用する場合は、適切な資格を持つクラウドワーカーを集めてトレーニングすることもプロジェクト管理の対象になります。また、お客様がプロジェクトでどのようなアノテーションツールの利用を希望しているかによってもプロジェクト管理費が変わってきます。

当社では、お客様が弊社の画像アノテーションツールをご利用になる場合、プロジェクト管理費は不要になります。アノテーションツールの構築や作業者のトレーニングは既に完了しているので、お客様はそのプラットフォームを利用してアノテーションの品質や分量を管理し、最適化することができます。

その他の場合は、弊社のプロジェクト管理チームがアノテーションツールの構築や、作業者に対して追加のトレーニングを行って、アノテーターが新しいツールを利用できるようにする必要があります。そのため、プロジェクト管理費が発生します。

特別な要件がない場合は、弊社のアノテーションツールの仕様をオススメしています。プロジェクト管理費が発生しないだけではなく、アノテーションプロジェクトを円滑に進めるための機能群が豊富に備わっています。

例えば、アノテーターがバウンディングボックスを利用した画像のアノテーションタスクを作成、編集、削除、提出、レビューすることができます。また、プロジェクトマネジャーやレビュワーもこのツールを利用して新しい画像アノテーションプロジェクトの作成、進捗の確認、ラベル結果のエクスポート、そして必要に応じて、提出されたアノテーションの差し戻しを行うことができます。

画像あたりのアノテーション費用

1画像あたりのアノテーションの費用は、画像1つあたりのラベル数を単純にかけたものになります。例えば、1つの画像に約5つのバウンディングボックスを付ける必要があった場合、バウンディングボックス1つの値段が10円として、画像あたりの金額は50円になります。

ラベルの金額はアノテーションの複雑さによって値段が上下します。たとえば、ポリゴンで物体を囲む場合は、バウンディングボックスと比較して1つあたりにかかる時間が長くなるため、通常費用が高くなります。

外注費の具体例

これまでアノテーションの委託費は以下の項目によって成り立っていると話しました。

1)品質水準
2)プロジェクト管理費
3)画像あたりのアノテーション費用

実際にこの項目に沿って委託費を計算してみましょう。 例えば、次のような価格設定に基づいて画像のアノテーションを注文したとしましょう。(通常、大部分の画像のアノテーションタスクではプロジェクト管理費は全体のアノテーション金額の10〜20%です。)

1)品質水準:ダブルチェック(100%)
2)プロジェクト管理費:アノテーション費用の10%
3)データ数:1000件

この場合、1000件の画像のアノテーションを注文したとすると、画像のアノテーション費用¥50,000に対して¥5,000のプロジェクト管理費がかかります。通常、10万件のように大規模な画像アノテーションプロジェクトになると、規模の経済が働き、ボリュームディスカウントが発生して、プロジェクト管理費が不要になったり、画像1件あたりのアノテーション費用が安くなります。

活用事例

当社では以下のようなアノテーション実績があり、教師データ作成からデータ収集まで、様々なアノテーションの種類に承っております。

領収書OCR
領収書のテキストを矩形で囲み、文字の書き 起こしや文字形態や背景色などメタ情報を付 与。1000件を2週間で納品。

住宅間取り図抽出
住宅の間取り図から、部屋、窓、ドア、全体レ イアウトなどを矩形、多角形で囲む。依頼から 1000件を2週間で納品。

商談日程調整
商談時の音声スクリプトから次回の日程を調 整しているか2値分類。依頼から約 18000件 を5日間で納品。

顧客の関心箇所抽出
商談の音声ファイル(平均 40分)から、顧客が 興味・関心を持った箇所をタグ付け。依頼から 100件を1週間で納品。

画像アノテーションサービスをお探しの方へ

画像アノテーションの代行サービスをお探し or 外注をご検討でしたら、ぜひ当社にご連絡ください。AIの研究開発支援ノウハウから徹底した品質管理プロセスを実現しており、10万人のクリエイターから最適な人材を選別し、高速かつ正確にアノテーションを行うことで、お客様のAIプロジェクトをスムーズに進めるための支援を行っております。無料お見積り・ご相談はこちらから。

















サポートして頂くと、こちらからもサポート返しさせて頂きます。