見出し画像

ML Kitによるオンデバイス機械学習の新機能

npaka

以下の記事を参考にして書いてます。

・On-device machine learning solutions with ML Kit, now even easier to use

1. はじめに

「ML Kit」は、Googleの機械学習の機能を Androidアプリや iOSアプリで利用するためのフレームワークです。2年前の Google I/O 2018で、発表されました。現在、AndroidとiOSの25,000以上のアプリが「ML Kit」を利用しています。

今回は、「ML Kit」の新機能を紹介します。

2. オンデバイス機械学習に特化したML Kit

画像1

「ML Kit」のAPIは、一般的なユースケースに対応する「Vision」と「Natural Language」で構成されています。「テキスト認識」「画像分類」「オブジェクト検出・追跡」「顔検出・輪郭追跡」「バーコードスキャン」「翻訳」などを、簡単に実行できます。

「ML Kit」の元のバージョンは「Firebase」と統合されてましたが、アプリ実装時の柔軟性を高めたいとの声があり、スタンドアロンな「ML Kit」として分離しました。必要に応じて、「ML Kit」と「Firebase」を使い分けることで、両方製品を最大限に活かすことができます。

3. ML Kitの特徴

「ML Kit」はオンデバイス機械学習に特化することで、次のようなメリットを享受します。

・高速でリアルタイムな推論
推論はデバイス上で行われるため、ネットワークの遅延はありません。これによって、1秒間に数回、リアルタムに推論を行うことができます。

・オフラインでの動作
ネットワークが不安定な場合や、接続できない場所にいる場合でも、推論を行うことができます。

・プライバシーの保持
処理はすべてローカルで実行されるため、機密性の高いユーザーデータを外部に送信する必要はありません。

4. ML Kitの新しいWebサイト

「ML Kit」の新しいWebサイトができました。「ML Kit」の全てのリソースはここに集約され、サンプル、APIリファレンス、およびコミュニティチャネルにアクセスしやすくなりました。

画像2

5. 現在、FirebaseのオンデバイスAPI用のML Kitを使用している場合、どうすれば良いか

現在、FirebaseのオンデバイスAPI用の「ML Kit」を使用している場合は、新しいスタンドアロンの「ML Kit」に移行することをお勧めします。アプリの更新手順については、「移行ガイド」を参照してください。クラウドベースのAPI、モデルのデプロイ、AutoML Vision Edgeは、「Firebase Machine Learning」で引き続き利用できます。

6. Google Play 開発者サービス 経由によるMLKitの利用

「Google Play 開発者サービス」経由で「ML Kit」を利用することで、アプリサイズを小さくすることができます。「テキスト認識」「顔検出・輪郭追跡」「バーコードスキャン」のモデルを利用できます。

// 顔検出・輪郭追跡モデルを Google Play 開発者サービス経由で利用
implementation 'com.google.android.gms:play-services-mlkit-face-detection:16.0.0'

// 顔検出・輪郭追跡モデルを アプリに含めて利用
implementation 'com.google.mlkit:face-detection:16.0.0'

7. Jetpack Lifecycle / CameraX のサポート

全てのAPIでの「Android Jetpack Lifecycle」のサポートが追加されました。開発者は、addObserverを使用して、アプリの画面回転または終了時に、リソースの破棄を自動的に管理できます。これにより、「CameraX」の統合が容易になります。利用の容易さと、幅広いデバイスで画質向上する（Camera1に比べて）ことから、「CameraX」を採用することをお勧めします。

// ML Kit now supports Lifecycle
val recognizer = TextRecognizer.newInstance()
lifecycle.addObserver(recognizer)

// ...

// Just like CameraX
val camera = cameraProvider.bindToLifecycle( /* lifecycleOwner= */this,
    cameraSelector, previewUseCase, analysisUseCase)

詳しくは、リリースノートを参照してください。

8. ML Kit と CameraX のサンプル

「ML Kit」と「CameraX」のサンプルを用意しました。「テキスト認識」「言語識別」「翻訳」を行います。

画像3

7. 早期アクセスプログラム

「早期アクセスプログラム」を通じて、「ML Kit」チームと提携することにより、、開発者は「ML Kit」の新機能を利用することができます。

このプログラムの一部として、2つの新しいAPIが利用可能になりました。

・Entity Extraction
テキスト内のエンティティを検出します。電話番号、住所、支払い番号、追跡番号、日付/時刻などをサポートしています。

・Pose Detection
手と足のトラッキングを含む人間の姿勢を検出します。

画像4

興味がある方は、早期アクセスプログラムを参照してください。


この記事が気に入ったらサポートをしてみませんか？