[iOS 17] Visual Look Upの実力を試す #WWDC23
iOS 17でVisionKitにVisual Look Upという新機能が追加されました。
Visual Look Upとは
Visual Look Upとは、標準の写真アプリにはiOS 16から利用可能になった（米国ではiOS 15から）機能で、写真に写っているものの情報を調べることができる機能です。
写真Appで「画像を調べる」を使用すると、写真に写っている人気のランドマーク、彫像、アート、植物、ペットなどを特定し、それらの情報を調べることができます。
以下のように画像内の「もの」を認識し、表示されるアイコンをタップするとその説明が表示されるようになります。
これが今回、VisionKitでも利用可能になった、つまり開発者が自分たちのアプリにこの機能を組み込めるようになった、というのが今回のアップデートです。
サポートするドメイン
Visual Look UpはiOS 16ではペット、自然、ランドマーク、アート、メディアをサポートしていましたが、iOS 17ではさらに、食べ物、製品、サインやシンボルをサポートするようになりました。
日本語もサポート
サポートしている言語は以下の6つ。日本語も入っています。
実装方法
VisionKit の ImageAnalyzer を用いた画像解析時に、 ImageAnalyzer.Configuration として .visualLookUp を指定するだけ。
let configuration = ImageAnalyzer.Configuration([.visualLookUp])
let analysis = try await imageAnalyzer.analyze(image, configuration: configuration)（ImageAnalyzerによる画像解析の実装は前記事に書いています）
これだけで、Subject Lifting（前記事参照）と連動して、持ち上げられた対象物体に、Visual Look Upの結果が含まれている場合はメニューにLook Upオプションが表示るようになります。
また、ImageAnalysisInteraction の preferredInteractionTypes プロパティに .visualLookUp を指定すると、
imageAnalysisInteraction.preferredInteractionTypes = [.visualLookUp]Visual Look Upの検索結果が存在する場合に、バッジが表示されるようになります。
このバッジをタップすることで、Look Upの結果が表示されます。
実機で試す
上述の通りコードとしてはシンプルすぎる程にシンプルなわけですが、実際には何がどれぐらいLook Upできるのでしょうか？サポートしているドメインは明記されているわけですが、たとえば Sign & Symbols といっても、日本の道路標識はLook Upできるのでしょうか？
iOS 17実機で実際に動かして試してみました。（末尾にフォトピッカー付きのサンプルコードを添付しているので、ご自身の写真ライブラリにある写真でも試してみてください）
ここから先は
#WWDC23 の勉強メモ
WWDC 2023やiOS 17についてセッションやサンプルを見つつ勉強したことを記事にしていくマガジンです。また昨年キャッチアップをお休…
最後まで読んでいただきありがとうございます！もし参考になる部分があれば、スキを押していただけると励みになります。 Twitterもフォローしていただけたら嬉しいです。 https://twitter.com/shu223/