iOS 13の新機能をざっくり把握する本
iOS 13の新APIについて解説する本を書きました。新機能について「何が」「どういう実装で」実現できるのかを解説しています。筆者が実際にコードを書いて試しつつ書いてるので、WWDCセッションやドキュメントにも書いてない部分が補完されてたりもします。さらっと読めるので新機能をざっくり把握したい方におすすめです。
Swift UIやSign In with Appleのような多くの方が話題にしている内容は入っていませんが、その他の新機能も知っておいて損はないものばかりです。本書はまだあまり情報が出ていない機能を中心に紹介しているので、Swift UI等の本命新機能は公式チュートリアル等でがっつり学びつつ、その他新機能を本書でサッとキャッチアップされてはいかがでしょうか。
本文84ページ。このnoteを購入すると、PDF版をダウンロードできます。
以下、各章の簡単な紹介です。
第1章 文字認識(Text Recognition)
iOS 13で、ついに、待望の「文字認識」機能が追加されました。カメラなどで撮影した画像内にある文字を読み取る機能です。OCR(Optical Character Recognition)とも呼ばれます。現状では英語のみのサポートですが、数字やアルファベットは日本語においても多く用いますし、電話番号や郵便番号、クレジットカードの番号、メールアドレス等、用途はいくらでも考えられます。日本語サポートを期待しつつ、こういう機能が存在することと、使い方ぐらいは把握しておいて損はないでしょう。
![](https://assets.st-note.com/img/1679727144847-7u67ZOQRW9.png?width=1200)
第2章 VisionKit
VisionKitはiOS 13から追加された新フレームワークです。`VNDocumentCameraViewController`というクラスが提供されており、ドキュメントをスキャンするための一連の機能をアプリに付加することができます。
![画像1](https://assets.st-note.com/production/uploads/images/14509950/picture_pc_6002aae0d201e0cdbbb4ebf0ae180916.png?width=1200)
使い方自体は簡単すぎて本書を読む必要はないと思いますが、アプリ開発において紙文書を入力としたいケースはままあるので、知っておいて損はないということで取り上げました。
第3章 BackgroundTasks
BackgroundTasksは、iOS 13で追加された新フレームワークです。その名の通り、アプリがバックグラウンドにあるときにタスクを実行できるようにするものです。バックグラウンド処理、重要ですよね。もちろんどんな処理でも無限にバックグラウンドで実行可能、というわけではないので、どういう処理がどんな感じで実行されるのか、既存のバックグラウンド処理との違いはなにか、一度自分でつくってみて掴んでおいた方がいいと思います。
第4章 Core NFCの新機能
Core NFCはiOS 11で追加されたフレームワークですが、iOS 12であまりアップデートされなかったなー、と思いきや、iOS 13で大幅に強化されました。
4.1 これまでのCoreNFC
- おさらい:CoreNFCの基本的な実装方法
- 以前のCoreNFCではできなかったこと
4.2 iOS13での追加機能
- 多くのNFCタグが読み出し可能に
- NDEFの書き込みが可能に
4.3 新たに読めるようになったNFCタグ規格の概要
- ISO7816 / ISO14443-MiFare / ISO15693 / ISO18092-FeliCa
4.4 実装:Suica/PASMOを読む
第5章 Semantic Segmentation Matte
そしてiOS 13から取得できるようになったSemantic Segmentation Matte(以下SSM)は、人の「髪」「肌」「歯」といった部位をセグメンテーションするためのマスクです。
![画像2](https://assets.st-note.com/production/uploads/images/14510105/picture_pc_bbac5e0476a4a7cd53c81315c54d3e6e.png?width=1200)
めちゃくちゃ高精細で、髪や眉の細かいところまできれいにマスクできます。
これでたとえば何ができるかというと、髪や肌や歯の色や質感を変えたりできるわけです。
![画像3](https://assets.st-note.com/production/uploads/images/14510132/picture_pc_10d64a3f8070eab1f968d73b76f11920.png?width=1200)
第6章 Core Haptics
うまくハマればUXがめちゃくちゃ気持ちよくなるTaptic Engineですが、今まではUIFeedbackGeneratorで既成のハプティックパターンを再生するだけでした。
Core Hapticsはハプティックパターンを細かくカスタマイズできるフレームワークです。Taptic Engineをより低いレイヤで制御するフレームワークと言い換えてもいいでしょう。
音をオーディオファイルから再生するように、ハプティックパターンをAHAP (Apple Haptic and Audio Pattern)というJSONライクなファイルフォーマットで定義して再生することもできます。
第7章 Indoor Maps
iOSアプリを面白く&&実用的にした一要素として、位置情報&地図という要素はかなり大きいと個人的には思っています。そしてまだまだ発展の余地がある領域がインドアマップでしょう。実は以前からPDFのベクター画像を地図にオーバーレイするサンプルは公式で出ていたのですが、「Indoor Mapping Data Format(IMDF)」という新しいフォーマットが規格化され、iOS 13ではそれを地図にレンダリングすることができるようになりました。
第8章 Create ML
ドラッグ&ドロップで超簡単にオリジナルの機械学習モデルがつくれてしまうCreate MLがmacOS 10.15 Catalina/Xcode 11で大幅パワーアップしました。
第9章 SoundAnalysis + Create MLで音声分類
SoundAnalysisは、iOS 13で追加された音声解析のためのフレームワークです。今のところ音声の「分類」が可能です。
第10章 デプス推定
これまでデプス(深度)は、デュアルカメラやTrueDepthカメラ等、ハイエンドなiOSデバイスに搭載されるカメラで撮影した場合にのみ取得できるものでした。
しかしWWDC19のタイミングで、Appleが公式に配布するCore MLモデルに「FCRN-DepthPrediction」と呼ばれるデプス推定モデルが追加され、デプス撮影機能をもたないカメラで撮影した静止画や動画からも(機械学習で推定した)デプスデータを取得できるようになりました。
![画像4](https://assets.st-note.com/production/uploads/images/14510290/picture_pc_9aef4e9c88c2ccaec8a8927d3fa8c855.png?width=1200)
第11章 一般物体のセグメンテーション
Appleが公式に配布するCore MLモデルに「DeeplabV3」と呼ばれるセグメンテーション用モデルが追加されました。本モデルはiOS 13の機能を使用していないため、iOS 12以上で利用可能です。
「Portrait Effect Matte」や「Semantic Segmentation Matte」は高精細なセグメンテーションマスクを提供します。しかし、以下のような制約があります。
- 静止画からしか取得できない
- デプスを撮影可能なカメラ(デュアルカメラまたはTrueDepthカメラ)で撮影する必要がある
- 人間だけが対象
またiOS 13 / ARKit 3で登場した「People Occlusion」はリアルタイムでセグメンテーションを行うものですが、以下のような制約があります。
- ARKitでしか使えない。つまり、既存の動画や静止画には使えない。
- 人間だけが対象
- iOS 13以上でしか使えない
- A12 Bionicチップが必要
一方、Core MLの「DeeplabV3」モデルは、
- 人間以外のオブジェクト(人間、犬、猫、etc...)もセグメンテーション可能
- 単眼カメラ(デプスを取得できないカメラ)での撮影時にも使用可能
- 動画でも静止画でも、リアルタイムでもオフラインでも使用可能
- iOS 12以上で使用可能
- デバイスを問わない(iOS 12が動くデバイスすべてで利用可能)
と、非常に幅広い場面・条件下で利用可能です。
書籍見本
PDFの中身の見本を載せておきます。
![](https://assets.st-note.com/img/1679727395422-Et3J326OWw.png?width=1200)
![](https://assets.st-note.com/img/1679727405266-cGhVDrRLrN.png?width=1200)
![](https://assets.st-note.com/img/1679727359884-lk6re9qzzy.png?width=1200)
電子版(PDF)ダウンロード
ここから先は
¥ 130
最後まで読んでいただきありがとうございます!もし参考になる部分があれば、スキを押していただけると励みになります。 Twitterもフォローしていただけたら嬉しいです。 https://twitter.com/shu223/