YOLACT for Core ML

リアルタイムでの物体検出が可能なYOLOやSSDはモバイルデバイス×ディープラーニングの花形だが、矩形をとれるだけでセグメンテーションはできない。セグメンテーションしつつバウンディングボックス単位で物体の識別もしてくれるやつだとMask R-CNNとかがあるが、残念ながらモバイルデバイスでリアルタイムで動かすような代物ではない（重い）。

（https://github.com/matterport/Mask_RCNN より）

セグメンテーションしつつピクセル単位ではなくバウンディングボックスごとに物体を認識するタスクは「Instance Segmentation」と呼ばれるらしいのだが、YOLACTはその「Instance Segmentation」を初めてリアルタイムで実現したモデルらしい。

Core MLに変換したものをiOSで動かしてみたところ、なかなかいい感じ。

今は 3 FPSも出ていないが、パフォーマンスについては改善の余地はある。

## YOLACT for Core ML