iOS 18 / coremltools 8の新しいモデル圧縮手法を試す

下記記事にまとめたcoremltools 8 / iOS 18の新しいモデル圧縮手法を実際に試してみたい。

WWDC24の同セッション内では、Stable Diffusion XLのモデルを5.14GBから（新しいPalettization手法により）1.3GBに圧縮。

（セッション内では "Post training compression with calibration data" はデータが必要なのでスキップ）

データ不要の圧縮手段としてセッション内では PostTrainingPalettizer を用いてさらなる圧縮を行い、最終的に1.1GBまでの圧縮に成功している。

これらの圧縮を実際に手元で試したい。その試行錯誤のメモ。最終的に圧縮は成功し、画像生成までうまくいった。

環境構築

coremltoolsの環境構築手順はこちらの記事にまとめた。8.0b1をインストールする。

AppleシリコンMacにcoremltools環境を構築する手順

Stable Diffusionモデルを新しいPalettizationで圧縮する

iOS 17のPalettizationではテンソルごとにルックアップテーブルを割り当てることしかできなかったのが、iOS 18では、グループ化されたチャンネルごとにルックアップテーブルを割り当てられるようになった。

iOS 17では、フルウェイト・テンソルに1つのルックアップテーブルを割り当てることができた。iOS 18では、複数のルックアップテーブルを保存できるようになった。これにより、はるかに優れた精度を達成できる。

セッション内で用いられているコード

動画内に出てくるコードはこちら。