M3 Ultra欲しくなってきた

今回は日記

　私はMBP M1 Max + 64GByteメモリーを使ってます。
　LLMとか動作させると、7Bは楽勝、13Bだとチャット数回分くらいかな。
　世の中のフリーのAIのモデルはTensorFlowとかTourchを使ってるので Apple Siliconだと互換性を取るために能力の半分以下、メモリーを倍くらい使うっぽいんですよね。
　なのでRTXシリーズで言えば VRAM 32GByte弱ってところ。
　

M3 ダイナミックキャッシング期待

　M3 Maxは tourchやらTensolFlow の使用メモリーをハードウェアで管理して劇的に省メモリーになるっぽい！？
　どういう仕組みなんだ。不思議すぎる。
　といって買ってから「TF使う限り効果ありません」だったら怖い。
　いまのM2 Ultra + 128GBメモリだと80万円もするし。

　M3 UltraモリモリがでたらApple Storeとかでテストさせてもらえないかなぁ。「LLMインストールしたいんですけど」とか無理だよな。ウィルス入れ込む客と思われそうだし。

nVidia が敏感に動いている？

　それの発表を見たせいか(私の妄想です) nVidia が VRAMが足りなくなったらメインメモリーを使うスイッチを使いやすくしてきた。
　以前はonのみだったので「余計なことすんな！」だったからバグがあっても古いドライバ使う人多かったようだ。
　当然メインメモリーにデータを追い出すので遅い。
　だいたい10倍以上遅い。データは行って来いだから余計遅い。

　AppleSiliconの場合、メインメモリーとVRAMは共有してて、バンド幅が400GByte/sととんでもない速度でやりとりしてる。
　PCIExpress 4.0 で 32GByte/s、GPUではまだ未実装のPCIe5 で 64GByte/s
　うむ話にならん。
　PCIExpress 7くらいでやっとApple M1に追いつくくらいかな。
　だいたい6年後くらいか? RTX8090くらいか？
　当然こんなペースではAppleに追いつけないので、nVidiaもArmのPC出すみたいだ。
　これひょっとしたらAppleSiliconと同じ設計思想で出してくるかも。
　PCIeじゃ何年経っても追いつけないしインテル様の下僕はもう嫌だろう。

Stable Diffsion用のGPUも欲しい

　SDやる分にはメインメモリーに追い出せるなら RTX4070ti でいいかなぁ
　ハイレゾにしたい時だけメインメモリー共有onにする、とかできるし
　RTX4090買うくらいならM3 Ultraの頭金にしたい
　SDは完全に趣味だし。
　いまGTX1080なんですよね。M1に劣るとも勝らない。VRAM 8Gしかないし。
　まだLinuxにそのスイッチが対応してない。これは待つしかないか。

アニメ葬送のフリーレン10話のラスト見て心がささくれたのでほっこり絵が欲しくなった

LCMなるものがでてきた。Stable DiffusionはXL共々お終い？

　デモサイトがあったけど、0.1秒で生成されるんです。
　1girl , sit down, とカンマを入れたとたんに画像がでるよ、すごいよ、リアルタイムだよ
　ただ eat cake と追加すると、ケーキがエビフライみたいになって、手がぐにょーん
　手はSDより酷いけど、これはまぁまだデモバージョンだしね
　とはいえ人体構造なんかは実装されてないようだからこの部分はSDと一緒で謎ネガティブ呪文書かないとダメかもしんない

LCMで　1girl , sit down,eat cake。
これ0.1秒で完成！

おしまい