前の記事の続きです。 convertのオプションを試してみて、Qwen-72Bの量子化にトライしましたが、失敗しました。
まずは、オプションの試しです。
python convert.py --mlx-path "mlx_tinymodel"
モデルはキャッシュにあるようで、一瞬で終わりました。
指定した通りに、mlx_tinymodel のdirectoryができました。
Qwen-72B-Chatの4bits量子化を試してみます。グループサイズはとりあえず勘で256を指定しました。出力先はmlx_72Bmodelを指定。
python convert.py --model "Qwen/Qwen-72B-Chat" --mlx-path "mlx_72Bmodel" -q --q-group-size 256 --q-bits 4
macbook、ほっとくとスリープになる設定なので、ダウンロード中にスリープして、ネットが切断されました。
スリープ設定を解除しいて、延々数時間かけてダウンロードは無事に終わりました。
その後、頑張りましたが、以下のエラー表示で止まります。
だいたいチェックポイントの60過ぎでエラーがでるので、その辺りを含めてGPT-4に尋ねてみました。
とりあえず再起動して、dropboxなど常駐ソフトを落として、チャレンジしましたが、エラーが起きるポイントがちょっと上昇したところで同じエラーです。たぶん、私のMacbookProには手が負えない大きさなのだろうと勝手に想像してます。
使用済みメモリ50G、スワップ使用量50Gぐらいのところで落ちていました。
失敗の覚え書き投稿です。
#AI #AIでやってみた #やってみた #Qwen #LLM #Macbookpro #mlx