![見出し画像](https://assets.st-note.com/production/uploads/images/107402735/rectangle_large_type_2_bf74a3647bd8c73a61ac7e0fffe3db10.png?width=1200)
MacでLLMを動かす【今日のAIニュース】
今日はニュース少なめです。
【2023/06/05(月)配信】 AIニュース
MacのM2 Maxで、LLMを動かすことに成功
【重要度】★
LLMを動かしている人は、ほとんど自作PCを使っていますが、Macでも動かせるようになりました。
@ggerganovさんのプロジェクトで、Llama.cppを動かすことに成功し、7B, 13B,パラメーターのLLMモデルを動かせました。
Watching llama.cpp do 40 tok/s inference of the 7B model on my M2 Max, with 0% CPU usage, and using all 38 GPU cores.
— Nat Friedman (@natfriedman) June 4, 2023
Congratulations @ggerganov ! This is a triumph.https://t.co/C6mn7jkMLb pic.twitter.com/8tcnVN4wEb
この記事が気に入ったらサポートをしてみませんか?