人気の記事一覧
手元のPCでggml使って大規模言語モデルRinna/OpenCalm/LINEを動かしてみた件
GGMLからGGUFへ：llama.cppのファイルフォーマット変更
AITuber構築を目指したllama.cppのサーバー機能など諸々のメモ
Metalによるllama2 13B chatの高速実行
llama2 70B chat をM1 max 32GB ramのMBP環境で動かす
AITuber構築を目指してllama-cpp-pythonを使ってMetal有効化したllama.cppをプログラムに組み込む
CTranslate2でrinna instructionをquantizeして動かす
OpenCALM-7Bをloraで学習して、quantizeするまで
rakutenモデルが僕のマシンで動かなかった→動いた
