記事一覧
lit-gptでLlama2を学習してみたい
注）結局学習が上手く行ったわけではないです。悪しからず。 (参考記事) https://zenn.dev/if001/articles/6c507e15cd958b https://zenn.dev/syoyo/articles/52f1d0d62fc…
ABCI上でDeepSpeedを使ったLLMの学習を実行するまで
7~8Bのフルパラメタチューニングは残念ながらA100 x 1枚（40GB VRAM）でも乗らない。
そこでDeepSpeedに頼ることに。
基本的にはこちらのnoteに従うと良い。
１. mpi4pyのinstallについて
pip でinstallしようとするとwheel関係のエラーが生じた。元記事ではcondaでinstallしているが、ABCI上ではそうも行かない。
module
Mixture of Agents（MoA） 実践！
何かと話題の「LLMをたくさん用意して組み合わせる系」の研究。
Mixture of Experts（MoE）に続き。
AlpacaEval2.0ベンチマークでGPT-4にオープンソースの組み合わせで勝利したとか何とか。https://github.com/togethercomputer/MoA
論文：https://arxiv.org/abs/2406.04692, Together AI
ChatGPTに聞いてみた！究極の質問
なんかグダグダ言ってますねーひとことで答えさせると…模範回答っぽいものが得られました。
【寝落ち電話】iPhoneで通話を自動で切る裏技
寝る前のLINE通話….朝までつなぎっぱだと電池, 通信がもったいなかったり, 意図せぬいびきを恋人に聞かれたりします…そんな時の裏技。
1. 「ショートカット」アプリを開く
iPhone(iOS13以上)に標準でインストールされているApp「ショートカット」を開きます。
下のタブの中央「オートメーション」をタップしてこのような画面を開きます。
「個人用オートメーションを作成」をタップ。
自作モデル/データセットをHuggingFaceにアップロードする手順の例
このやり方は, huggingface-cliであらかじめloginしておいてからコード内でpush_to_hubを実行することでHugging Faceリポジトリにアップロードする方法（便利）. 他にもブラウザでアップロードする方法とかもあるにはありそう.
モデルのシェア手順
Huggingface上でリポジトリを作っておく.
自分のページ >「New +」 > Model > model_