shi3z
記事一覧
ど素人のピュアオーディオ入門 世界の空の下で一人オーディオ鑑賞する
イスタンブールに来ている。
と言っても、美しいブルーモスクを見に立ち寄ったわけではない。それほどの時間的余裕はない。猶予は、ほんの6時間ほどだ。乗り換えというやつである。
出発がコードシェアだったので少し不安ではあったが、機内は快適そのものだった。こんなに快適なのに、僕は日本で一時保存しておいたNobrockTVをエンドレスで流していた。我ながらどうかしてる。
多少迷いはしたが、割とスムーズに
Ryzen9 9950Xを買って組み上げるRTA
昨日発売のRyzen9 9950Xを買ってすぐ組み立ててみた。
久々のAMDのフラグシップ。まあスレッドリッパーほどではないがご家庭で使う目的ならハイエンドと言える。
目的は 当然LLMを動かすことなのでOSはLinuxをチョイス
最初は16%ほど処理が高速と言われるClear Linuxを入れてみたのだがNVIDIAドライバの導入が2014年に里帰りしたのかというくらい面倒だったので出張まえ
nanoGPTにおける進化計算の実験 / 進化計算はハイパーパラメータチューニングにも有効だった
AIサイエンティストに投げるため、進化計算(Evolutional Computing)をnanoGPTのハイパーパラメータチューニングに適用してみることにした。
極めていい加減な気持ちで書いたため、これで上手くいくのか我ながら疑問だったが、結論から言うと有効だった。
まず、どんないい加減なコードで進化計算をしたのか書く。
本来はDNAを定義して、DNAからプログラムを生成するコードを書くべき
こいつを待ってた!3万字以上自動的に書いてくれるオープンLLMが登場!三回回せば本一冊分に!
なんか最近、いろんな会社が「おらが村のLLMが凄いだ」と言ってるが、実際には100万トークン読めても出力が8Kまでだったり、もっとひどいと4Kだったりと、LLMの価値はパラメータ数では決まらず、むしろどのくらい長い文章を出してくれるのかということの方が大事だ。僕がLLMで本を書いたのはもう一年前だが、このときは4Kくらいしか出力してくれなくて往生したものである。
ところがなんということでしょう。
人間よりいいぜ!と思ってAI科学者を使ったら、人間より日給が高かった
世の中そんなに甘くない。
SakanaAIの「AI科学者(AI Scientist)」を使ったら爆発的に研究が捗る!と思ったのも束の間、人間並、いや下手すると人間より日給が高くなる可能性があることがわかった。
この二日間、好き放題にAI科学者に研究させた結果がこのザマ
二日で300ドルを突破する勢いで、これはちょっと遊びでやるレベルを超えてる。
また、指示の出し方(seed_ideas.js
SakanaAIのAIサイエンティストで独自の実験テンプレートを作ってみる(実験中)
SakanaAIが昨日発表したAIサイエンティストでは、「こういう研究をしてみなせい」とAI科学者に指示できる。とりあえずサンプルは動かせるようになったので、自分で独自の実験テンプレートを作ってAI科学者に暇さえあれば研究させたい。
まず、テンプレートは「templates」というディレクトリにある。
とりあえず一番簡単なMNISTをやりたかったので、MNISTでテンプレートを作ってみる。
n