小野谷静@オノセー

日々の出来事や考え事を綴る日記/エッセイです。https://www.nekoboko…

小野谷静@オノセー

日々の出来事や考え事を綴る日記/エッセイです。https://www.nekoboko.com。Kindle本にも挑戦中：https://www.amazon.co.jp/kindle-dbs/entity/author/B09Q2TTRQX

4bit量子化版Command R+ (104B版)とゲーム用ノートパソコンで中編小説を評論

　先の記事でVRAMを16GB搭載したマシンで4bit量子化版Command R+ (104B版)を動かして、3.6万文字の小説を批評して頂いたと報告した。 　これ、実はNVIDIA GeForce RTX 3800（16GB）を搭載したノートパソコンだったりする。よくまあ1～2時間で批評を出力できるものだと感心している。 　ただし、実はそこに至るまでは涙なくしては語れない苦労話があったりする。今回はその苦労話を語らせて頂くことにする。 購入理由とハードウェア強化　僕は既

小野谷静@オノセー

    • 16GBのVRAMで4bit量子化版のCommand R+ 104B版を動作させる

      　取り急ぎ状況報告。16GBのVRAMを搭載したGPUと64GB主メモリのPCでも、下記記事の "なんちゃって小説(日本語で36,204万語)" をCommand R+にプロ編集者になって頂いて批評して頂くことに成功。 　もう少し改善できそうな気もするけど、現時点でのパラメータは下記の通り。なぜか一時間程度で完了してしまったので、自分でも理由が分からずに吃驚。（とりあえず「結果オーライ」ということで） -ngl 5 -c 30000 OSはUbuntu 22.04 　

      小野谷静@オノセー

      • [オタク機器日記] RTX8000で4bit量子化版Command R+ 104B版を試す

        　Cohere社はコンサルティング企業のマッキンゼーといち早くアライアンスを締結したり、企画屋の僕としても気になる存在だった。 　そのCohere社がCommand R+という多国語対応LLM (生成AI) を提供する話は聞いていたが、さすがにパラメータ104B版を個人で動かすのは難しい… と思っていたら、4bit量子化(GGUF)版を作成して下さる神がいた。 　これならば我がNVIDIA Quadra RTX 8000 (48GB/VRAM) でも十分に動かすことが出来そ

        小野谷静@オノセー

        • [生成AI体験談] 生成AIに期待し過ぎる人々

          　パスポートのオンライン申請が5分で済むだろうと期待し過ぎていた僕が書くのも何だけれども、ちょっと周辺で期待し過ぎる人々が散見されたので、これを機会にメモを作成しておく。 　ちなみに期待し過ぎといえば、Microsoft Copilot君に「$100Bは日本円でいくらでしょうか」と質問したら「1,210億円です」という返事が返ってきてしまった。逆に2023年度の国家予算114兆円が何ドルかを質問したら760億ドルと返って来た。 　つまり最初の回答はCopilot君が "B"

          小野谷静@オノセー

        4bit量子化版Command R+ (104B版)とゲーム用ノートパソコンで中編小説を評論

        小野谷静@オノセー

          [生成AI体験談] 肉まんと餡まんとピザまんの三角関係

          　このところ自宅マシンに導入可能なローカルLLMの選択肢が増えて話題となっている。どちらかというと企画屋である身としては、世界トップのコンサルティング企業と言えるマッキンゼーが導入していたCohere社Command R+ LLMが脚光を浴びており、周囲も含めて国内企業はこんなに呑気で大丈夫なのだろうかと気がかりにもなる。 　しかしそれはそれ。 　ローカルLLM (生成AI) は野良エンジニアとしては面白いけれども、人生を生きていくためには、自分や家族が生成AIを効果的に活用

          小野谷静@オノセー

          [生成AI体験談] 肉まんと餡まんとピザまんの三角関係

          小野谷静@オノセー

          [生成AI体験談] 消えた財布を探せ

          　MicrosoftのCopilotが無償提供されるようになったので、本格的にChatGPTなどで話題となっている生成AIを使うようになって来た。あん饅と肉まんの見分け方などで子供を吃驚させているだけでは面白くないので、行方不明になった母親の財布を探すことに使ってみた。現時点での生成AIはプログラム開発支援を得意としているけれども、アイデア発見にも役立ってくれることが多い。その応用として、行方不明になった母親の財布の捜索場所を考えるアイデア作成というアプローチを考えてみた訳で

          小野谷静@オノセー

          [生成AI体験談] 消えた財布を探せ

          小野谷静@オノセー

          新GPUデータセンター訪問の顛末記

          　会社で「そうだ、新GPUデータセンターへ行こう！」ということになったので、今回はその顛末記。ちなみに出張報告は不要なので顛末記を書くことにしたけれども、今ではこの顛末記のデータさえあれば生成AIに「出張報告を作成して」と言えば済む。便利な世の中になってきたものです、はい。 (下記のMetaブログ記事によると5万個近いNVIDIA H100を活用して開発中のLlama 3登場も近いようであり、それに間にあって何より、何より) 事の始まり　今回はいきなりな展開なので、まずは背

          小野谷静@オノセー

          新GPUデータセンター訪問の顛末記

          小野谷静@オノセー

          MetaのLlama3開発支援環境を紹介

          MetaがLlama3の開発状況や開発支援環境をブログ投稿したので紹介動画を作成。量子化する必要のない8bitバージョンが登場することを期待。

          小野谷静@オノセー

          MetaのLlama3開発支援環境を紹介

          小野谷静@オノセー

          [オタク機器日記] ハードウェア、ソフトウェア、プロンプト全てがダメな一日

          ようやく安定したと思ったら蜃気楼だったというのは、人生では良くあることだ。自称AI作家としては生成AI (LLM) の限界を極めたいところだったが、また週末まで「お預け！」となってしまった。 ちなみにソフトウェアに関する失敗は、下記ブログ記事に投稿しておいた。大したことある/ないはともかく、まだまだやれることは山ほどあるなあ… と、たしかに世界を騒がす騒動になるのも納得できる一日だった。 AI作家とハードウェアそもそも僕が自宅に生成AI (LLM) 環境を構築しようとして

          小野谷静@オノセー

          [オタク機器日記] ハードウェア、ソフトウェア、プロンプト全てがダメな一日

          小野谷静@オノセー

          [オタク機器日記] 日本語LLM(生成AI) ELYZA 13B/70B版登場までの宿題

          ようやく新型波動砲… じゃなくてTelsa P40を装備した我がパソコン、「お楽しみはこれからだ！」と思っていたら、さっそくドツボにハマってさあ大変 … というのが今回の話題。 いや、あの、イライザ(ELYZA)さんから使い方が宜しくないと、注意指導というイエローカードを受けてしまった訳ですわ。「Pythonなど使いながら使い方を覚えれば良いだろう」とタカを括っていたら、それ以前にモデルの設定内容を勉強する必要を忘れていたという始末。エラそうなモノ言いのLLMも存在すると聞

          小野谷静@オノセー

          [オタク機器日記] 日本語LLM(生成AI) ELYZA 13B/70B版登場までの宿題

          小野谷静@オノセー

          [オタク機器日記] WSL2でNVIDIA Telsa P40を利用する

          NVIDIAの佐々木さんが2022年にCUDA on WSL2をQiita記事投稿している。 これ、実にうらやましい話だったりする。なぜなら僕の$200ドル(1ドル150円換算で3万円)中古NVIDIA Telsa P40は、WSL2では普通に使うことが出来ない。NVIDIAの認定構成を採用した上で新品を購入すれば、WSL2で使えるドライバを提供して貰えるらしい。 しかし... 3万円ならばともかく、300万円は無理だ。 そのため今日も、アレコレと工夫してデータセンター

          小野谷静@オノセー

          [オタク機器日記] WSL2でNVIDIA Telsa P40を利用する

          小野谷静@オノセー

          UbuntuにおけるオンボードGPUでのディスプレイ表示 (番外編/完結編)

          一般家庭向けPCマザーボードの場合、PCIeスロットを2つ以上利用すると速度低下することがある。たとえば僕のASRock Z370 Taichiは1スロット利用でx16だけれども、2スロット利用するとx8 x 2となってしまう。そんな訳でUbuntu 22.04稼働時の一時的な暫定措置としてAMD製グラボをディスプレイ表示用に利用していたけれども、何とかオンボード表示させたい状況だった。 いかにQuadra RTX 8000 (48GB) を保有していても、その実力を発揮し

          小野谷静@オノセー

          UbuntuにおけるオンボードGPUでのディスプレイ表示 (番外編/完結編)

          小野谷静@オノセー

          UbuntuにおけるオンボードGPUでのディスプレイ表示 (番外編)

          さて一般ユーザ向けGPUならばディスプレイ出力機能が装備されているけれども、データセンタ向けGPUにはディスプレイ出力機能は装備されていない。それでもGPU (Graphic Processing Unit)なのだから、なんとも不思議な気がすることもある。 ところで不思議とか呑気なことを言っていられないのが、おうち生成AI(LLM)ユーザのツラいところだったりする。何しろデータセンタ向けサーバは遠隔操作機能が充実しており、ディスプレイ表示など必要なかったりする。いちおうNV

          小野谷静@オノセー

          UbuntuにおけるオンボードGPUでのディスプレイ表示 (番外編)

          小野谷静@オノセー

          日本語LLMであるELYZA (7B版)を、無理やり動かす

          東大松尾研発スタートアップ企業ELYZA(イライザ)社から、Meta Llama 2を元にした日本語化LLMが提供された。8月29日に公開されたのは7B(70億)パラメータ版だけれども、13B版や70B版の日本語化LLMも開発中とのことだ。 あちこちで「現時点の日本語LLMとしては最高」という評判が高いELYZAである。ようやく僕も "おうちラボ化計画" が一段落したので、さっそく試してみた。結論からいうと、たしかに評判通りだった。「これが7B版？」という印象である。

          小野谷静@オノセー

          日本語LLMであるELYZA (7B版)を、無理やり動かす

          小野谷静@オノセー

          [まとめ] おうちラボでデータセンタ向けNVIDIA製GPUを動かすまでの道のり

          ようやく本格稼働を開始したので、今までの投稿記事を一覧化しておく。ポイントとしては、 ちゃんと公式ドキュメント(マニュアル/リリースノート等)を読む 必要に応じて認定構成リストを読む GPUのサポート対象NVIDIAドライバとCUDAバージョンは絶対確認！ Telsa P40, P100, V100などのデータセンタ向けGPUは一味違うと覚悟 Telsa系列は計算主体のためTCC (Telsa Compute Cluster) modeで動作 マザボのResiza

          小野谷静@オノセー

          [まとめ] おうちラボでデータセンタ向けNVIDIA製GPUを動かすまでの道のり

          小野谷静@オノセー

          大容量メモリGPUで生成AI (LLM) を楽しむ (約束の地OS/CUDAへ到達)

          物事は最後のツメというのが大切で、今回も多大な労力を費やしてOS/CUDAインストールを完了したという話。(顛末記の最終回) さて前回はWindows 10でnvidia-smiコマンドが無事に表示され、やれやれと大喜びして終わった。しかしこれで終わってはドラマとして成立せず、最終パートとしてOS/CUDAインストールなどが立ちはだかって来た。 Windows編 (WSL2)捨てる神あれば拾う神あり。 世の中には親切な方もいるもので、Windows向け仮想環境WSL2の導

          小野谷静@オノセー

          大容量メモリGPUで生成AI (LLM) を楽しむ (約束の地OS/CUDAへ到達)

          小野谷静@オノセー