記事一覧
![[備忘録] 生成AIで商売するということ](https://assets.st-note.com/production/uploads/images/138811744/rectangle_large_type_2_4d4b3d18fba9b6cee39266b406a02a15.jpeg?width=800)
[備忘録] 生成AIで商売するということ
とりあえずWindowsで4bit量子化版Command R+ 104BパラメータをGPUも駆使しして実行することが可能になった。それで分かったことが二つ
Ubuntu 22.04の方がWindows 11環境よりも高速であり、メモリも有効活用できる。したがって小説の批評用途ではWindows 11環境は不要
タスクマネージャーを見たら、特に数万文字のプロンプトを読み込む時点でCPUメモリ6
4bit量子化版Command R+ (104B版)とゲーム用ノートパソコンで中編小説を評論
先の記事でVRAMを16GB搭載したマシンで4bit量子化版Command R+ (104B版)を動かして、3.6万文字の小説を批評して頂いたと報告した。
これ、実はNVIDIA GeForce RTX 3800（16GB）を搭載したノートパソコンだったりする。よくまあ1～2時間で批評を出力できるものだと感心している。
ただし、実はそこに至るまでは涙なくしては語れない苦労話があったりする。
16GBのVRAMで4bit量子化版のCommand R+ 104B版を動作させる
取り急ぎ状況報告。16GBのVRAMを搭載したGPUと64GB主メモリのPCでも、下記記事の "なんちゃって小説(日本語で36,204万語)" をCommand R+にプロ編集者になって頂いて批評して頂くことに成功。
もう少し改善できそうな気もするけど、現時点でのパラメータは下記の通り。なぜか一時間程度で完了してしまったので、自分でも理由が分からずに吃驚。（とりあえず「結果オーライ」ということ
![[オタク機器日記] RTX8000で4bit量子化版Command R+ 104B版を試す](https://assets.st-note.com/production/uploads/images/137512535/rectangle_large_type_2_d920616119ad181916fc22758ce81cb0.jpeg?width=800)
[オタク機器日記] RTX8000で4bit量子化版Command R+ 104B版を試す
Cohere社はコンサルティング企業のマッキンゼーといち早くアライアンスを締結したり、企画屋の僕としても気になる存在だった。
そのCohere社がCommand R+という多国語対応LLM (生成AI) を提供する話は聞いていたが、さすがにパラメータ104B版を個人で動かすのは難しい… と思っていたら、4bit量子化(GGUF)版を作成して下さる神がいた。
これならば我がNVIDIA Qu
![[生成AI体験談] 生成AIに期待し過ぎる人々](https://assets.st-note.com/production/uploads/images/136348941/rectangle_large_type_2_d895893f8a02df671a0c8ae7835c48a4.jpeg?width=800)
[生成AI体験談] 生成AIに期待し過ぎる人々
パスポートのオンライン申請が5分で済むだろうと期待し過ぎていた僕が書くのも何だけれども、ちょっと周辺で期待し過ぎる人々が散見されたので、これを機会にメモを作成しておく。
ちなみに期待し過ぎといえば、Microsoft Copilot君に「$100Bは日本円でいくらでしょうか」と質問したら「1,210億円です」という返事が返ってきてしまった。逆に2023年度の国家予算114兆円が何ドルかを質問し
![[生成AI体験談] 消えた財布を探せ](https://assets.st-note.com/production/uploads/images/134248648/rectangle_large_type_2_662761d7831bbd1c5677d35fafcdf8db.jpeg?width=800)
[生成AI体験談] 消えた財布を探せ
MicrosoftのCopilotが無償提供されるようになったので、本格的にChatGPTなどで話題となっている生成AIを使うようになって来た。あん饅と肉まんの見分け方などで子供を吃驚させているだけでは面白くないので、行方不明になった母親の財布を探すことに使ってみた。現時点での生成AIはプログラム開発支援を得意としているけれども、アイデア発見にも役立ってくれることが多い。その応用として、行方不明
もっとみる![[オタク機器日記] ハードウェア、ソフトウェア、プロンプト全てがダメな一日](https://assets.st-note.com/production/uploads/images/116563632/rectangle_large_type_2_24bbef04408fa4372a231d181785561a.jpeg?width=800)
[オタク機器日記] ハードウェア、ソフトウェア、プロンプト全てがダメな一日
ようやく安定したと思ったら蜃気楼だったというのは、人生では良くあることだ。自称AI作家としては生成AI (LLM) の限界を極めたいところだったが、また週末まで「お預け！」となってしまった。
ちなみにソフトウェアに関する失敗は、下記ブログ記事に投稿しておいた。大したことある/ないはともかく、まだまだやれることは山ほどあるなあ… と、たしかに世界を騒がす騒動になるのも納得できる一日だった。
AI