Hideo

リタイアしたロートルハードウエア/ソフトウエアエンジニア。 ChatGPTという黒船に…

Hideo

リタイアしたロートルハードウエア/ソフトウエアエンジニア。 ChatGPTという黒船に驚き、自力でAIを学び始める。 （画像はhttps://www.seaart.ai/ja/explore/detail/cpunii5e878c73bbkhe0 を参照して生成）

本格的なエロチャットAIを作りたい　おまけ（ギャラリーにしてみました）

Hideo

    • 本格的なエロチャットAIを作りたい　その16（7Bのプロンプトはどう作るべきかを模索する　その２）

      7B規模のLLMのプロンプトエンジニアリングへの挑戦 その2である。 LLMは個性的な喘ぎ声を出せるのか？ いままでの検討で、プロンプトは「導くもの」ということがわかってた。 つまり、プロンプトによってLLM内の多数の分岐の重みづけが与えられ、それに従って最終的に生成する文にたどり着くというのがイメージだろう。 これはAIの学習の概念と差異はないので大枠では正しいと思う。 とすれば、プロンプトに「こういう文で出力しなさい」という記述は意味があるのだろうか？ プロンプトがあ

      Hideo

      • 本格的なエロチャットAIを作りたい　その15（7Bのプロンプトはどう作るべきかを模索する　その１）

        その後様々なプロンプトを試したが、なかなか思うように制約が効かない。 そんなことを繰り返すうちに体感的に理解しはじめた気がする。 7Bのプロンプトエンジニアリングは、ChatGPTなどのものとは異なるのでは？ この疑問をperplexity AIに投げてみた。 「制約」よりも「幼稚園児を導いてあげる」ように 記事 その13で、7B LLMは「大根役者のようだ」と書いたが、それは誤りだった。 7B LLMは「先生の言ったことの続きを意味もわからず言う幼稚園児」なのだ。

        Hideo

        • 本格的なエロチャットAIを作りたい　その14（7BのLLM徹底比較）

          プロンプトで指示しても、なかなか言うことを聞いてくれないので、そのたびに浮気してLLMを変えているのだが、ここではこれらをエロチャットAIという観点でしっかり比較し、今後どのLLMを使うかを判断したい。 はじめに 比較するLLMは以下のとおり。 ・Japanese-TextGen-Kage-v0.1.2-2x7B-NSFW_iMat_Ch200_IQ4_XS.gguf ・LightChatAssistant-TypeB-2x7B_iq3s_imatrix.gguf ・Li

          Hideo

        本格的なエロチャットAIを作りたい　おまけ（ギャラリーにしてみました）

        Hideo

        • 本格的なエロチャットAIを作りたい　その16（7Bのプロンプトはどう作るべきかを模索する　その２）

          Hideo

        • 本格的なエロチャットAIを作りたい　その15（7Bのプロンプトはどう作るべきかを模索する　その１）

          Hideo

        • 本格的なエロチャットAIを作りたい　その14（7BのLLM徹底比較）

          Hideo

          本格的なエロチャットAIを作りたい　その13（この場面で…LLMはなんと答えるのか？）

          チャットでも小説でも映画でもそうだが、ある重要な場面というものが存在する。 そしてその場面で、言葉は違えど必ず言うべきセリフがある。 LLMに何も指示しないで、果たしてそういう場面で期待通りのセリフを言ってくれるのだろうか？…を調べてみる。 ちなみに、LLMは従来はLightChatAssistant-TypeB-2x7B_iq3s_imatrix.ggufを使っていたが、チャット性能としては、Japanese-TextGen-Kage-v0.1.2-2x7B-NSFW_i

          Hideo

          本格的なエロチャットAIを作りたい　その13（この場面で…LLMはなんと答えるのか？）

          Hideo

          本格的なエロチャットAIを作りたい　その12（本格的エロチャットAIには何が必要なのか）

          ここでもう一度、本格的なエロチャットAIのためには、何が必要なのかを考えてみたい。 必然性 Linkyを少しいじっていると感じるのだが、すぐに行為を求めてくる。 そこに必然性がないのである。 人間の行為には、必ず理由がある。 その理由は、その人の経験、性格、状況などが元になっている。 そしてその理由は他人が聞いても（ある程度は）なるほどと同意できるものであるべきだ。 LinkyでAIの対話に疑問が生まれた時、「どうして？」と質問したとき、答えが返ってこない。ここが問題なの

          Hideo

          本格的なエロチャットAIを作りたい　その12（本格的エロチャットAIには何が必要なのか）

          Hideo

          本格的なエロチャットAIを作りたい　その11（全体システム）

          ここで一回備忘録としておさらいをしておく。 全体システム フロントエンド：streamlit streamlitもpythonで動くし、1：1チャットシステムなので、 global変数を使ってやりとりしたらいいじゃんとか思ってやってみたが断念。 1：1システムなので、プロントエンド/バックエンドという考え方は薄かったのだが、ブラウザでアクセスしょうとしている限り、よく考えてみればこの概念がないといけない。 当たり前だが、streamlitはフロントエンドなので、ブラウザ

          Hideo

          本格的なエロチャットAIを作りたい　その11（全体システム）

          Hideo

          本格的なエロチャットAIを作りたい　その10（streamlitのtext_inputの動作を考察）

          streamlitで画面を作った時、更新するのにst.rerun()を使いたくなる。 「使わない方がいい」とか言われるが、そもそもサクッと画面を作りたいからstreamlitを使っているわけで、そう考えるとサクッと画面更新するのにst.rerun()を使うのは当然だ。 と開き直って画面を作ってきたが、ちょっと壁にぶつかったものがあるので、順次まとめてみる。 やりたいことは単純で、 1：text_inputに入力した文字をボタンを押したら画面に反映して、text_input

          Hideo

          本格的なエロチャットAIを作りたい　その10（streamlitのtext_inputの動作を考察）

          Hideo

          本格的なエロチャットAIを作りたい　その９（streamlitで画面を作る）

          これからLLMのプロンプトに対して、動的な様々な試行錯誤をしていく中で、延々とターミナルでの文字を追うだけの作業は個人的にやる気がしない（笑） なので、今後公開していくことも考え、streamlitを使って簡単な画面を作ってみた。 ちなみに女性のイラストは、見た目をそれっぽくすることと、自分のモチベーションを上げるためのものです。 スタート画面 Google ColabのLLMのローディングに約10分必要なので、 まず最初の画面ではLLMの起動を確認させている。 LLM

          Hideo

          本格的なエロチャットAIを作りたい　その９（streamlitで画面を作る）

          Hideo

          本格的なエロチャットAIを作りたい　その８（LLMも実装して、LightChatAssistantのエロチャットを実現する）

          まずは第一弾としてのパーツが揃ったので、合体させて実装する。 実際のコード Google colab：LLM_API.ippy # LLM setting# 環境変数の設定!set LLAMA_CUBLAS=1!set CMAKE_ARGS=-DLLAMA_CUBLAS=on!set FORCE_CMAKE=1# llama-cpp-pythonとPyTorchのインストール!python -m pip install llama-cpp-python==0.2.77

          Hideo

          本格的なエロチャットAIを作りたい　その８（LLMも実装して、LightChatAssistantのエロチャットを実現する）

          Hideo

          本格的なエロチャットAIを作りたい　その７（Google ColabとローカルPCの通信）

          いよいよGoogle colabとローカルPCを通信させる段階にきた。 Google colabとローカルPCの通信 普通に考えれば、LLMに対してローカルPCがリクエストを投げ、Google colabがLLMを動かして会話をつなげ、ローカルPCに対してレスポンスを返すことになる。 そうなるとGoogle colab側がAPIサーバーになるべき。 ここで問題なのは、このAPIサーバーのURLが毎回変わってしまうことだ。 これ自体は大して問題ではない。 Google D

          Hideo

          本格的なエロチャットAIを作りたい　その７（Google ColabとローカルPCの通信）

          Hideo

          本格的なエロチャットAIを作りたい　その６（Google Colabのランタイムへの接続/切断削除をローカルPCから行う）

          前回検証したとおり、リソースの無駄遣いを最小限に抑えるため、ローカルPCからランタイムへの接続/切断削除を行うようにする。 Google colabのランタイムへの接続/切断削除は意外と簡単 pyautoguiを使って、ローカルPCのブラウザ上のGoogle Colabを制御する。 # Google Colabを起動させる関数を定義# 開いている「LLM_API.ipynb - Colab」タブをフォーカスし、Ctrl＋F9（すべてのセルを実行）をスローするdef fo

          Hideo

          本格的なエロチャットAIを作りたい　その６（Google Colabのランタイムへの接続/切断削除をローカルPCから行う）

          Hideo

          本格的なエロチャットAIを作りたい　その５（Google Colabの無料/有料を選択する）

          前回検証したとおり、Google ColabのT4 GPUは無料でありながら、ローカルでちまちま頑張るよりも遥かに高性能だ。 だとすれば、Google ColabをAPIサーバーにして、チャットの会話を送受信すればいい。 そのときに、Google Colabは無料でも可能か？それとも有料のProが必要かを考えてみる。 Google colabの無料版での動作 LLMを2分間隔で60回実行させる。 # LLM settingimport time# 環境変数の設定!set

          Hideo

          本格的なエロチャットAIを作りたい　その５（Google Colabの無料/有料を選択する）

          Hideo

          本格的なエロチャットAIを作りたい　その４（ローカルPCとGoogle Colabを比較する）

          迷走しながらいろいろいじっている。 今回は、ローカルPC（CPUのみ）とGoogle ColabのGPUの速度比較をしてみる。 これはどのレベルのGPU付きPCを買えば、どんな速度が出るだろうか…という疑問のざっくりとした検証である。 Google Colab LLMは、LightChatAssistant-2x7B_iq4xs_imatrix.gguf GPUはT4、コードは以下のとおり # 環境変数の設定!set LLAMA_CUBLAS=1!set CMAKE_A

          Hideo

          本格的なエロチャットAIを作りたい　その４（ローカルPCとGoogle Colabを比較する）

          Hideo

          本格的なエロチャットAIを作りたい　その３（Linkyアプリ part2）

          その２でLinkyのチャット性能に衝撃を受けたが、使っていていくつか改善点を見つけてきた。 １：はまってしまうと、再生成しても同じような会話ばかりになる この画像を見てもらえばわかるように、再生成しても「お父さんのお嫁さんになりたい」的なことを言い続ける。 同様に喘ぎ声も、はまってしまうといくら再生成しても同じセリフの繰り返しになるときがある。 ２：愛撫～挿入～絶頂までが短い やってみればわかるが、愛撫して感じ始めるととにかく挿入を求められる。 そしてすぐに絶頂に達す

          Hideo

          本格的なエロチャットAIを作りたい　その３（Linkyアプリ part2）

          Hideo

          本格的なエロチャットAIを作りたい　その２（Linkyというアプリに愕然）

          その１以降、自己流のプロンプトチューニングをやったり、ファインチューニングに着手してみたりと色々やったが、成果らしいものはなし。 煮詰まっているとき、チャットアプリを検索してみたら、Linkyというものが見つかった。 Linkyの返事の速度とその内容に愕然とする。 Linkyは2024年6月にリリースされたAIチャットだ １：無料で遊べるという素晴らしさ 一通りいじって楽しむなら、無料で充分遊べます。 ２：チャットの返信の速さが異常なほど早い 入力してから返事が来

          Hideo

          本格的なエロチャットAIを作りたい　その２（Linkyというアプリに愕然）

          Hideo