SHO@DHGS

デジタルハリウッド大学大学院(DHGS)社会人大学院生SHOと申します。 メタバース研…

SHO@DHGS

デジタルハリウッド大学大学院(DHGS)社会人大学院生SHOと申します。 メタバース研究のために大学院に入学しましたが、入学後生成AIにとても興味が湧いたので 生成AIの研究をしています。（テキスト・画像両方） Mac Studioで研究してます！！ 宜しくお願いします^^

  • 個人的に使う用のURL集

    あとで使おうと思ったURLとかべたべた貼っていきます。 主に生成AIです

大学院の講義を義務教育の段階で「少し」やるべきだと思った話

小学４年〜中学３年くらいの 文字の読み書き、基本的な計算はできて ネットを自由に使うことができていろんな情報に触れられる世代の教育に 大学院の講義を「少し」やるべきだと思う。 僕は社会人の大学院に通っていて、ビジネスとかエンジニアリングとかアートとかサイエンスとかデザインとかに関する諸々の講義を受けている。 講義は全8回だけど8回じゃ全部を語れない。 入り口に過ぎない。 しかし、この入り口が重要で、入り口を知らなければその分野に関してのヴィジョンを持つこともできない。 現在

SHO@DHGS

    • コンテキスト長の限界に挑む

      ArrowPro-7B-KUJIRAの16bit量子化モデルを使っているのですが コンテキスト長の限界に挑んでみました n-ctx16000に設定してギリギリくらいのプロンプト仕込みと アウトプットが こんな感じになったのでどのあたりまでならいけるか試してみます n-ctx15000 も同じ結果 というか重い トークンが多くなると重い だけどある程度のトークン数がないとやりたいことは実現できない がんばれ 14000でもこんなかんじ で 7000ぐらいまで落とす

      SHO@DHGS

      • ローカルLLMの最適なプロンプトテンプレートと自己認識

        OpenAIと違ってそれぞれテンプレートが違うローカルLLM。 ArrowPro-7B-KUJIRAの16bit量子化モデルを動かす上で最適なテンプレートを探します。 https://tech.aru-zakki.com/huggingface-chat-template/ 記事の中にあったこの形はOpenAIのテンプレートと同じ形です from transformers import AutoTokenizermodel_name = "meta-llama/Llam

        SHO@DHGS

        • llama-cpp-python 使ってみた

          llama.cpp立ち上げて使ってたんですけど llama-cpp-pythonの方が使いやすそうなので使ってみることにします。 Metalを有効にインストール # Metal ( MPS )でインストールするには、インストールする前に `LLAMA_METAL = on`環境変数を設定します:CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python コード↓ from llama_cpp import Lla

          SHO@DHGS

        大学院の講義を義務教育の段階で「少し」やるべきだと思った話

        SHO@DHGS

        マガジン

        • 個人的に使う用のURL集
          1本

        記事

          ArrowPro-7B-KUJIRA をCoreML変換

          せっかくMacStudioを持っているのでCoreMLに変換してGPUやNPUの性能をフルに活かしてローカルLLMを使ってみようと思います。 変換するモデル GPT-4oとClaude 3 Opusと一緒に作った変換ロジック import coremltools as ctfrom transformers import AutoModelForCausalLM, AutoTokenizerimport torchimport osimport numpy as np#

          SHO@DHGS

          ArrowPro-7B-KUJIRA をCoreML変換

          SHO@DHGS

          [AWS]放置していたクラスターの高額請求に泣かされる

          まじでやばい Amazon Neptuneと Amazon DocumentDB クラスターだけ作って放置してたら 高額請求されてた これ以上増えないために 一応クラスターとか削除できるのは全部削除しておきました 使ってない時はちゃんと停止しないとダメですね！ ちょっと高すぎる授業料なのでAWSさんに なんとかしてもらうために チャット送っておきました😢

          SHO@DHGS

          [AWS]放置していたクラスターの高額請求に泣かされる

          SHO@DHGS

          Docker neo4j データの永続化をしてみる

          Docker使っててうまく起動できなくて コンテナ削除して立ち上げ直すことがよくあります しかしその度にデータが飛んでしまったらデータベースをローカルで使えないので永続化します 最初ハマりまくってたんですがdocker volumeというのを使うとできるっぽいです Dcoker Volumeについての記事を見つけました ちなみにDataは下記に保存されるらしいです docker volume docker volume create neo4j-data すでに立

          SHO@DHGS

          Docker neo4j データの永続化をしてみる

          SHO@DHGS

          StoryDiffusion動かしてみた

          ↑ 無料で漫画生成できるみたいなのでやってました！ まず導入から使ったことないanaconda入れたり大変でした その後 pip install -r requirements.txt に書かれてるバージョンがあってなかったり Claude 3 Opusに聞きまくりながら 必要なものbrew installしました その後 python app.pyして Macだからcuda使えないからcpuに書き換えたり その後もエラーメッセージで下記の部分のサイズが合わないとかで 書き

          SHO@DHGS

          StoryDiffusion動かしてみた

          SHO@DHGS

          [Mac]Dockerでmysql立ち上げてみた

          参考記事 とりあえずDocker run するとこまではできたけど ターミナルで mysql と打っても入れないからClaudeに聞いてみたらこれを打てと docker exec -it <CONTAINER_NAME or CONTAINER_ID> bash <CONTAINER_NAME or CONTAINER_ID>の箇所はコンテナ名が some-mysqlなら docker exec -it some-mysql bash これで bash-5.1#

          SHO@DHGS

          [Mac]Dockerでmysql立ち上げてみた

          SHO@DHGS

          [Mac]Meta-Llama-3-8Bをgguf変換して量子化してみました

          上記のモデルを自分で量子化してみました。 参考にした記事 基本的な流れは上の記事の通りですが convert.pyを実行すると ずっと ValueError: unknown format: models/Meta-Llama-3-8B/model-00001-of-00004.safetensors というエラーが出ていて泣きそうになってました safetensorsのファイルの中身を見てみると 3行くらいのテキストになっていてバイナリファイルになってないことに気づき

          SHO@DHGS

          [Mac]Meta-Llama-3-8Bをgguf変換して量子化してみました

          SHO@DHGS

          Mac StudioでComfyUI使ってみた

          上記の記事を参考にMac StudioでComfyUIt使ってみました 記事の流れ通りにvenv作ってライブラリインストールしてクローンして、 すぐできました！ CheckpointがUndifinedなので以下の記事を参考に進めました StableDiffusionV1.5を入手して、 Queue Promptを押下すると… 以前レンタルしてたPCはVRAMが8GBしかなくてよくアウトオブメモリーになってたんですがMac Studioは96GBあるので安心です。

          SHO@DHGS

          Mac StudioでComfyUI使ってみた

          SHO@DHGS

          話題のArrowPro-7B-KUJIRA の量子化モデル使ってみました

          ArrowPro-7B-KUJIRA15歳の高校生がMistral7BをベースにAITuberで使えるように日本語能力世界一のモデルを作ったそうです。 すっげ そのモデルのggufの量子化モデルが上がっていたので使ってみます↓ https://huggingface.co/MCZK/ArrowPro-7B-KUJIRA-GGUF 量子化モデルなんで日本語能力世界一のモデルよりいくらか劣化するとは思いますが、会話が成立するかどうかを試してみます。 7Bの量子化モデルでまと

          SHO@DHGS

          話題のArrowPro-7B-KUJIRA の量子化モデル使ってみました

          SHO@DHGS

          Fugaku-LLM-13B-instruct-gguf　試しみた

          スーパーコンピューターで開発したという日本語LLM 富岳の13B量子化モデルを試してみます。 [リクエスト] ./main -m ../LLMModels/Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf -n 200 -ngl 38 -t 10 -p "あなたは誰ですか？" --ctx_size 512 [レスポンス] <s|LLM-jp> あなたは誰ですか？ Akhil : オープンソースのAI言語モデルです。どうされましたか？ M

          SHO@DHGS

          Fugaku-LLM-13B-instruct-gguf　試しみた

          SHO@DHGS

          【Xcode】ローカルLLMをiPhoneの実機で試した！！

          前回の記事の続きです https://note.com/flymywife/n/nf898cff3fb6e 上記の記事を参考に実機テストができました（＾＾） iPhoneをプライバシーとセキュリティからデベロッパーモードにしたり llama.cppが読み込めない原因が信頼ボタンクリックしたりしましたが なんとかできました！ 当方iPhone SE3であります！ 19 token/s　は思ったより早いです。 1.1Bという小さいモデルだからできるスピードかもしれませんが

          SHO@DHGS

          【Xcode】ローカルLLMをiPhoneの実機で試した！！

          SHO@DHGS

          llama.cppのexampleで遊んでみた→XcodeでiPhoneプレビューでローカルLLMを動かす

          llama.cppをクローンしたときにexampleというフォルダが入っていて ここにお試しみたいなアプリが入っています。 その中の こちらをXcodeでビルドして遊んでみました。 View Modelsをタップしてみましょう ちなみに生成速度でてますが108 token/seconds ってめちゃめちゃ早いです 僕のM2MAXのパワーで出ているので 実機で試すとどのくらいのスピードになるか気になりますね！

          SHO@DHGS

          llama.cppのexampleで遊んでみた→XcodeでiPhoneプレビューでローカルLLMを動かす

          SHO@DHGS

          MacStudio（M2MAX96GBユニファイドメモリ）の推論能力②

          llama.cppを使いGPUを開放する術を身につけました Llama 3 8B-Instruct GGUFQ4K_M 【リクエスト】 ./main -m ./LLMModels/Meta-Llama-3-8B-Instruct.Q4_K_M.gguf -n 512 -ngl 38 -t 10 -p "" --ctx_size 512 【結果】 llama_print_timings: load time = 212.30 ms llama_print_timings:

          SHO@DHGS

          MacStudio（M2MAX96GBユニファイドメモリ）の推論能力②

          SHO@DHGS