最近のできごと

・96GBユニファイドメモリのMac Studioを生成AI研究用に注文しました ・デスクトップなのでノートに比べてモニター一個減るのでモニター一個買いました ・レンタル中のノートPCでモニター増やして使ってみたら 「モニターは多ければ多い程良い」と気づきました。 迫力が違います。 ・最終的には横3×縦2で6画面のモニターをモニターアームで作業者を上から囲うように配置する計画です Mac Studio購入を決めた理由は、 生成AIを使う上でGPUのクラウドサービスにお金使う

Scalaめっちゃいい

論文テーマに悩んでいる時

クロード3と壁打ちしているときに 知らなかったことを教えてくれた トピックモデル 新しいRAGの取得方法か？ と思ったけどそうではなく モデルごとのベクトル化の計算方法の違いだった トピックモデルベースのembeddingモデルと分散表現モデルでは コサイン類似度を算出したときに違う数値が出てくる 使いたいモデルがどういうモデルなのか 見極めて使わないとね。

ChromaDB セマンティック検索③

multilingual-e5-largeモデルを使ってみる import chromadbfrom transformers import AutoTokenizer, AutoModelmodel = AutoModel.from_pretrained('intfloat/multilingual-e5-large')tokenizer = AutoTokenizer.from_pretrained('intfloat/multilingual-e5-large')cl

ChromaDB セマンティック検索②OpenAIのEmbeddingモデル

前回の続き catというクエリで bengalよりもbulldogが近いと出てしまう問題があったので モデルをOpenAIのEmbeddingモデルに変えてみた import chromadbimport chromadb.utils.embedding_functions as embedding_functionsopenai_ef = embedding_functions.OpenAIEmbeddingFunction( api_ke

ChromaDB　セマンティック検索

前回、 セマンティック検索ができていないことにきづいて、 公式docがセマンティック検索ができるといっているモデルがあったので 試してみました import chromadbfrom chromadb.utils import embedding_functions# 選択したモデルを使用して埋め込み関数を作成sentence_transformer_ef = embedding_functions.SentenceTransformerEmbeddingFunction

ChromaDBを試してみて気付きました…。

ベクトルデータベースChromaDBの実験をしてみました。 import chromadbchroma_client = chromadb.Client()collection = chroma_client.create_collection(name="my_collection")collection.add( documents=["american shorthair", "bulldog"], metadatas=[{"source": "cat"}

M2の目標

4月～大学院のM2になります！ 【目標・やるべきこと箇条書き】 ①英語論文を書き上げる ②マネタイズできるアプリを開発する ③修了課題をしっかり作り上げて修了する ↑ 3つ全部MUST、絶対。 ②と③は②が③（修了課題）の一部。 これから書く英語論文は修了課題に繋がっていく。 生成AIをサービスで活用する実践的なフェーズに入っていく上での 新規性と有用性とインパクトある研究に挑戦していく。

【シンディ、クッキングママローラサービス終了のお知らせ】

プロトタイプBOTシンディ トレーニングBOTシンディ クッキングママローラ 昨年開発したLINEBOTサービスを明示的に終了させていただきます。 まことにありがとうございました。 終了の理由としては、 最近リクエストもない中でモニタリングとかでとにかくランニングコストがかかってしまい、無料サービスなので維持継続していくことが難しいと思いました。 サムネイルはテストしたときシンディが返事してくれた画像ですが これ見てシンディはまだプロトタイプのままで、 未完のまま終わって

rakutenモデルが僕のマシンで動かなかった→動いた

from transformers import AutoModelForCausalLM, AutoTokenizerimport torchfrom torch.quantization import quantize_dynamicdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")model = AutoModelForCausalLM.from_pretrained("Rakute

小規模言語モデルopen-calm-smallを使ってみた

パラメータが160M（0.16億？）という小ささのopen-calm-smallを使ってみました！ import torchfrom transformers import AutoModelForCausalLM, AutoTokenizermodel = AutoModelForCausalLM.from_pretrained("cyberagent/open-calm-small", torch_dtype=torch.float32)model = model.to

修了までの道のりがリアルになってきた

今日、M2の先輩方は修了式だったみたいです。 僕も修了までの 道のりが リアルになってきました…。 ここから具体的に工数割り出して いつまでに 何をするのか どこまでやるのか まずは修了課題のプロトタイプを GW明けぐらいまでに 完成させて 人に見せて 色々評価してもらおうと思います。 LLMに関する研究ですが 全てをエンターテイメントにするのが 大学院のメッセージなので LLMとUnity使ったゲームみたいなの 作ってみます！