LLMの活用

claude.aiのアーティファクト機能でさくっとテトリス風ゲームをつくる

Claude 3.5 Sonnetにあわせて発表された、Claude.ai のアーティファクトという機能を早速ためしてみました。アーティファクトという言葉は、「人とLLMが協力して生成した成果物」というニュアンスで使ってるのかなぁ。サポートされているアーティファクトには、プログラムコードのほか、マークダウン文書などがあり、それらアーティファクトをLLMと対話しながらブラッシュアップしていく感じです。JavaScriptとかならチャット画面の隣で実際の動作を確認しながら作

ChatGPTでデータ眺めて電気代を考える

ChatGPT上の、csvファイルやグラフの扱いが改良されているようです。ちょうど、日本全国の発電所の時間ごとの発電実績データを全て公開している、興味深いサイトを見つけたので、今回は昨日(2024-05-29)一日分のcsvデータをネタにして、かるく試してみました。リンク先のユニット別発電実績公開からエリアと期間等を選択してCSV保存する。保存したCSVファイルをおもむろにChatGPTにぶっこむ。東京、関西、九州エリアの発電方式・燃料の種類ごとのプロットをし

GPT-4Vの画像認識の機能を試す

ChatGPTの画像認識の機能が、やっと今朝見たら使えるようになっていたので、遅ればせながら私も試してみました。ブロック図の解説数式画像のLaTeX化宿泊記録の読み取り災害の要因分析台風進路図の読み取り以上、取り急ぎためして、一通り驚いてみました。😄 フェーズが変わった感じです。gpt-4vのAPIが公開されれば応用分野も相当広がりそうですね。

ローカルPCのターミナル上でLLM生成コードを実行できるOpen Interpreterを試す

ChatGPTのコードインタープリター（Advanced Data Analysis）と同様な機能をローカル環境で実行可能な Open Interpreter が公開されていました。ターミナル上で、チャットインターフェイスを介して、LLMがPython、JavaScript、Shellなどのコードを実行できるもののようです。 Google Colabでの実行デモも公開されています。ローカル環境で試す対話環境の起動はターミナルで以下を入力します。　＄ interpre

CodeInterpreterを使ってChatGPTに微分積分の宿題をしてもらう

コードインタープリターを使ってChatGPTに微分積分の問題を解いてもらいました。積分の問題微分の問題たしか高校で習ったはずなのに恥ずかしながら頭がさび付いてしまって、ほとんど忘れてしまいましたが、そんな時も（人類たるプライドを捨てて）さくっとChatGPTにお願いすれば、ほぼいい感じです。今回はChatGPTがすごいというか、数式処理ライブラリsympyがすごいのですが…。なにせ楽。豊富なpythonライブラリーを活用すると、コードインタープリターは数学以外でもいろ

画像説明するアプリ「ViLT-GPT」でLLMと他のTransferモデルの組み合わせ方を学ぶ

面白そうなサンプルアプリをGitHubで見つけたので遊んでみました。 README.md の日本語訳ViLT-GPTは、会話型AI ChatGPTに「見る」機能を与える革新的なアプリケーションです。OpenAIの言語モデル(LLM)とLangChainをVision-and-Languageモデルと統合することで、このアプリは画像の内容に基づいて質問に答えることができます。これで、画像と対話したり、質問をしたり、有益な回答を得たりすることができます。とにかく試してみます

LangChainによるCode Interpreterオープンソース実装を試す

先日OpenAIからChatGPTのCode Interpreter が公開されて、その能力の高さと応用範囲の広さから界隈で大騒ぎになっていますね。そのコードインタープリター機能をFunction Callingを利用して、LangChainでオープンソース実装を行う試みも始まったようです。というわけで、さっそく簡単に試食してみます。なお、技術的な詳細などはLangChainの公式ブログやGitHubリポジトリなどをご参照ください。概要LangChainエージェント用

時系列データをChatGPTのCode Interpreterに解析してもらう

ChatGPTのCode Interpreterで時系列データのデータ解析を試してみます。ネタは定番のAir Passengersのデータを使います。実行結果は、スクリーンショットをコピペしたので文字がつぶれて見ずらい場合は、画像を開いてご覧ください。データの読み込み訓練データ、テストデータの分割予測モデルの作成ARIMAモデル LSTMモデルのプログラム LSTＭモデルでの予測結果 google colabで実行して出力されたファイルをChatGPTに入力します

ChatGPTのCode Interpreterに基本的な画像処理を教えてもらう

ChatGPTのCode Interpreterになって画像ファイルも入力できるようになったようなので、何ができるか対話的に試してみました。

ChatGPT のCode Interpreterにシンセサイザーの基本を教わってみる

今回はChatGPTに音の合成の基本を教えてもらいます。クラリネットの音色の合成昔の電子オルガンのクラリネットの音みたい？サックスの音色の合成まとめ実際のシンセサイザーでの音の合成は、もっともっと複雑な処理をしていると思いますが、初歩の初歩として単純なサイン波の合成で音色が変わることを実感できて、とても興味深かったです。 Code Interpreterはシンプルなコードで例示してくれて、実際にファイルの出力を得ることが出来るようになったことは大きなメリットだと思い

Kaggle(Airline Customer Holiday Booking Dataset)をCode Interpreterで分析してみる

ChatGPTのCode Interpreterで先日Kaggleのタイタニック号の予測を行ったあとで気が付いたのですが、タイタニック号の問題はとても有名なので、ネット上に参考となる解説記事も多数存在するので、上手く動作したのではないかと思いました。このため、今回はタイタニックよりは一般的ではないKaggleのデータセット(Airline Customer Holiday Booking Dataset)を使って、データ分析、モデルの作成をCode Interpreter

OpenAI互換APIサーバーたてて、LangChainで遊ぶ

FastChatがバージョンアップして、LangChainとOpenAI互換のローカルAPIサーバーとの統合方法が詳しめで紹介されていました。モデルのダウンロードFastChat 初回起動時に自動でモデルがダウンロードされるので、特に何もしなくても大丈夫です。以前のVicuna-13b-v1.1では、LLaMAから手動でデルタを適用する必要がありましたが、現行のFastChat のバージョンでは、モデル起動時に自動でデルタ適用済みのモデルがダウンロードしてくれるように

LangChainまたまた新機能: OpenAI Multi Functions Agent

中の人がどうなってるのか、にわかに信じられませんが、またまたLangChainの新機能が発表されていました😮 今度の新機能は、「Multi Functions Agent」です。 Agentが１ステップで複数の関数呼び出しをするという機能です。 Tools定義google検索ツール(SerpAPI)を tools に登録します。 llm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613")search = Ser

AIと教育：ChatGPTを使ったレポート作成の実験

「和訳タイトル：人工人工AI: クラウドワーカーが広く使用するテキスト生成タスク用LLM」という変わったタイトルの以下の論文によれば、クラウドワーカーに文章の要約タスクを与えると、33％～46％の人がLLMを使用してラクをする（業務を自主的に効率化する）と推定されたそうです。ほんまかいな、という気もしますが、人間はラクな方法が使える状況に置かれると、使うなと言われない限り、便利な道具を使うのは仕方がない気もします。（エクセル使える状況でも、あえて電卓をたたく殊勝なひともい

#ChatGPT