LLMの活用

画像説明するアプリ「ViLT-GPT」でLLMと他のTransferモデルの組み合わせ方を学ぶ

面白そうなサンプルアプリをGitHubで見つけたので遊んでみました。 README.md の日本語訳ViLT-GPTは、会話型AI ChatGPTに「見る」機能を与える革新的なアプリケーションです。OpenAIの言語モデル(LLM)とLangChainをVision-and-Languageモデルと統合することで、このアプリは画像の内容に基づいて質問に答えることができます。これで、画像と対話したり、質問をしたり、有益な回答を得たりすることができます。とにかく試してみます

Function calling に対応したLlama API(llama2)

OpenAI互換のAPIでllama2モデルをホストする、LLamaAPIが公開されていたので、さっそく試してみました。 Llama API のページでユーザー登録してAPIキーを取得します。 OpenAIのFunction Callingのサンプルを入力してみます。 !pip install llamaapi -q from llamaapi import LlamaAPI# Replace 'Your_API_Token' with your actual API

LangChainによるCode Interpreterオープンソース実装を試す

先日OpenAIからChatGPTのCode Interpreter が公開されて、その能力の高さと応用範囲の広さから界隈で大騒ぎになっていますね。そのコードインタープリター機能をFunction Callingを利用して、LangChainでオープンソース実装を行う試みも始まったようです。というわけで、さっそく簡単に試食してみます。なお、技術的な詳細などはLangChainの公式ブログやGitHubリポジトリなどをご参照ください。概要LangChainエージェント用

時系列データをChatGPTのCode Interpreterに解析してもらう

ChatGPTのCode Interpreterで時系列データのデータ解析を試してみます。ネタは定番のAir Passengersのデータを使います。実行結果は、スクリーンショットをコピペしたので文字がつぶれて見ずらい場合は、画像を開いてご覧ください。データの読み込み訓練データ、テストデータの分割予測モデルの作成ARIMAモデル LSTMモデルのプログラム LSTＭモデルでの予測結果 google colabで実行して出力されたファイルをChatGPTに入力します

ChatGPTのCode Interpreterに基本的な画像処理を教えてもらう

ChatGPTのCode Interpreterになって画像ファイルも入力できるようになったようなので、何ができるか対話的に試してみました。

ChatGPT のCode Interpreterにシンセサイザーの基本を教わってみる

今回はChatGPTに音の合成の基本を教えてもらいます。クラリネットの音色の合成昔の電子オルガンのクラリネットの音みたい？サックスの音色の合成まとめ実際のシンセサイザーでの音の合成は、もっともっと複雑な処理をしていると思いますが、初歩の初歩として単純なサイン波の合成で音色が変わることを実感できて、とても興味深かったです。 Code Interpreterはシンプルなコードで例示してくれて、実際にファイルの出力を得ることが出来るようになったことは大きなメリットだと思い

Kaggle(Airline Customer Holiday Booking Dataset)をCode Interpreterで分析してみる

ChatGPTのCode Interpreterで先日Kaggleのタイタニック号の予測を行ったあとで気が付いたのですが、タイタニック号の問題はとても有名なので、ネット上に参考となる解説記事も多数存在するので、上手く動作したのではないかと思いました。このため、今回はタイタニックよりは一般的ではないKaggleのデータセット(Airline Customer Holiday Booking Dataset)を使って、データ分析、モデルの作成をCode Interpreter

2023年7月の記事一覧