LLMの活用

GPT4-Vision APIを使ったアプリ　draw-a-uiを試す

gpt4-vison API を使った作例として公開してされている、ポンチ絵をhtmlに変換するアプリdraw-a-uiを試してみました。アプリの機能まずはgithubの説明にしたがってアプリを起動してみます。 $ git clone https://github.com/SawyerHood/draw-a-ui$ cd araw-a-ui $ npm install$ npm run dev あとは、ブラウザでhttp://localhost:3000を開くとアプ

kani: 軽量LLMフレームワーク

kani (カニ) は、ツールの使用/関数呼び出しを備えたチャットベースの言語モデルのための軽量でハッキング可能なフレームワークです。 LLM用のフレームワークとしてはLangchainが圧倒的にメジャーですが、若干肥大化した印象もありますよね。というわけで、ざっと試食してみます。 kaniの主な特徴軽量設計　最小限のフットプリントで高レベル機能モデル非依存　OpenAIモデルのほか、LLaMA v2、Vicunaなど関数呼び出し　ロバストなFunction Cal

LangChainによるCode Interpreterオープンソース実装を試す

先日OpenAIからChatGPTのCode Interpreter が公開されて、その能力の高さと応用範囲の広さから界隈で大騒ぎになっていますね。そのコードインタープリター機能をFunction Callingを利用して、LangChainでオープンソース実装を行う試みも始まったようです。というわけで、さっそく簡単に試食してみます。なお、技術的な詳細などはLangChainの公式ブログやGitHubリポジトリなどをご参照ください。概要LangChainエージェント用

FlowiseAI：GUIで手軽にLangChainを使ったAIアプリを作成できる

FlowiseAIはドラッグアンドドロップの軽快なUIで、LangChainJS を使ったAIアプリケーションを手軽に開発できるオープンソースのツールです。その特徴と使い方を簡単に紹介します。🌽 FlowiseAIの概要オープンソースのMITライセンス: 商用利用可 LangchainJSを使用したLLMフローを素早く構築可能 Node Typescript/Javascriptで書かれ、OpenAI はじめとした各種LLM（ローカル動作のggmlモデルも使えます）、各

gpt-3.5-turbo-16kで要約文を作成

以前、長めの英語のyoutube動画の音声を文字起こししてから、langchainで要約文を作成することを試みました。 gpt-3.5-turboのコンテキスト長の制限4kのため、あらかじめ適当なサイズにテキストを分割して中間要約したのちに、全体の要約文を生成していましたが、gpt-3.5-turbo-16kが公開され、コンテキスト長が4倍の16k!になったので、ケチケチせず一気にぶっこむ作戦で要約文を作成してみます。というわけで、Apple WWDC2023の基調講演

GPT-4とＡＩの未来について、おしゃべり

ChatGPTで雑談するのって楽しいですね。特に最近はプラグイン機能で外部の最新情報を取り入れられるようになり、議論の厚みも深くなってきて学びも大きくなっていると感じます。というわけで、お昼休みにＡＩの進化をテーマにして、ちょっと雑談してみました。テーマ：LLＭの進化についてLLMが能動的に自らのモデルを定期的に、もしくは推論と同時にファインチューニングを行っていくパラダイムを達成することは可能でしょうか GPT-4回答研究論文などこれらについて、現在発表されている

YouTubeの英語音声をfaster-whisperとLangChainですばやく要約してみる

whisperによる文字起こしについては高速に文字起こしができるようになったとのこと。というわけで、WhisperとLangChainを組み合わせて長時間の音声の要約に取り組んでみました。音声ファイルの準備ダウンローダーのインストール !pip install yt-dlp 音声ファイルのダウンロード !yt-dlp -x --audio-format mp3 https://youtu.be/35pSeFWWatk -o bard.mp3 Google I/O

iOS用のChatGPTアプリ　ファーストインプレッション

OpenAI公式のiOS用のアプリが日本でも使えるようになったということで、さっそく自分のiPhoneに入れてみました。ChatGPT Plusのサブスクはweb版のアカウントを引き継げるので、Plusを使っている人はメリット大きそうです。第一印象をメモっておきます体感のレスポンスはweb版よりも明らかにサクサクやりとりをするときに、触覚フィードバックがあるのが何気に心地よい今のところ、プラグインやブラウズ機能はアプリからは使えない。プラグイン機能はすでに手放

#OpenAI

GPT4-Vision APIを使ったアプリ draw-a-uiを試す