#LLM
LangChainを使って自然文の入力を構造化データに変換する実験
はじめにOpenAIのAPIを使って、LangChainからいろいろできるのはわかってきた。
この記事を拝見し、たしかに自然文の入力から構造化データが得られたらとっても便利だな、と思い、あれこれ試してみることにした。
実験の設定一定のまとまりの自然文から、所望の情報を抽出してJSON形式に構造化することを目的とする。今回はWikipediaのナポレオン戦争の項目から文章を拾い、その中から情報を
OpenAI APIとStreamlitで傾聴ボットを作ってみた
はじめにOpenAIのAPIからGPT3.5系のモデルが使えるようになったということで、以前いろいろ試してみていた「ボットに役割分担をさせる」をもう少し突っ込んでやってみようと思い立った。
役割を明示するとChatGPTがしっかり応じてくれる、という現象は各所で報告されている。深津式プロンプトがもっとも有名と思うが、こちらの記事が非常に参考になる。内容も面白いし、ChatGPTが役割を演じてくれ
LangChainを使って自然文の入力を構造化データに変換する実験（2）プロンプトの改善
はじめに前回、自然文から情報を抽出して構造化データに変換する実験を行った。
なんとなく想定の結果が得られたものの、どうもいまいちしっくりこない感じが否めない。そこで、もうちょいプロンプトを改善できないか、少し試してみた。
実験前提
前回利用したのは以下のコードである。毎回コード全文を示すのは面倒なので、以降、このコードの中からtemplateの箇所のみを変更して結果を示すこととする。
#
自己改変するAI～プロンプトでプロンプトを改善できるか？
はじめにふたつの実験により、自然文から必要な情報を抜き出して構造化データに変換することに成功した。
そこでふと疑問がわいた。今回は自力でプロンプトを改善したが、所望の結果が得られない場合、プロンプトを改善してくれるプロンプトを書くことはできないだろうか？もしうまくいくならば、プロンプトエンジニアリングももうちょい手抜きできるのじゃないだろうか？
これは自らpythonコードを修正している例だが
LangChainでWikipediaは扱いづらいかもしれないよ、という事例
はじめにしばらく前になるのだが、LangChainのv0.0.107がリリースされたとき、toolにWikipediaが組み込まれたという話が出てきた。
ちょうどserpapiの月の無料枠が上限に達していたので、Wikipediaを利用してみようと思い、早速試してみた。しかし、これが予想以上に難しいもので難儀した。もしかすると、自分の使い方が悪いのかもしれないもしそうであれば、指摘いただけるとう