スラング先生の公式アカウントを設立し助手のリーさん運用の課題
りーさんを運営するにあたり課題が見えてきている。chatgptの特性上間違いや知らない事も知ってるかの様にアウトプットしてしまう事。正に言語を教える際にこれが必要
そんな考えがある中、下記の記事を見つけた、非常に納得のいく有益な記事であった。
特にここの事項
第3のハードル：出力の誤りへの対応
LLMは誤った情報をさも真実であるかのように出力することがあります。
これは、学習データに含まれている・いないに関わらず起こりえることです。
わかりやすい例として、計算問題を誤答する例を挙げてみます。
2022/12/18時点のChatGPTでの結果ですが、立式と途中までの計算結果は正しいのですが、最後の計算で惜しくもミスをしてしまいました。
実業務に適用する上では、誤った出力を減らし事実に立脚した回答をさせる為の工夫が必要になるでしょう。このようにLLMが問題解決のために必要な外部リソースの選択・結果観察を繰り返して最終結果を得る仕組みは、Action-Driven LLMとして現在注目されています。
このAction-Driven LLMを自分たちでも作りたいという方のために、今回はlangchainというライブラリをご紹介します。
これらの仕組みをリーさんに組み込まないと正確性の不確実さは「スラング先生の広東語アカウント」としての存在意義を揺るがす為に、これを一番の修正優先事項として取り組むべきと考える（ただこれらは全く無知である為にまた0からの勉強となる）
langchainのご紹介
langchainを用いることで、LLM単体では実現できない高度なアプリケーションを比較的簡単に作れることがイメージできたのでは無いでしょうか。
とはいえ、実業務で適用するとなるとまだまだ解決しなくてはならない課題はいくつもあります。
自分たちに適した外部リソース、特にデータベースや検索システムをどのように用意し維持管理していくか
外部リソースが信頼できなければ意味がありませんので、如何に腐らせないようにするかが大切です
どうやって適切な外部リソースを選択できるAgentを用意するか
Agentが用いるLLMをファインチューニングしたりプロンプトをカスタマイズしたりといった工夫が必要になりそうです
現時点ではAPIが安定しておらず、バージョンが上がるとコードが動かなくなることがよくある
これは時間が解決してくれることを期待しています
上記のような課題はあるものの、個人的には様々な場面で応用できそうな魅力を強く感じています。と日々すごいスピードで代わっていくchatgptの日記、記録としてここに記しておきます。