見出し画像

総務省が8525万円をかけて作らせたGovbot（ガボット）を３時間で作った話

Sangmin Ahn

こんにちは、Choimirai Schoolのサンミンです。

0  はじめに

総務省が2024年3月26日に発表した、国・地方共通相談チャットボットの「Govbot（ガボット）」。

デジタル庁が発注し、日本電気が２ヶ月かけて作ったチャットボットのようでかかった費用は、なんと8525万円🤯。

しかしながら、蓋を開けてみるとガボットからの返答はあまりにもひどすぎると評判。

そこで、オープンソースのDifyを使ってガボットと似たようなチャットボット（ハルキ）を作ってみました。

Difyで作ったチャットボットの名は、ハルキ

1  Dify vs Govbot

ハルキを作るのにかかった時間はわずか３時間。チャットボットはこちらのリンクからアクセスできます。

8525万円をかけて作ったGovbotとぜひ比べてみてください。

2  RAG vs Fine Tuning

SHINOさんが教えてくださったデータを見るとGovbotはFAQデータに基づいてFine-tuningされているように見えます。

ゆえに、なぜ特定の選択肢が表示されるのかもブラックボックスの状態。このままだとGovbotを改善するのもそう簡単ではない。

一方で、ハルキはRAGが実装されています。Embeddingやベクトルデータベースを作る際はCohereのRerankを導入し、質問と関連性が高いデータに基づいて答えを返すように制御しています。

3  モデル選定

Govbotではどのモデルが利用されているのかは明かされてませんが、Fine Tuningが実装されているのであればおそらくGPT-3.5-Turboの可能性が高い。それに対し、ハルキはClaude-3-Haikuを採用しています。

Claude-3-HaikuはGPT-3.5より安いのに、ほぼGPT-4と同じくらいの回答が得られると高い評価を得ています。

5  まとめ

ハルキとこちらのnoteが、Govbot（ガボット）の開発に8525万円をかける価値があったのかを真剣に考えるきっかけになれば嬉しいです。

この記事が参加している募集

仕事のコツ

with 日本経済新聞

書いてみる

この記事が気に入ったらサポートをしてみませんか？