見出し画像

「わかるAIを届ける」(3) 三豊市ごみ出し案内ボット事件に学ぶ

割引あり
しらいはかせ(AI研究/Hacker作家)

「わかるAIを届ける」というテーマでお送りしている

作ったボットについてアクセスしたい人はこちらへどうぞ


いちおうファブリーズについても答えられるよ

さて本文。
ネットで話題になったこんな事件を扱っておこうと思う。
☆多くの人が目にしたニュースだと思うので知っている人は目次を使って飛ばしてかまいません。


三豊市「チャットGPTを利用したごみ出し案内」本格導入について

更新日：2023年10月23日
市では、6月から東京大学大学院工学系研究科松尾研究室と協力して、ChatGPTを用いた市民向けの「ゴミ出し案内」の実証実験を進めてきました。本格導入の条件として正答率99％を設定していましたが、10/23～11/30に行った2回目の実証実験の結果、正答率が94.1％に留まったことなどから、このたび、本市における「ごみ出し案内」業務には、ChatGPTを活用しないと決断しました。
今後は、今回得た知見を活かし、市役所全体として、市民サービスの向上のためにChatGPTが活用できるか否かを探ってまいります。
これまでの歩みと結果実証実験1回目（令和5年6月1日～7月7日）【正答率：62.5％】
情報収集を目的とした実証実験1回目を開始。
※実証実験期間中、AIの記憶機能の性能向上に修正を加えるも精度が向上せず、7月7日に実証実験を停止。
松尾研究室によるChatGPTの改善
・システムのバージョンアップ（GPT-3.5からGPT-4.0へ）
・1問1答形式から対話形式へ
・推測機能の追加
・返答をリアルタイムに表示
実証実験2回目（令和5年10月23日～11月30日）【正答率：94.1％】
本格導入の可否を判断すべく実証実験2回目を開始。
※実証実験1回目（62.5％）より正答率は上がったものの、本格導入決定ラインであった99％に届かず、本格導入を取りやめる。
実証実験期間中、沢山の方から多大なるご協力をいただき、誠にありがとうございました。

https://www.city.mitoyo.lg.jp/kakuka/shiminkankyou/eisei/2/chatGPT/index.html

どうみてもタイトルとは真逆の結果でがっかりである。

念のため、GoblinToolsにも判定してもらった。

変な感情が入っていないか、チェックしてみよう。

特定の感情や意見はないらしい

タイトルを入れて再度ジャッジしてみよう。

タイトルを入れると、感情を押し殺していることがよくわかる。

なんでタイトルと真逆の内容を伝えるのにこんな無属性になれるんだろう。そもそも導入するつもりで調査していたと思うんだけど、違うのかな。

そもそも受けないほうがよかったのでは説

こんな意見もあった。

ルールベースで正答があるものに
推論LLMチャットボットを軸に据えて
価値を出す前に敗北させるとは…

日本の某地方都市
おもしろすぎる終末を迎えそう

そして

どうしてこんなに正答率が低いのか知りたい。

そのデータセットが欲しい。

…なんてことを書いていたら、れみおさんから追加情報をいただいた。

ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ　三豊市と松尾研の半年間

なぜ、ごみ出し案内をChatGPTに託したのか？
　三豊市が実証実験を始めたのは6月1日。サービス内容は「市民からのごみの分別や収集日に関する問い合わせに対して、三豊市のごみに関する学習をしたAIが24時間自動応答する」というもので、松尾研と共同開発した。スマートフォンやPCで市のWebサイトを訪れることで利用できるサービスとして開設して市民に実際に利用してもらい、検証した。

https://www.itmedia.co.jp/news/articles/2312/15/news158.html

三豊市にChatGPTでの実証実験を始めた経緯を聞くと「市のWebサイトにもごみ出し案内の情報は掲載しているが、質問したい内容を探す必要があった。ChatGPTを使えば、知りたい情報にすぐ回答できると思った」と話す。また、市の環境衛生課には日々5～10件程度のごみ出しに関する問い合わせがあり、その内容によっては業務として数時間要することも。市の業務効率化を図る狙いもあった。
他にも、三豊市では外国人市民が増加傾向にあるため、50カ国以上の言語に対応し、24時間対応可能とすることで、彼らに対する新たなサービスになるとも考えたという。改善重ね、正答率は94％まで到達　しかし……　今回の実証実験は大きく2つのフェーズに分けられる。前半（6月1日～7月7日）では、約1週間のスパンで誤答を分析した。例えば「学習していない品目に対して誤答したケース（例：ファブリーズの捨て方など固有名詞があるもの）」「学習していたのに正しい回答ができなかったケース」「回答はできたが情報量が不十分だったケース」など正しく回答できなかった事例の改善を試みた。
この期間中のAIの正答率は62.5％という結果に。誤答の分析を試みても、正答率は大きく上がらなかったため、一度実証実験は中止することとなった。そこで改善点として、以下の4点を変更した。大規模言語モデルをGPT-3.5からGPT-4に変更1問1答形式から対話形式に変更（不足情報があるとAIが判断にした場合、ユーザーに対して質問する）AIによる推測情報の表示（AIの推測が間違っていた場合、ユーザーからの指摘を促し、AIが回答の修正を行うことを期待）返答のリアルタイム表示（GPT-4に変えた際、やや応答が遅くなったため、回答を全て生成してからの表示ではなく、リアルタイム表示にして、待ち時間の体感が短くなることを期待）

これらの改善を終えた10月23日から実証実験を再開。11月30日まで検証したところ、正答率は94.1％まで向上した。なお、松尾研は実験中、随時状況を分析して改善方法などを市に提案。実証実験中とそれ以外の期間で、ポイントとなる出来事がおきた際には報告書を提出しており、その後のスケジュールについて市と協議を行い進行していた。しかし、三豊市では本格導入の条件を“正答率99％”としていたため、今回ごみ出し案内へのChatGPTの導入は見送られることになった。

「AIは万能ではない」
　正答率99％を本格導入の条件にした理由を三豊市に聞くと「ごみ出し案内は正確性が特に求められる。AIが間違った案内をしてしまうとその案内に基づいて行動した市民や収集業者などに迷惑が掛かる。職員でも即座に回答できない問い合わせはあるが、時間をいただき調べてから正確な情報を回答している」と話す。
　「AIには少なくとも職員と同等のレベルを求め、それに達しない限り対市民向けとしては導入できないと考えた。また、AIがどのように回答したかを結局のところ職員が確認する作業が伴い、正答率が低ければそれだけ確認する頻度も上げなければならない。100％は無理としても99％は譲れない条件だった」（三豊市）
　今回の実証実験を経て、率直な感想を三豊市に聞くと「AIは万能ではないということが分かった」と語る。
　「市役所業務の中で、1番の懸念である個人情報漏えいの恐れがなく、かつ市民の利便性が高いものとして、ごみ出し案内は入り口が広かったため実験を開始した。しかし、廃棄物の形状が数多ある上に、地区やモノによって異なる収集日をかけ合わせると、かなり複雑な思考回路から答えを導き出さなければならず、結果的にごみ出し案内に使うには出口が狭いものであると痛感した」（三豊市）
　また、誤った回答をしないようにAIが答えられない回答や、不安のある回答については「環境衛生課へお問合せください」という文言を表示していた。これにより“結局職員の負担は減らない”と分かったことも判断の理由になった。
　三豊市は「市役所が行う業務のうち、対市民向けの業務でAIに任せっきりでも大丈夫、または職員の負担軽減につながる業務があるのかどうか……模索は続ける」とし、今後も生成AIを使った業務効率化を探求する姿勢を見せた。

三豊市の実証実験の結果報告

この記事に対する感想も興味深いのでお時間がある人は見てほしい。

https://twitter.com/search?q=https://www.itmedia.co.jp/news/articles/2312/15/news158.html

IT屋としてのご意見にはもっともなもの

・要件定義がまずい
・SLA（サービスレベル保障が高すぎる）
・ルールベースのほうがよいのでは

個人的な視点では
・この調査や実施にかかる費用が高すぎたのでは
・そもそも役所の中に反対勢力はたくさんいる

イノベーション反社勢力について

冒頭のような感情の判定をしたのはそのせいで、まあそういう勢力はどこにでもいる。「イノベーションが大好きな人、を大嫌いな人」っている。

そもそも他の自治体では…

研究というものは reseach であるからして、まずは search から入ってみたいのですが、

墨田区「すみにゃーる」

青梅市公式キャラクターのゆめうめちゃん

これはちょっと読み切れないやつだ

三鷹市「サリー」

千代田区の「クウゼン」という会社さんによる運用、思いっきりリンクも入っている https://www.kuzen.io/


神奈川県横浜市、株式会社NTTドコモ「イーオ」（2017）

AIを活用したチャットボット「イーオのごみ分別案内」（神奈川県横浜市、株式会社NTTドコモ）

そもそも自治体の案件はオープンソース活用すべきなのでは

そもそもごみ出し案内ボットって、別に各自治体で開発しなきゃいけないんだろうか？もちろん、地域とか言語とか分類区分とかユーザ年代とかの差異はあるかもだけど、OSS的にな解決もありそうだよね。
そうするとベンダーさんがどこで稼いだらいいのかわからない、ってことになるのかもしれないけど、開発の標準が見えてくれば運用なり演出なり新規性なり応答速度なり、人口に対する処理負荷やUX応答速度などで稼ぎようはあると思うんだけど、どうなんだろ。

あとデジタル庁ってそういうミッションがあった気がするんだけど、最近どうなんだろ。コロナ渦中ではいろいろあった気がするんだけど。

そんなわけで、ChatGPTsで作ってみた。

データソースはこちら

https://www.city.mitoyo.lg.jp/gomi_search/index.html

https://chat.openai.com/g/g-ENbJlSwDC-gomi-sute-cat

プロンプトとか無料サービス化するための実装方法はちょっと手間がかかるかもしれないので有料にしておきます。質問もどうぞ。
みんなも作ろう！
っていうか AICU社にお仕事ください＞https://corp.aicu.ai/ja 


ここから先は

0字 / 1画像

この記事が気に入ったらサポートをしてみませんか？