ChatGPTに筋の良い回答をしてもらうための問いとは？

2023年3月11日 23:52

最近ChatGPTをよく使っています。それこそ移動中にやりとりしていると移動時間を忘れるほど面白くて止まりません。

すでにChatGPTの活用は議論されていて、使い方のイメージは固まりつつあると思います。

今1番しっくりきている情報処理フロー

①自分の頭で考える
マインドマップで頭の中にあるもの吐き出す
↓
②1次情報に当たる
ユーザー＋有識者インタビューや書籍でインプット
↓
③AIに頼る
Notion AIに入れ込み構造化
↓
④他の人に頼る
チーム内で議論して視点追加
↓
⑤自分の頭で考える
決める
— 黒澤友貴 (@KurosawaTomoki) February 28, 2023

現状の使い方だとChatGPTにある作業の代行や取っ掛かりを作ってもらって、人間が最終的なアウトプットを仕上げるために利用するのがよさそうな感じです。

これは逆に言えばGoogleのような検索用途は向いてないということですね。

そうなるとChatGPTに筋の良い回答をしてもらうために"ググる"とは別のChatGPTへの問いを作る力(インプットリテラシー)が必要になってきます。

では良いインプットはどうやって作られるのか、それをゆるくモデリングしながら構造化していきたいと思います。

ChatGPTへ良いインプットをする定義とは

今回のモデリングの目的は「自分が望む回答(アウトプット)をChatGPTが出せるように良い質問(インプット)を明らかにする」ことなので、良いインプットの定義はこのようにしてみました。

定義　：ChatGPTが期待通りのアウトプットをするためのインプット
ゴール：期待通りのアウトプットを再現できる

ChatGPTに期待通りのアウトプットを出してもらうために、インプットをする時に何に気をつけるべきかを把握しておけば自分が望むアウトプットが得やすくなるわけです。

ChatGPTに自身の構成要素を質問してみる

モデリングのゴール達成には対象理解が必要なので、ChatGPTがどんな情報や技術を使ってアウトプットをしているのか、その現状について把握することが必要になります。

これはChatGPT自身に質問してみることにします。何度かやり取りしてChatGPTが回答してくれた構成要素がこちら。

エンジニアではないため技術的な詳細まで分かりませんが、ChatGPTの持つ技術内容とユーザーからの質問文をインプットにして回答文を生成している、つまりアウトプットを出していることがわかります。

我々がコントロールできるのは質問文なのでこちらの要素について質問すると、こんな回答が返ってきました。

ChatGPTをモデリングしてみる

ここからモデリングに入っていきますが、図解で使っているモデルの記法やツールなどの諸々についてはこちらの記事で説明しています。

ChatGPTから教えてもらった内容を元にモデリングした結果を図解したものがこちらです。

まずフローチャートと同じでプロセスが左から右に流れていきます。グレー背景はプロセスの主役となる「アクター」を表現しています。

この図だと質問文に関わるアクターが「ユーザー」で、質問文を作るプロセスの主役です。回答文に関わるアクターは「ChatGPT」が主役です。

この流れから「ChatGPTはユーザーからの質問文を元に、ChatGPTが持つ技術要素によって回答文を作成しているんですよ」ということを表現しています。

この図の読み解き方の手順は主にこの２つです。

1. 矢印が集まる重要な構成要素を探す
2.重要な構成要素から左に遡っていき根本原因を把握する

まず注目すべきは線が集まるところで、質問文と回答文の2箇所あります。

ただし回答文はChatGPTが主役でユーザーのため、ここではユーザーがコントロールできる質問文に注目して根本原因を探っていきます。

質問文の構成要素はノウハウだらけ

質問文を見てみると構成要素が4つあります。気になるのが点線で表現されたノウハウが多いということです。

これは同じ質問内容でもノウハウの有無により回答結果が左右されることになります。つまり質問ノウハウを持つ人はうまくChatGPTから回答を引き出せるのですが、そうでない人はうまく扱えないため使う人によって品質の差が大きくなるという問題が発生することになります。

属人的な「問いを立てられる力」が超重要という結果に

またここから質問内容に遡って行くことで根本原因にたどり着くのですが、質問内容を構成するのは疑問と既存の知識になりました。

つまり良いインプットをするための質問内容を成立させるには、質問内容を生むための疑問と既存の知識が必要になります。

例え同じ疑問を持ったとしても、ユーザーが持つ既存知識の差によって質問内容が大きく異なるわけです。ここも使う人によって品質の差が大きくなるという問題が発生することになります。

つまりは、良い質問文を作るためには、個人のノウハウが重要な構成要素になってしまっているため、誰でも同じ品質の回答を得ることはまずムリだということになります。

これからChatGPTの技術がいくら進歩しても、質問文に関するノウハウがなければよい回答を得られないことになります。ChatGPTはあくまでも良いツールであって、人間を凌駕するようなことにはなりません。

ただし、これは今回のモデリング結果から語れることなので、もしユーザー側のノウハウ領域をChatGPTが代替し始めると前提が変わります。そうなれば、誰でも同じように活用できる可能性はあります。

ChatGPTの回答文を良くするための解決策

モデリングによって、ChatGPTに良い回答文を出してもらうための要素は明らかになりました。今回の結果からほぼ属人的なノウハウが回答文のアウトプット品質に影響を与えることになります。

この結果から解決策について議論した内容はPodcastで収録しています。モデリング内容の解釈や解決策を導き出す経緯に興味があれば、ぜひ聴いていただけると嬉しいです。

議論結果について記載すると、このような解決策が出てきました。

・使い倒してノウハウを獲得する
・マニュアルやテンプレートを用意する
・入力ガイドを導入する
・質問文を作るノウハウを代替してくれるサービスを使う
・ChatGPTがインプット側まで配慮してくれる技術の発展を待つ

現状だとChatGPTを使いながらベストプラクティスを模索してそれを形式知化していくしかありません。ただし使用用途と合致するなら上記の解決策をすぐに実行できる可能性が高いでしょう。

例えばカスタマーサクセスに関する領域では、顧客フィードバック分析を代行してユーザーニーズを返答する「Viable」というサービスがリリースされています。

こういった顧客フィードバックの内容を知りたい場合は用途が限定されているため、入力ガイドを導入するのと同じ効果が得られます。

さらにChatGPTのAPIが3月1日に公開されたため、この様なサービスは今後続々とリリースされることが期待されます。このタイミングで音声認識のWhisperもAPI公開されていますので、Whisperで音声認識を受け付けてChatGPTで返答を返すサービスが誰でも簡単に作れるようになりました。

多くのサービスは特定の業務場面に絞って来ることが考えられるため、自分のニーズと合致したWhisperとChatGPTを組み込んだサービスを使うと、ノウハウがサービスで代替されるので属人性の問題は大きく減ることが予想されます。

結局は個人の「活用力」が重要

今回はChatGPTを分析したモデリング結果から、ChatGPTが筋の良い回答を出してくれるために、質問文を生成するインプット側のノウハウ問題が大きいことがわかりました。

でもこのプロセス構造に注目すると、実はググるのと同じだったりします。

GoogleとChatGPTの違いは求めるアウトプット内容です。Googleなら「検索したい内容の結果」ですし、ChatGPTなら「生成したい内容の結果」になるので、回答するためのプロセスの構造は変わりません。

人によってググることの良し悪しは昔からありました。この構図が変わらないとすると、ChatGPTの活用の良し悪しはおそらくこれからも簡単には無くならないのではないかと思います。

結局はノウハウ問題を全て解決できるわけでないので、代替できるところはAIに任せつつ、それでも人が考えなければならない領域での活用できる力の差が大きくなるのかもしれません。

ここまで読んで頂き、ありがとうございました！

この記事が気に入ったらサポートをしてみませんか？