ちょっと待って、そのGPT大丈夫？
石井と申します！最近ChatGPTにテキーラを飲ませて酩酊状態との回答比較という実験をしようとしましたが、一杯も飲んでくれず撃沈を経験しました。
便利なGPTサービスですが、きちんとリスクを押さえた上で上手に付き合いたいですね。本日はそんなGPT関連の考察記事になります。
ChatGPTはじめとするGPTサービス流行ってますね。
流行ってますねー。特に対話型・不定形なシーン(下記のように)で大活躍です。
Google先生の代わりみたいに使ってみたり
ちょっとした文書作ってくれたり
レビューしてもらっちゃったり
実証実験も進んでいて、すでにサービスに組み込み始めたなんて話もちらほら。
攻めてますね！いいですね！ただシステムやサービスを担保するITスペシャリストとしては、やはり気になることがあるんです。それが今回の主題。
我々ITスペシャリストはこう考える
GPT機能をどう使おうかなどはあちこちで議論されているため、この記事ではそれらを実現する方法を考えたいと思います。
GPT機能をサービスに組み込むとしたときに、避けて通れないのがこれらを仕様として言語化することです。
GPTは広義にはあくまで確率と統計に基づくものでありまして、非常に柔和な機能を実現し素晴らしい体験を創造します。
が、一方でアウトプットが「柔和」であるが故に仕様・品質を定めるのが非常に難しいです。
例えば、赤い果物はなんですか？という問いに対する従来のサービスとGPTを組み込んだサービスの違いを見てみますと…。
前者は100回中100回同じ答え(例えばりんご)が返ってきます。一方後者については、最初はりんごと回答していても学習状況によって「さくらんぼ」や「いちご」が回答される可能性だってあるわけです。
仮に「いちご」がビジネス的にクリティカルな誤りであったときに(誤解なきよう私はいちごが大好きです。中でも「やよいひめ」という品種が好きです。)、「GPTとはそういう技術」という説明で通じえないシーンは容易に想像できるし、また「やわらか機能」としてコントロールしないと整理したとて、発生しうるリスクは認識しておかねばなりません。
こんな構成どうでしょ！
そんなこんな考察しているうちに一つの結論に至ったので紹介します(ひとまず図をご覧あれ)。緑のサイクルを繰り返すことでグロースするイメージです。
＜図の補足＞
人の神経画像が当たっているのがGPT機能をもつサービス
緑の矢印で表現されたサイクルを回すことでサービスをグロースする
特に(ゴール状態として)指標を設定するのがミソ
この設計の肝としては、ユーザー指標(NPS, CES)を使ってユーザーストーリーや品質を表現します。もっと砕けた言い方をすると、多少イレギュラーな回答を返してきても大部分のユーザーが満足しているんだから問題なし、こんな整理の仕方です。
こう考えた理由はいくつかありまして。
①GPT機能を利用すると、いわゆるインプット-アウトプットの対応が成り立ちにくくなるので、品質を維持するにはどうしても人的チェックに頼らざるを得ない
②が、内部リソースを使ったチェックはコストの観点からあまりウェイトをかけたくない
これらの問題に対して、どうするか。
結論として、多少イレギュラーな反応をGPTサービスが返却しても大筋としてユーザー体験が向上していれば問題ないという思考の流れです。
また、ユーザー指標を取得するためにはユーザーアンケートを取る必要がありますが、これはGPT機能が得意とする分野なので、この部分もGPT機能を組み込んでしまえそうです。GPTサービスと親和性がより高くなりますね！
その他こういうことも考えねば…!!
私の経験から基づくと、ブラッシュアップするためには他にも下記のようなことも注意点です。設計ってワクワクしますね！
GPT機能で生成した文書の著作権について
たとえノイズレベルでも立ち入っちゃいけない(法的にNGだったり)領域に手を出したら！？
この記事が気に入ったらサポートをしてみませんか？