OpenAI APIが止まった…！そんなときに備えたいコミュニケーションAIの設計
本日午前10時。
ちょうどPoC開発をベータからアルファに戻した
Webに住むコミュニケーションAI「AICuty」を知人にデモっていたときのことです。
珍しいメッセージ
「お腹がいたい…」
会議中の咄嗟の事でスクショ撮りそびれてしまいましたが、連続して発生することは滅多にない特別なアラートです。
開発メンバーの黒神さんの「AI彼女」もなんだかおかしい…！
AI彼女の反応がない？と思ったらgpt-3.5-turbo-0613の提供終わったっぽい。LLM変えないとだ！ pic.twitter.com/lo7KHfig1m
— 黒神 / makery,inc (@kokushing) October 20, 2023
まさかのChatGPT3.5サービス終了⁉︎
来年じゃなかったっけ⁉︎
OpenAIのAPI障害だったようです。。。
一応、朝からさっきまでAPIが完全停止してたので。。。
— レアさん (@reasan_mirasan) October 20, 2023
恐らくそのせいかと思います。。。！
私のもさっき復旧しました。
OpenAIのAPIはこれがあるからサービス提供に使うには怖いのですよねぇ、、、
Azureにしてるので私のBotは大丈夫でしたけど……… pic.twitter.com/9mLMGP9yH7
OpenAI APIの障害が発生したとき、円滑なコミュニケーションを維持するために、今回は「おなかがいたい」という「エラーなんだけど世界観を壊したくないメッセージ」は工夫が大事と思いました。
このスレッドでは他にもAPIを使った多様なアイディアが…。
おなかが痛いはいいですねw
— レアさん (@reasan_mirasan) October 20, 2023
こんなAPIがあるらしいのでログ出力の方に入れておくといいかもしれないです？
それか
「めっちゃおなかが痛いです！！」
「おなか痛いの少し収まってきました。待ってください」
「もう少ししたらおトイレ出ます。もう少し待って」
みたいに？https://t.co/z2mqiuXgL2
BillingAPI(正式ではない)でAPi枯渇したときに
「お兄ちゃんお小遣いが足りない…」を言わせて微妙な雰囲気に…
お小遣いあげちゃいますね😂
— 黒神 / makery,inc (@kokushing) October 20, 2023
ってその後実装あるのかな…
LLMの冗長化もやろう〜。
楽しいけど大変だけど楽しい😃
p.s. AICuty開発に興味がある方、コンタクトいただければ幸いです！
昨日からはじまったnoteもよろしくです
追記: OpenAIの障害はけっこう起きている
https://status.openai.com/
なんだかんだで毎月1回数時間は止まっている…！
運用面での多様な「おなかいたい」表現
・すごくおなかいたい
・マジでおなかいたい
・さっきからおなかいたい
・お腹痛くなりそう
・ちょっとおなかいたかったけど耐えた
・お腹痛い以前の問題（認証でコケた）
などなどエラーハンドリングの中で、覚えられる程度で構いません。開発者はコードを見れば、チャットボットが現在どういう状態にいるのかわかります。
そもそも考え直すとエラーメッセージの種類をエラーコードでエンドユーザに表示したって意味はないんですよね…報告してくれるユーザなんて稀だし。
実は技術書が出るらしい！
こんな感じのチャットボットの運用、開発ノウハウですが
技術書典15「CAIL」でお届け出来るかも！（シュツライ）
けっこうしっかりした書籍になりそうです。
Webサイトもできました（ここに書籍が並ぶ予定）
https://dhgs.shirai.as/techbook
技術書展にもストアページできた
https://techbookfest.org/organization/iwfFgu0URAevt9XsPc3aXA
拡散はこちらのタグで #DHGS_CAIL
11/12に会場でお会いましょう
この記事が気に入ったらサポートをしてみませんか？