【活動報告】AIいずみちゃんのトライアルを行いました！

AIいずみちゃんのAIマイク部分を実装して、実際の店舗でトライアルを行いました！
↓　AIいずみちゃんについて詳しくはコチラ！

↓　AIいずみちゃんのAIマイク部分のデモ映像はコチラ！

検証したかったこと

実際に店舗において検証したかったことは2つです。

●　開店から閉店まで稼働することは可能か？
　　→エラーで途中で止まったりしないか？
●　お見送り（ありがとうございました）をAIで判定できるのか？

実装で新しく準備したこと

1月末にデモで発表した内容に加えて
モデルを7種類準備し、約300種類のパターンを学習をさせました。
・バックグラウンドノイズ
・ありがとうございました（いずみちゃん）
・ありがとうございました（女性店員）
・ありがとうございました（男性店員）
・あいさつ（いずみちゃん）
・あいさつ（女性店員）
・あいさつ（男性店員）
※あいさつは出口付近でよく発生する「こんばんわ」を中心に学習させた。

Teachable Machineに学習させたモデル（一部抜粋）

準備は万端★ということで、実際に店舗へ設置してチャレンジ！！

検証結果

①お見送りの判定は4時間連続で稼働することができた！

まん延防止期間中だったので、営業時間が17～21時までの4時間だったのですが、連続で稼働して判定をすることができました◎

②判定の精度が低く、違う音声もお見送りで判定してしまった

300のモデルを学習させて準備万端！と思ったのですが、まだまだ足りず、1時間で1000以上お見送りとして判定してしまいました。

原因は
・お客様の店内での会話もお見送りと判定してしまう
・店内のBGMもお見送りとして判定してしまう
ことが考えられます。

③全ての結果をスプレッドシートに記録できなかった

判定結果をIntegromatを経由して転記するのですが、1時間で1000を超える判定をしてしまい、無料枠を超えてしまったため、すべての記録ができなかった。

今後実装していきたいこと

①何を誤判定してしまったか見える化する

スプレッドシートに転記する際に、シンプルにお見送りをした数だけにしてしまったので、何を誤判定してしまったか分からなくなってしまったというのが反省です。
精度を上げていくためにも、どこが失敗したか見えるようにしたいと思います。

②お客様の会話や店内のBGMを拾わない位置に置くなど工夫をする

誤判定の結果はおそらく
・お客様の店内での会話もお見送りと判定してしまう
・店内のBGMもお見送りとして判定してしまう
ことだと思うのですが、そもそも拾わないような位置に置くこともできるはずなので、判定の精度を上げていくのと並行で行いたいです。

③Integromatを使わずにスプレッドシートに転記するコードを書く

まだまだ初心者なので、ノーコードのツールに頼りながらになりました。
結果1000以上で記録ができなくなってしまったのですが、こうしたツールには制限がどうしてもあります。
自分でコードを書ければ、1000以上で記録もできて、何が失敗したのかも見える化できるようになるので、もっと学びを深めていきたいです。

最後に

クラウドファンディングは終了していますが、従業員のおもてなしを向上する飲食DXの取り組みは続けていきます！
引き続き、応援のほど、よろしくお願いいたします！