AWS Transcribe で会議の文字起こしができるのか 試してみた

Amazon Transcribe（音声をテキストに変換する機能を簡単に追加）| AWS

AWS Transcribeのオプションを色々試してみました。

判定する音声はこちら。1分30秒。

A：ここ気になるな〜みたいなとこある方いらっしゃいますか。
B：リスト納品の「リスト」って、こういう形式じゃないんじゃなかったっけ。チェックリストじゃなかったっけ、みたいな指摘なかったっけ
A：あ、それがあったんですけど、あの、エクセル的な形のアイコンを一度入れたら、厚みが他と違って無い…
C：すごいペラッペラになっちゃって〜
（一同笑）
A：その、デザインが合わないんじゃ無いかって話になりまして、こちらの、ちょっと概念的なんですけどチェックリストの方が厚みがあって統一感はあるかなという感じになりました。
B：うん、なるほど。了解した。ふふっ。なんか、この間でた指摘事項みたいなのは、クリアできてんのかな、皆さんの方で。ふろぐんの服に色がついた…
C：…うん。顔だけ色ついてた時よりも、なんか、自然な感じがしますよね。
D：いや、いいと思います。
A：だいぶ、xxxさせました。【聞き取れず】
C：影が線じゃなくて、このね、グレーになったので、すごいなんか、スッキリしましたね。
A：じゃあ、いったん、今回これで、フィックス。

Zoom越しに4人の人間が相談しているのを、iPhoneのボイスメモでぺぺっと録音しました。
1分半の音声を手作業で文字起こしするのに、10分ほどかかりました。


この自然〜な会話の音声を、Transcribeにかけていきます。いざ！

① オプション指定なし

あ ここ 気 に なる な みたい な とこ ある 方 は いらっしゃい ます か リスト の 日 の リスト って こういう 系 好き じゃ ない ん じゃ なかっ た け みたい な チェック リスト じゃ なかっ た け みたい な し て 聞い て なかっ た け あ これ が あっ た ん です けど あの エクセル 的 な 形 の アイコ ン を 一 度 入れ たら 厚み が 他 と 違っ て 凄い テロッ エラー に なっ ちゃっ て 凄い だ から 悲願 の 合わ ない じゃ ない か って 話 に なり まし て こちら の 結構 梅園 的 な です けど じっくり す の 方 が 熱 に なっ て 効率 化 も ある な って いう 形 に なり まし た うん 了解 し た はい なんか この間 出 た 指摘 事項 みたい な の は 首 が でき てる の が 皆さん の こと で 腹部 の 服 に 色 が つい た うん 顔 だけ 色 ついて た 時 より も 何 か 自然 な 感じ が し ます よ ね 色々 やっ て いい と 思い ます 絶対 に さ せ まし た 影 が 先 じゃ なく て この 子 グレー に なっ た の で 凄い な なんか スッキリ し まし た うん はい 今回 これ ピップス

処理時間は1分。
だいたい元の音声ファイルと同じくらいの時間かかるらしいですよ。

だいたい内容わからなくもないけど、細かい単語はあんまり取れてないです。スピーチやニュース原稿みたいなのだと結構綺麗に取れんですけどね〜いろんな人が考えながらとりとめもなく話してるのはなかなか判定が難しいですね

② +話者の識別

話者識別のオプションを指定してみました。

A：あ ここ 気 に なる な みたい な とこ ある 方 は いらっしゃい ます か
B：リスト の 日 の リスト って こういう 系 好き じゃ ない ん じゃ なかっ た け みたい な チェック リスト じゃ なかっ た け みたい な し て 聞い て なかっ
A：た け【話者識別ミス】
A：あ これ が あっ た ん です けど あの エクセル 的 な 形 の アイコ ン を 一 度 入れ たら 厚み が 他 と 違っ て
C：凄い テロッ エラー に なっ ちゃっ て
A：凄い だ から 悲願 の 合わ ない じゃ ない か って 話 に なり まし て こちら の 結構 梅園 的 な です けど じっくり す の 方 が 熱 に なっ て 効率 化 も ある な って いう 形 に なり まし た
B：うん 了解 し た はい なんか この間 出 た 指摘 事項 みたい な の は 首 が でき てる の が 皆さん の こと で 腹部 の 服 に 色 が つい た
C：うん 顔 だけ 色 ついて た 時 より も 何 か 自然 な 感じ が し ます よ ね
C：色々 やっ て いい【4人目の話者識別はできなかった】
A：と 思い ます
A：絶対 に さ せ まし た
C：影 が 先 じゃ なく て この 子 グレー に なっ た の で 凄い な なんか スッキリ し まし た
A：うん はい 今回 これ ピップス

処理時間は2分。
だいたい識別できてましたね！すごい。ただ1回しか発話してない人は上手く分けられなかったみたいです。

③ +話者の識別 +カスタム語彙

カスタム語彙でキャラクター名の「ふろぐん」を指定してみました。

A：あ ここ 気 に なる な みたい な とこ ある 方 は いらっしゃい ます か
A：リスト の【話者識別ミス】
B：日 の リスト って こういう 系 好き じゃ ない ん じゃ なかっ た け みたい な チェック リスト じゃ なかっ た け みたい な し て 聞い て なかっ た
A：け【話者識別ミス】
A：あ これ が あっ た ん です けど あの エクセル 的 な 形 の アイコ ン を 一 度 入れ たら 厚み が 他 と 違っ て
C：凄い テロッ エラー に なっ ちゃっ て
A：凄い だ から 悲願 の 合わ ない じゃ ない か って 話 に なり まし て こちら の 結構 梅園 的 な です けど じっくり す の 方 が 熱 に なっ て 効率 化 も ある な って いう 形 に なり まし た
A：うん 了解 し た はい なんか この間 出 た 指摘 事項【話者識別ミス】
B：みたい な の は 首 が でき てる の が 皆さん の こと で ふろぐん の 服 に 色 が つい た【カスタム語彙判定成功！】
C：ふろぐん【微妙な単語がカスタム語彙に…】
C：顔 だけ 色 ついて た 時 より も 何 か 自然 な 感じ が し ます よ ね
C：ふろぐん だっ たら いい【微妙な単語がカスタム語彙に…】
A：と 思い ます【話者識別ミス】
A：絶対 に さ せ まし た
C：影 が 先 じゃ なく て この 子 グレー に なっ た の で 凄い な なんか スッキリ し まし た
A：うん はい 今回 これ ピップス

処理時間は2分半。

なんと、②と比較して話者判定のミスが増えてしまいました。
そして判定確度が微妙な単語はカスタム語彙に引っ張られるのかふろぐん祭りに。ちょっとまだこれは実用には耐えないかもですね。

結論

複数人での自然な会話はね〜キビシイぜ！もともとの文章がとりとめもないですし！プレゼン発表とか、留守電の録音とかなら全然いけるはずなんすよ、Transcribe君は悪くないんすよ