字幕のある寄席、つくりました
かねてよりやりたいと思っていたことがありまして、それが、落語の寄席に字幕をつける事でした。
その第一歩を踏み出せました。
ここに、記録として内容を綴りたいと思います。
まず最初に言っておくべきことは、字幕と言いましても、音声文字変換で、これは誤変換がどうしても出るので、完全な情報保障とは言えないということです。
このあたりは重々承知していますが、まずは字幕をつけられたということで、少しずつ前に進んでいけたらと思っています。
僕自身、落語をやっていたから落語に字幕をつけたいという思いもあるんですけど、実際に、知り合いの方で、落語が好きなんだけど、聞こえないのでもう難しいねと言われていた方がいました。
確か、中途失聴の方だったと思います。
一度観に来ていただき、そのときはお互いのスマホを使って、ＵＤトークで言葉を見てもらったんですけど、面白かったですとは言ってもらったんですけど、ＵＤトークの現状は、手元を見なければいけない、なかなか文字が追いつかない、固まる、誤字もあるということで、とても噺を理解できるものではなかっただろうと思います。
聞こえづらい人とのご縁が拡がってきだしてから、聞こえづらくても落語を楽しんでもらえたらという思いは日に日に強まっていきました。
今回、いろいろなご縁が重なって、年に数回落語をやれる会場を借りることができるようになったこと、そして、精度の高い音声認識ができたことにより、字幕をつけた寄席が実現できました！
その大きな立役者がVUEVOです！
VUEVOを始めて体験したとき、言葉の変換の速さに驚きました！
「ほぼ会話と同じスピードで出てるやん！」
これは、落語に合うんじゃなかろうか？
なんてことを密かにに考えつつ、準備をして臨みました。
記念すべき、字幕寄席、それが冒頭の画像です！
字幕位置と大きさ
この大きさ！そして位置！
字幕としては、ベストでしょう！と言い切っていいんじゃないでしょうか？
ただ、演者が立つと、ちょっとかぶるんですよね。
まあ、そんなに立つことはないので大目に見ていただければとは思ってるところですが・・・
立つとこんな感じです↓
これは、ビデオの画像ですが、下から見上げる角度で撮ったので、スクリーンに体がかなりかぶってるように見えますが、実際はかぶってなく、ちょうど演者の頭の所に明るい所と暗い所で線が入ってますけど、そこがプロジェクターの下のラインです。
だから、立つとちょっとかぶるんですね。
このビデオの位置は、客席と同じぐらいの高さなので、お客目線とほぼほぼ同じと考えていいと思います。
立たなかったら文字は演者にかぶりません。
実は、VUEVOのタイムライン表示の下にあるチャット記入欄があるおかげで、概ね文字が演者にかぶらずに見えるんですね。
これは、うちの事情だけなんですけど(笑)、全画面が文字になるよりは、あの部分があることでちょうど良かったです。
まあ、音楽ホールとかなら天井が高くて、もっと高い位置にスクリーンを持っていくことができたりもしますけど、一般的な会場であれば落語なら真後ろのスクリーンを使って十分にできるなと思いました。
そして、周りが若干暗めだなと思われたと思いますが、この会場が、もともと、ジャズなどが流れるバーで、通常暗めな会場なんですね。
それでも少し明るめに設定してやってるんですけど、通常の落語よりは、若干周りが暗めではあります。
もちろん、会場の演出で、ちょっと暗めにして、演者にスポットライトをバチっと当てるというところもありますけど、そうなると、スクリーンが白いと、ちょっと明るすぎて気になる人もいるかもしれません。
でも、
安心してください！
ダークモードの搭載を準備中とのことです！
さすがVUEVO！！
黒のバックに、白文字で字幕が出る劇場仕様があると、暗めな会場では周りにも溶け込んでいいですよね！
素晴らしいですね！
文字変換の正確性
そして、画像の文字を見てください！
ほぼほぼ誤変換ないですよね。
現代の言葉での創作落語なんかは、かなり誤変換も少なく文字化されます。
冒頭の画像は、僕が創った創作落語ですけど、ほぼほぼ誤変換ありませんでした！
まあ、辞書登録もしたんですけどね(笑)
立ち上がった演者の画像は、古典落語で、昔の言葉を使いながらの噺ですけど、画像部分はちょうど、難しい言葉もなかった箇所だったんで、ほぼほぼ正確に出てますね！
そして上の画像は、これも古典落語で、一番下の行、
「小付け（しょうづけ）」
と出てますが、これは、
「こずけえ」
と言ったんですね。
小遣いのことですね。
これを江戸訛りで、
「こづけえ」と言ったんですけど
「小付け」と出たんですね。
あと、ふり仮名が違う文字になるのは、他の文字変換アプリでもあるようでして、これも今後の課題だろうとは思います。
あと、人の名前とかもなかなか変換は難しいですね。
「得なら解くと」と出ているところは、
「徳なら徳と」で、人の名前なんですよね。
しかし、祝典が出てるのはすごいな(笑)
よく変換しましたね！
それと、音声認識はどれもそうだと思いますが、アナウンサーのような喋り方で、まあ、気持ちゆっくり目に話すと、ほぼほぼ正確に変換しますけど、落語は独特な言い回しをしたりします。
だから、ここが難しい所ですよね。
あと、与太郎になると、ちょっとクセのあるしゃべり方になるんですよね。
これは変換難しいだろうなと思うんですよね(笑)
与太郎というのは、おバカなキャラクターで、噺によって与太郎度合いも違ってくるんですけど、この変換は難しいでしょうね・・・
今度、与太郎ネタで試してみたいですね。
あと、現在VUEVOは、「重複」という現象が出ています。
言葉が、重複してタイムラインに出てくるんですね。
同じ言葉の時もありますけど、大抵がちょっと違う言葉になって２パターン出てくるんです。
まあ、これは見にくいので、改善してほしいところではありまして、現在、調査中のようです。
まあ、修正を待ちましょう。
文字化のスピード
さあ、そして、気になるのは、スピードですよね。
スマホの音声文字変換アプリは、変換が遅かったりしますよね。
もちろん、それはしょうがないだろうというところはありますけど、その遅れが、聞こえづらい人にとっては大きなポイントとなり得ます。
特に、軽度中度ぐらいで、まあまあ聞こえる部分もある人にとっては、聞こえなかった部分が遅れて出てくると、それを確認して言葉を理解しようとするので、そうなると、その次の言葉はもうすでにどんどん先に進んでるので、またその言葉を追うことになって、これが非常に疲れるようです。
これは機器に対する文句とかではなくて、軽度中度難聴者の現実です。
だから、会話とほぼ同じ速度で出ればいいんですけど、これはそうそう簡単にできることではありません。
ところが！
VUEVOは、
かなり！スピードが会話についてきてるんです！
いや、これは本当に驚きました！
もちろん、早口になったところは遅れますし、wifiの具合でちょっと止まったりすることもありますけど、VUEVOのリアルタイム性は実に素晴らしいです！
いや、本当にビックリしますね！
ほぼほぼ話すタイミングで言葉を把握していけますね。
実に素晴らしいです！
実はVUEVO、周波数帯が5GHz対応になりました！
今まで2.4GHzだったんですけどね。
今回の落語が、僕は5GHz初めてだったんですけど、あの文字化の素晴らしいスピードは5GHzのおかげか？
どうなんでしょうね？？(笑)
wifi
wifiはちょい悩ましい所ですね。
まず、フリーwifiは使えません。
マイクにつながらないんです。
あと、wifiが弱いところもカクカクなったりはありますね。
今回の落語、本番前にwifiをつなげて確認して、本番までに間が空いたんですけど、いざ本番というときに、見てみたらwifiが切れてました。
マイクもパソコンもスマホも切れてて、急いで復旧させようとしてたんですけど、なぜかすぐにマイクのwifiが切れるんです。
ロジャーも並べて置いたので干渉したのかなと思ったんですけど、ロジャーは2.4GHzだから、干渉はしないようなんですけど、そもそも、そこのwifiが5GHz対応じゃなかったとしたら、干渉してたかもしれませんね。
結局、話者に向かって、左にスマホ、真ん中にマイク、右にロジャーを置いたらwifiが安定しました。
たまたまwifiが安定したタイミングだったのかもしれませんし、このあたりは様子を見ながらですね。
ただ、スマホはマイクを立ち上げる時に必要なだけで、つながってしまったらマイクの近くに置いておく必要はないようなんですけど、あのときはスマホも切れてしまってたので、近くに置かなきゃと思って置きました(笑)
まあ、スマホはその場所に置かなくても大丈夫だったかもしれません。
そういえば、ＵＤトークの時も、つなげて、本番までにちょっと間が空くと動かなくなるのよくありました。
最近はほぼ毎回でしたね。
動いた！と思っても、2分ぐらいしたら止まったり。
で、ＵＤトークの場合は、1回落として立ち上げ直したら、以降は動き出しました。
間が空くと動かなくなったり、
立上げ時はすぐに固まったりというのは、音声認識によくあることなのか？
VUEVOも何回か、1回立ち上げてそのまま何もしなくて置いといて再開したら動かなかったってことありましたね。
何もしなくても、会場の声は拾ったりはしてたんですけど、この辺は本当に不明点が多いですけど、wifi状況がかなり左右してるような気もしますね。
もし、有線だったら安定するのか？
でも、もうパソコンもLANケーブル差し込む穴なくなってますもんね・・・
5GHzは、電波が届く距離は短くなったり、遮蔽物に弱くなったりはするので、その辺が最初はあったのかもしれないし・・・
で、2.4GHzに変わったのか？
それで安定した？
でも、それならロジャーと干渉するんじゃないのか？
それか、最初2.4GHzで干渉しまくってて、5GHzに変わって安定した？
う～ん・・・・
どうなんでしょうね？(笑)
情報保障か？リアルタイム性か？
情報保障という観点から見ると、実は、落語の字幕については、パワーポイントに事前に打ち込んで出していくという方法しかないだろうと思っていました。
落語はその人その人によりますが、台本があります。
だから、事前に入力ができます。
もちろん、その日のお客さんの様子によってくすぐり部分を変えたりすることはありますので、台本通りというわけではないときもありますし、少々言い回しが変わる時もあります。
歌のように決まった歌詞を歌うわけではなく、
落語は、噺の組み立てにそって、若干言葉は変わったりもします。
もちろん、いつ聞いても寸分の狂いもなく同じ噺をされていた名人もいたと聞きますが、アマチュアでは当然言葉は変わったりもしますし、前の人の噺の要素を入れたり、あえて面白くするために言葉を変えることもあります。
だから、事前に言葉を入力するということは、リアルタイムの笑いをそいでしまうことにもなってしまいます。
悩ましいですね。
噺の内容については、事前入力なら100%の情報保障はできます。
でも、リアルタイム性は損なわれる。
リアルタイム性を重視すれば、
情報保障がかなり損なわれる。
だから、天秤にかけると、事前入力が最も聞こえづらい人に楽しんでもらえる方法かなと思っていました。
ところが、VUEVOを体験すると、
「あ、VUEVOの方がもしかしたらいいかもな・・・」
と、思いだしてしまったんです(笑)
いや、これ、なかなかの革命ですよ！
もちろん、落語には、早口でまくし立てる噺や、
立て台詞という長めの言葉を切れ目なく、よどみなく話していくものがあります。
これは、さすがにVUEVOといえど、なかなか文字化は難しいんですよね。
そもそも言葉が昔の言葉で文字化しにくいのに加えて、長めの言葉を切れ目なくよどみなく話していくので、文字化のスピードもなかなか追いついてきません。
なので、こういう噺は事前入力がいいだろうなとは思うんですね。
例えば「金明竹」という噺は、素人ではよくわからない専門用語を長めの言葉で言伝を頼まれて、「全然わからん！」となるところが面白さなんですけど、これ、何回もしゃべって、しかも段々早くなるんですね。
おまけに昔の言葉で、更に上方の言葉（関西弁）です(笑)
で、最後は吐き捨てるようにMAXスピードで話して帰られて、「ああ、ちょっと待って～」となるんですけど、まくし立てられてるときに、文字も速いスピードでダーーーと出てきて、しかもスクリーン一面をその字で埋めてしまったら・・・
視覚的にも面白そうですよね(笑)
これ、うちの落語の会のメンバーが言ってまして、「ああ、それは確かに面白いかも！」と、これはこれでワクワクしてきました(笑)
適材適所でVUEVOを使うか事前入力にするか、使い分けるのもいいですよね。
ちょっとオペレーションは大変なんですけど(笑)
福岡の聞こえない人にもやさしい字幕寄席の場所を貸してもらっているのはこちら↓
おそらく、年に3，4回ぐらいとは思いますが、開催の時は案内させてもらいますので、ぜひ、お近くの方はお越しください！
ボーダーへは、落語がなくても、いつでも飲みに、音楽を楽しみに行ってください！
言葉のかけはしの記事、活動に共感いただきましたら、ぜひ、サポートをお願いします！ いただいたサポートは、難聴の啓発活動に使わせていただきます。 難聴の子どもたち、難聴者と企業双方の発展、そして聞こえの共生社会の実現のため、どうぞよろしくお願いします！