【映像革命すぎる：解説】chatGPTに方言を学習させて、AIで生成した地方アナウンサーに地方統一選を報道してもらった結果。
どうも瀬戸内サニー株式会社の社長でYouTuberの瀬戸内サニーです。起業家として、クリエータとして、最前線に立ってこのAI時代を迎えられていることに毎日感動しまくっています。
ちなみに、3週間前の地方統一選の前半戦では、chatGPTにギャル語を学習してもらって地方統一選について書いてもらう記事を公開しました。その際に学んだことは、ファクト（一次情報）さえあれば、情報を伝えたい相手に合わせて円滑にコミュニケーションを最適化することができるという仮説的な学びでした。特に自治体などの行政コミュニケーションに役立つと感じています。
では、今週4月23日（日）の地方統一選後半戦に向けて、「chatGPTに方言を学習させて、AIで生成した地方アナウンサーとして地方統一選を報道してもらった結果」という試みをしました。地域は香川県。ステップは以下3つで考えました。それぞれのステップでの試行錯誤したことを書いていきます。
＜検証ステップ1〜3＞
ステップ1：chatGPTに方言を学習してもらう
ステップ2：midjourneyで地方アナウンサーを画像生成する
ステップ3：D-IDで動画生成をしてもらう
ステップ1：chatGPTに方言を学習してもらう
①現状のchatGPTの方言レベルを知る
まず、現状chatGPTの方言レベルを知るために投げかけましたが、普通の標準語で返ってきてしまいました。地方の情報はネット上に少ないので予期していましたが、先が思いやられる、、、笑
サニ：讃岐弁という方言で、香川県の魅力を400文字以内で語ってください。
GPT：讃岐弁で香川県の魅力を語ると、まず「うどん」が思い浮かびます。香川県は「うどん県」とも呼ばれ、特に讃岐うどんは全国的に有名で、ぷりぷりとした食感が特徴。それから、「こんぴらさん」（金刀比羅宮）も観光地として多くの人が訪れます。四国八十八箇所巡りでも有名な場所や、瀬戸内海の美しい風景も魅力的。また、瀬戸内海を見渡せる「栗林公園」も、四季折々の景色が楽しめるスポットです。
さらに、讃岐弁のユニークな言い回しや言葉も魅力。讃岐弁は香川県独特の方言で、暖かみのある響きが特徴であり、地元の人々に愛されています。例えば、「あじ」とは美味しい、「けんちゃん」とは男の子、「ちゃんこ」とは食事、などの言葉がある。
讃岐弁と香川県の魅力は他にもたくさんありますが、400文字以内ではすべてを語り切れません。ぜひ、讃岐弁を話す地元の人々と触れ合い、その魅力を実感してみてください。
次に讃岐弁に関する記事（2021年以前のchatGPTが読み込めるであろうWeb記事）をもとに讃岐弁で書いてもらいました。しかし、大阪弁と京都弁が混じってよくわからない感じになりました（笑）「〜どすな」とか「おおきに！」は香川県民は使わんどw w w
基本的にインターネット上にある讃岐弁コンテンツは単語の解説（例：腹起きた→お腹いっぱい）なので、話し言葉でのコンテンツはほとんどない、そのことがうまく学習してくれない要因かと思いました。
あと大阪弁と京都弁はある程度認識できているということは、都市規模的に1000万弱程度の人口がいてインターネット上で使われてる方言でないと厳しいのかもです。
そのあと試しに「〜やけん」や「けん」の方言を使って香川県を説明してくださいと質問してみても、「〜が多いやけん（正解は『多いけん』）」「望ましいやけん（正解は『望ましいけん』）」と間違った讃岐弁が返ってきてしまいました。
話し言葉から学習してもらうことに💡
そこで改めて方言の構成要素に目を向けたときに、方言を構成する要素は「書き言葉」よりも「話し言葉（アクセントなど）」の方が比重としては大きいのではないかと考え始めました。
人間は基本的に「音（話し言葉）」でそれがどこの方言か、讃岐弁かどうかを認識しているので、語尾をテキストからのアプローチで学習させることが非常に難しい。特に「〜やけん」「けん」など、「〜けん」も2パターン使い方があって、しかもそれに対して規則性があるかどうか分からなかったので。（もしかしたらあるのかもですが）
そこで、まずはchatGPTを提供しているOpenAIがリリースした書き起こしAIツール「Whisper」を使って、方言に関するYouTube動画を2つほど文字起こしして、そちらをもとに方言を学習してもらうことにしました。
ちなみにさらに細かいことを言うと、香川県は西讃、中讃、東讃と分かれていて、中讃と東讃は「〜けん」を使い、西讃は「〜きん」を使います。ただマジョリティーとしては「〜けん」なので、「けん」の語尾を学習してもらうことにしました。
まず、ソースはワイのYouTubeチャンネルの動画含め以下３つです👇（みなさん動画活用させていただきありがとうございます！）
ソース①：讃岐弁でアフレコしたら想像以上に酷かったww
ソース②クセが「がいな」さぬき弁（5分）マイクロシネマコンテスト 佳作！
ソース③【祝成人！】香川県の成人式で突撃インタビューして武勇伝とか聞いた結果www
こちらのYouTube動画の音声を「Whisper」にアップロードして、語尾に関する讃岐弁を抽出しました。精度的には95%以上かと。（Whisperの使い方はAI VTuberのにゃんたさんの解説動画が参考になりすぎます。ソースコードも感謝しかないです、、、。以下が動画中の会話を抽出してくれたデータです👇
やっと準備が整ったので、それぞれ書き出した会話内容から讃岐弁を抽出し学習してもらうことにしました。特に讃岐弁の方言は「語尾（〜やけん）」が重要なので、語尾に絞って学習をしてもらいました。
「〜けん」の前の文章を文脈と関係ないため、無視するようにというルールを加えて返答をしてもらった結果が以下👇 まあまあ成功したかなあと、ここまでが長かった、、、🎉🎉🎉 本当はローカル線のことでんとかでボイスレコーダーで録音したらもっと精度は上がると思うので今後やっていきます。マジでネット上に話し言葉の讃岐弁少なすぎ、、、。
サニ：讃岐弁は「〜けん」という語尾が付くのが特徴です。以下が実際の会話の中で使われている讃岐弁です。以下の「〜けん」の使い方を参考にして、香川県の観光名所を300文字以内で紹介してみてください。ただ、「〜けん」について、前の動詞などの言葉との接続の仕方については、「〜けん」「〜やけん」と変形させてネイティブな讃岐弁になるように心がけてみてください。また以下参考として記載している「〜けん」までの前の文章内容は香川県の観光名所と文脈が関係ないため、無視してください。また讃岐弁ルールを加えます。「〜ある」の後は語尾は「あるけん」になります。
これを手でちぎるんやけど、私力全然ないけん
全然甘いこと開けられんの
やっぱこれ目おっきい見えるけんな
目の縦幅が出るけん
もう3色もうどんどんどんって感じでグラデになるけん
もう私の目見てこれかなり澄んだきれいな目やろ
プチプラコスメやけん
もう自己満足やけんメイクはな
さむきな人って基本あんま人に興味ないけん
まぁちょっとな甘いこと使いたけん
もう目とほっぺとなんかリンクした感じのメイクはすぐできる
讃岐のうどんは何時間経っても伸びんけど
でなんかあんまパウダーリーな パサっとした感じがせんけん
家がそういう調理系やってるけん
これから20歳になったけん頑張っていきたいこととか
食べんといかんけん 楽しめるけん 見れるけん
GPT：香川県に来たら、讃岐うどん食べんといかんけんね。いろいろなうどん屋さんがあるけん、楽しめるで。
金刀比羅宮（こんぴらさん）もおすすめやけん、行ってみたら？絶景が見れるけん、がんばって登ろう。
栗林公園は四季折々の花が楽しめるけん、訪れてみてね。春の桜と秋の紅葉は見逃せんけん。
琴平歌舞伎も香川県の伝統芸能で、珍しい舞台が見れるけん、興味ある人はチェックしてみてな。
直島はアートの島で有名やけん、アート好きは行ってみてね。珍しい作品や建築物があるけん、楽しめるで。
ステップ2：midjourneyで地方アナウンサーを画像生成する
本当は、chatGPTに讃岐弁で地方統一選を語ってもらうだけの記事にしようかと思っていたのですが、もし地方アナウンサーが方言で地方統一選を語ったらどういう感じになるのか実験してみたくて、画像生成AIの「MidJourney」でお次は画像生成をしてくことに。
Discordで画像生成ができるのですが、いろんな人たちが使っているので使い方の勉強にもなります。以下スクショ👇
最初は「an japanese adult weman reporting news as an news caster with smile in tv show」くらいの情報で入れるとこんな感じものものしか出てこかったのですが。
入れる情報の解像度を上げるとこうなりました👇
A beautiful Japanese female TV announcer in 22 years old, wearing a white blouse, with a slightly smiling expression. She has black hair, shoulder-length. The image is high-resolution with good lighting and front lighting. The background features a landscape with a sea closer to light blue than dark blue, an island with sprawling grasslands, and some buildings lined up. She appears to be reporting from that location, standing in the center of the frame, with her head to chest area visible in the photo. The scene has a realistic feel. --ar 16:9
さて、では最後に動画生成AIを使う前に、学んだ讃岐弁をもとに、高松市の地方統一戦について語ってもらいました。
なお、chatGPTは過去のやり取りを忘れていくし、時々フェイクも入ってたりするので指示が長くなってしまいましたが、追加で単語としての讃岐弁（うまげ、しゃんしゃんなど）も取り入れるように情報を追加してみました。
サニ：学習した讃岐弁ルールをもとにあなたは、「です」「ます」の表現ではなく、親近感を持ってもらうために方言を駆使して、高松市民のみなさんに分かりやすく2023年の地方統一選の後半戦にあたる高松市議会選挙を報道する必要があります。その際、今年の高松市議会選挙の争点や政党、立候補者の主張を分かりやすく伝える必要があります。
なお、讃岐弁ルールは以下です。「讃岐弁は「〜けん」という語尾が付くのが特徴です。以下が実際の会話の中で使われている讃岐弁です。以下の「〜けん」の使い方を参考にしてください。ただ、「〜けん」について、前の動詞などの言葉との接続の仕方については、「〜けん」「〜やけん」と変形させてネイティブな讃岐弁になるように心がけてみてください。また以下参考として記載している「〜けん」までの前の文章内容は香川県の観光名所と文脈が関係ないため、無視してください。また讃岐弁ルールを加えます。「〜ある」の後は語尾は「あるけん」になります。
これを手でちぎるんやけど、私力全然ないけん
全然甘いこと開けられんの
やっぱこれ目おっきい見えるけんな
目の縦幅が出るけん
もう3色もうどんどんどんって感じでグラデになるけん
もう私の目見てこれかなり澄んだきれいな目やろ
プチプラコスメやけん
もう自己満足やけんメイクはな
さむきな人って基本あんま人に興味ないけん
まぁちょっとな甘いこと使いたけん
もう目とほっぺとなんかリンクした感じのメイクはすぐできる
讃岐のうどんは何時間経っても伸びんけど
でなんかあんまパウダーリーな
パサっとした感じがせんけん
家がそういう調理系やってるけん
これから20歳になったけん
頑張っていきたいこととか
食べんといかんけん 楽しめるけん 見れるけん」
また讃岐弁の方言を以下にも紹介するので文中にうまく混ぜるようにしてください。
おもっしょいな（意味：面白いね）
しゃんしゃん（意味：早く）
さいあがり（意味：テンションマックスあげあげの状態）
うまげ（意味：調子よく・おいしい・立派な）
では、記事を書く際に、以下5つを意識してください。
1. 各政党や選挙立候補者に対しては中立に報道すること。（自民党、立憲民主党、公明党、共産党、国民民主党、日本維新の会、諸派、無政党）
2. 分かりやすく説明すること。足りない言葉を文脈から保管するようにしてください。
3. 当たり前のことには情報の貴重さはありません。新規性や意外性を大切にしてください。
4. 社会には様々な問題があります。そのなかでも、他でもない高松市にとって、いま、インパクトの大きいと考えられる課題とそれに対する各政党の主張を優先的に記載するようにして下さい。
出てきたアウトプットがこちら👇 結構精度が高くなった気がします。あと「しゃんしゃんアピールしとるけん」とかめっちゃいい（笑）
GPT：2023年の地方統一選の後半戦、高松市議会選挙が始まるけん、みんなに分かりやすく伝えたいことがあるけん。
自民党は地域活性化や観光振興に力入れるけん、高松市の魅力を全国に広めたいと訴えとるけん。立憲民主党は、子育て支援や教育改革に重視し、高松市の子どもたちが育ちやすい環境目指すけん。公明党は、福祉や介護を強化するけん、高齢者や障がい者の生活向上目指しとるけん。おもっしょいな政策や新しいアイデアも期待しとるんやけどな。
共産党は、格差是正や雇用改善を主張し、働く人たちの生活を向上させたいと訴えとるけん。国民民主党は、環境問題や持続可能な地域発展を重視し、高松市の未来を考える政策提案しとるけん。日本維新の会は、行政改革や経済活性化に力入れ、高松市の成長を促すけん。諸派や無政党の立候補者たちも、それぞれの地域や市民の声大切にし、高松市の課題解決する提案しておるけん。各政党、立候補者がしゃんしゃんアピールしとるけん、さいあがりな選挙戦になりそうやけん。
選挙に行って、高松市の未来を決める一票を投じましょうけん。うまげな選択ができるよう、みんなで争点や政党、立候補者の主張をよーく理解しようけん。
ステップ3：D-IDで動画生成をしてもらう
いよいよ、ラストです。動画生成D-IDに先ほど「Midjourney」で生成した画像をもとにアナウンサーが上の情報をリポートしてくれるように設定します。
D-IDのすごいのは画像と原稿を入れれば、それで喋ってくれるようになること。加えて、声の種類も選べれますし、例えば自分の声を入れたいときはボイスレコーダーで録音してD-IDに突っ込めばその音声に合わせて画像が喋ってくれるようになります。
あと日本語バージョンだと少ないのですが、英語とかだと「cheerful（元気な感じ）」とか「custer serive（接客的な）」「sad（悲しい感じ）」と設定を選べることもできます。ここから精度がもっと上がっていくと思います。
それとお次に、Canvaの画像生成機能を使って、動画中のインサートを作成しました。また、Adobe Premiereの自動書き起こし機能を使って動画を最後にブラッシュアップ。
完成した動画がこちらです👇🎉
方言をちょっと効率良く学習してもらう方法があればと思いつつ、まあ初手としては良い感じになったんじゃないかなあと。アクセントには課題があるのですが、そのあたりは今後音声系AIと映像系AIがうまくかみ合わさって、ちゃんと一次情報をまとめられれば改善はされそう。
【まとめ】人間というインターフェイスは薄れるかもしれないが、地方において一次情報の価値が確実に上がる。
今回やっていく中で感じたのが、一次情報の価値が上がるということ。例えば、今回も方言のデータを街中で取った方が絶対に精度が高くなるので、足で稼いでいた新聞記者や番組ディレクター、研究者などの価値が上がる。地域で誰も評価しなかったけど、川や森林などの自然環境で生物や地域文化の研究をしていた人たちの情報価値も上がります。ネットに上がってないので。
あと、正直今の段階でここまで「AIアナウンサー」が機能するとは思っていなかったので、AIのコミュニケーションやリアリティが改善されると人間というインターフェイスの意味が少しずつ薄れていくかもしれないと思いました。（のび太くんがジャイアンやしずかちゃんとコミュケーションしようが、ドラえもんとコミュニケーションしようが変わらなくなる的な）
そうなると、コミュニケーションの部分はAIに仕事を奪われないと思っているかもしれないけど、心象に残らないアナウンサーや誰にでもできるフィジカルが必要ない仕事をやっている人の仕事は無くなる。ブランド人にならないとキツい。自戒も込めて。
ここからは地方の視点なんですが、chatGPTというインターネットの世界を自由自在に泳げる技マシーンを僕たちは手に入れました。ただ、今回愕然としたことが、地方の情報の少なさでした。chatGPTに質問を投げかけても、精度の高い情報が上がってこない。方言なんて尚更。関東弁か関西弁の違いしか分かっていないし、なんなら「方言」という概念自体を理解できているか怪しい。
画像にすると上の感じ。東京の情報は大体ネットで探せばあるのでchatGPTが判断できる領域。だけど地方の情報は圧倒的に少ない。じゃあ頑張ってchatGPTが学習できるようにする必要がある、もしくはその逆の思考も然り。
あと、今回面白かったのが海外のAIを使うと海外から見た日本顔見えるということ。例えば今回画像生成AIの「midjourny」を使ったんですが、最初かなりアニメ系が生成されたこと、また左上なんて「他国のアジアの言語」で生成されてしまっていること。海外から見たら日本人と韓国とか他アジアは一緒みたいな思考がAIから見えてきたのは面白いなあと。
あとどう頑張っても今回のAIアナウンサーが日本人的アナウンサーな画像が生成されませんでした。なぜなら日本人アナウンサーやアイドル自体がドメスティックコンテンツすぎて、おそらくグローバルなAIが見つけられないこと、また韓国人風の顔にどうしても近付いてしまうのが、おそらくK-POPアイドルはグローバルコンテンツなのでAIが検索ができてその影響を受けてることが要因じゃないかなあと感じています。
他にも今回で学んだことが死ぬほどありすぎたんですが、多く人に選挙に興味を持ってもらえればと思って取り組んだ企画なのでこの辺で！
瀬戸内サニー株式会社では、教育機関へのchatGPTを活用したデジタルリテラシー教育を提供しています。また現在資金調達の上、積極的に人材採用を行っておりますので、AI×地方×教育や、メディア＆マーケ情報発信の領域に興味がある方、ぜひお待ちしております。
この記事が気に入ったらサポートをしてみませんか？