【言語の壁を超える：英語の動画・音声編】AIで自動書き起こし→翻訳→対訳形式で出力
AIで書き起こし、それを指定の数の文ごとに翻訳していくプログラムを動かして検証してみました
今回用いたのは、私が現在学んでいる『認知科学コーチング』の太祖、ルー・タイス（Lou tice）の動画です。
だいぶ前に既に故人となっています。
Kirk Gibsonという有名なメジャーリーガーに対し、コーチングを行なったエピソードについて語っています。
結果：動画は2分。処理にかかった時間は全部で3分ほど
ちなみに、動画が長くなれば書き起こしの時間は短くなる印象です。
[
{
"timestamp": "00:00:01",
"original_text": "years ago, there was a person by the name of Gibson, who was a wonderful baseball player. And I think I mentioned to you a little bit in the past about him. He came to us when he's with Detroit, and he was sent here because he was not doing well. He would use sign language to the standard see would be a bad poor behavior, you know, you know, yeah, you know, okay. ",
"translated": "年前、ギブソンという名前の人がいて、素晴らしい野球選手だった。そして、彼のことは昔、少しお話したかと思います。彼はデトロイトにいるときに、調子が悪いからということで、ここに送られてきました。彼は、手話を標準的に使って、悪い悪いと言われるような行動をしていたんですね、ええ、ええ、わかりました。"
},
{
"timestamp": "00:00:27",
"original_text": "And so, one time I understand that not all this is true, but the story was, in celebration, he used a bottle of champagne over somebody just call it in celebration, we just kind of like I mean, he was not a happy person to be around. So he came to Seattle. And I put with him, one of the, one of my close friends who was a very good mentor of God, Damon Runyon character, who was a one on one great coach, Frank Barton Edie. And so what I did is I had frank work with Kurt and then the first time he took him one on one through our video curriculum. ",
"translated": "それで、あるとき、すべてが真実ではないのですが、お祝いのときにシャンパンのボトルを使って、誰かが「お祝いだ」と言ったのですが、私たちはただ、「彼は周りにいるのが幸せな人ではない」と思っていました。それで、彼はシアトルにやってきました。そして、私は彼と一緒に、私の親しい友人の一人で、神のとても良い指導者であったデイモン・ラニヨンのキャラクターで、1対1の素晴らしいコーチであったフランク・バートン・イーディーを連れて行きました。そして、フランク・バートン・イーディにカートと一緒に仕事をしてもらい、最初は私たちのビデオカリキュラムで1対1で指導しました。"
},
{
"timestamp": "00:01:04",
"original_text": "Then he came back again as his career start to rise and he went through our regular curriculum with his wife and then he went back into and kept really using the information went on to be very successful, very successful. And it came back to Frank and he said, Frank, are what can I do to repay you? You know, I made a millions. What can I repay you? ",
"translated": "そして、キャリアが上がってきたときに再び戻ってきて、奥さんと一緒に通常のカリキュラムを受け、また戻って、その情報を本当に使い続けて、大成功を収めました。そして、フランクのところに戻ってきて、彼は言ったんです。「フランク、どうしたら君に恩返しができるかな？私は何百万ドルも稼いだんだ。何を返せばいいんだ？"
},
{
"timestamp": "00:01:29",
"original_text": "And Frank said, I don't want anything. We don't want anything. We don't want money. Except one thing we want. ",
"translated": "そして、フランクは「何もいらない」と言った。私たちは何もいらない。お金もいらない。ただ1つだけ欲しいものがある。"
},
{
"timestamp": "00:01:37",
"original_text": "That I want to teach you how to sign autographs. He said the next time some young person comes to you and wants an autograph, every kid that comes to you, you must write from here forward. You remind me a lot of me when I was your age. See you in the big leagues. ",
"translated": "サインの仕方を教えてあげたい、と。今度、あなたのところにサインを欲しがっている若者が来たら、その子たち全員に、これから先、必ず書いてくださいと。君は、僕が君の年齢のころの僕を思い出させてくれるよ。大リーグで会おう。"
},
{
"timestamp": "00:02:00",
"original_text": "Kirk Gibson ",
"translated": "カーク・ギブソン"
}
]
サインの時に、若者に「君は僕の過去を思い出させてくれる。大リーグで会おう」というのはかっこいいですね。
chatGPTで文章を綺麗に整形した方がより精度はあがるかもしれません。
書き起こし後、翻訳前にGPT-3.5 turboで整形する処理をいれるか検討中
比較
YouTube & Article Summary powered by ChatGPTによる要約
下記のchrone拡張機能を用いてみました。
いまyoutubeの要約ツールでは一番ダウンロードされているものです。
出力結果
Kirk Gibson, a former baseball player, had a troubled past with poor behavior and was sent to Seattle for improvement.
Lou Tice, the speaker in the video, introduced Kirk Gibson to his friend and mentor, Frank Bertinelli, who worked with him through a video curriculum.
As Gibson's career started to rise, he went through the regular curriculum with his wife and continued to use the information to become successful.
Gibson approached Frank to express his gratitude and asked how he could repay him, but Frank only requested that Gibson learn how to sign autographs.
Frank wanted Gibson to remember his own journey and relate to young fans who approach him for autographs, telling them that they remind him of himself when he was their age and would make it to the big leagues.
要約の精度高いと思います！
上記のDeepL翻訳
元野球選手のカーク・ギブソンは、過去に素行不良の問題を抱え、改善のためにシアトルに送られました。
ビデオに登場する講演者ルー・タイスは、カーク・ギブソンを友人であり師匠でもあるフランク・バーティネリに紹介し、ビデオカリキュラムを通して彼と行動を共にすることになりました。
ギブソンのキャリアが上昇し始めると、彼は妻と一緒に通常のカリキュラムをこなし、情報を活用して成功し続けました。
ギブソンは感謝の気持ちを伝えようとフランクに近づき、どうしたら恩返しができるかと尋ねたが、フランクはギブソンにサインの仕方を学ぶように要求しただけだった。
フランクは、ギブソンに自分の歩みを思い出してもらい、サインを求めて近づいてくる若いファンに、「自分たちと同じ年頃の自分を思い出して、大リーグに行くんだ」と共感してもらいたかったのだ。
翻訳では、最後の文章が、ちょっと意図を取り違えているかなと思います。
telling them that they remind him of himself when he was their age and would make it to the big leagues.
they , themが若いファンたち
he, himがギブソン
話すことで、彼らがギブソンに過去の彼らと同じ年齢だった時のことを思い出させ、彼らは大リーグに行こうとなる。
個人的には細かい要約の設定ができないところが、玉に瑕だと思ってます。
私は以下の方も使ってます。併用で良いかと
書き起こし・翻訳・対訳ツールのモニターの募集
この動画を訳してみたい！というのがあったら、ご連絡ください。
動画ファイル、音声ファイル、youtubeのリンクなど、なんでも構いません。
おまけ：カバー画像の生成プロンプト
midjourneyで作成しております。
言語の壁を上り切った時の感動を表現してます。
ちなみに最後の候補は以下の4枚でした。
最終プロンプト
"Emotional View from the Summit": The moment a brave adventurer overcomes the towering stone wall, which symbolizes the language barrier, and stands at the peak is depicted. The various languages engraved on the wall represent the adventurer's mission. From the summit, a beautiful panorama unfolds, where diverse cultures and nature harmonize beyond borders in the new world. The adventurer's face is filled with emotion and joy, emphasizing the anticipation and longing for the world beyond the language barrier. In contrast to the dark tones used for the language wall, the new scenery is portrayed with bright and vivid colors, capturing the viewer's attention. The entire painting is carefully crafted with attention to contrasts in light and shadow and detailed depictions, highlighting the challenges of overcoming the wall and the resulting emotions upon discovering the new world. --s 1000 --ar 1280:670
===日本語===
「頂上からの感動の景色」: 勇敢な冒険家が、言語の壁となる高い石壁を乗り越え、頂上に立つ瞬間を描く。壁に刻まれた世界中の言語の文字が、冒険家の使命を象徴する。頂上から見下ろす新しい世界は、国境を越えた多様な文化や自然が調和し、美しい景色が広がっている。冒険家の顔には感動と喜びが溢れており、言語の壁を越えた世界への期待感と憧れが強調されている。暗い色調で描かれた言語の壁と対照的に、新しい景色は明るく鮮やかな色彩で表現され、視線を引きつける。絵全体は、冒険家が乗り越えた壁の困難さと、それによって得られる新しい世界への感動を強調するために、明暗のコントラストや細部の描写にこだわって描かれている。
作成過程
ChatGPTのGPT-4モデルでやりとりしています。
あなたはクリエイティブディレクターです。 以下の私の表現したいことを、一枚の絵に表してください。 アイディアを5つあげてください。 詳細に言葉で表してください。
==表現したいこと==
AIのおかげで、言語の壁を超えることができている。 英語力が低くても翻訳AIのおかげで、世界中にある英語の文章にアクセスできるようになり、いまは英語の音声にもアクセスできるようになり始めている。 私の能力は拡張され、世界と接することができる範囲も広くなっている。 世界に包摂されているということは、幸 せなことだ。 島国で情報が閉鎖されていることは悲しいことだ。 世界中の人を、テクノロジーの力で、インクルージョンしたい。
====
アイデア1：世界地図を背景に、言語の壁が崩れていく様子を表す。さまざまな国の言語が流れるように、AIのアイコンが各国の言語を英語に変換し、つながりを象徴する橋が現れる。
アイデア2：異なる言語を話す人々が円形に座り、中央に翻訳AIを象徴するオブジェがある。そのオブジェから光線が各人に向かって伸び、言語の壁を超えたコミュニケーションが行われている様子を描く。
アイデア3：イヤホンを付けた人々が、自分の言語で話す様子を描く。彼らの言葉がAIの翻訳機能を通して、英語に変換される過程をビジュアル化し、コミュニケーションが円滑に行われる様子を表現する。
アイデア4：閉じられた島国から解放された人々が、翻訳AIの力で世界とつながる様子を表現する。空から見下ろした地球を背景に、AIが人々と国々をつなぐ光の道を創り出す様子を描く。
アイデア5：テクノロジーが進化し、言語の壁を超える力を与えてくれる様子を描く。手のひらに乗せられた翻訳AIデバイスから、さまざまな言語の文字が飛び出し、それらが空中で英語に変換され、世界各地の人々とつながる様子を表現する。
うーんとなったので方向性を変えました
AIというテクノロジーが私たちを強化し、言語の壁を乗り越えていき、全く新しい景色が見える、という線でアイデアを三つ出してください。 利用するモチーフや、出てくる象徴がどのようなものか、細かく描写してください。
アイデア1：AIが私たちの目となって新しい世界を開拓する様子を描く。人物がAIのゴーグルを装着し、そのレンズを通して、異なる言語の看板や本が英語に変換されている様子を表現する。背景には、さまざまな国の名所や文化が融合した美しい景色が広がり、言語の壁を超えた広がりを感じさせる。
アイデア2：AIが翼となって私たちを空へと導く様子を描く。人物が背中につけたAIの翼で、空に浮かぶさまざまな言語の雲を通り抜けていく。その過程で、言語の雲が英語に変換され、新たな視点からの世界観が現れる。地上には、国境を超えて繋がる人々の姿が描かれる。
アイデア3：AIが鍵となり、未知の扉を開く様子を表現する。人物が手に持ったAIデバイスを使って、異なる言語で書かれた扉に触れると、扉が開き、その向こうに新しい景色が現れる。扉を開くごとに、さまざまな国や文化が繋がり、言語の壁を乗り越えた新たな世界が広がる様子を描く。
まだ曖昧だなあと。
今回は脳にイメージがあったので、明確に指示を出すことに
言語の壁を、物理的な壁と見立て、 AIを上るための道具と見立て、 新しい景色を壁を登って行った先から見える素晴らしい景色と見立て、 アイデアとまとめてください。 また、モチーフを書いてください
アイデア：言語の壁を乗り越え、新しい景色を目指す冒険家を描く。高い石壁に刻まれたさまざまな言語の文字が、言語の壁を象徴する。冒険家が持つAIデバイスを道具として使用し、壁を登っていく様子を表現する。壁の頂上に達した冒険家が、言語の壁を超えて広がる素晴らしい景色を眺める姿を描く。
モチーフ：
言語の壁：高くそびえる石壁に、世界中のさまざまな言語の文字が刻まれている。
AIデバイス：冒険家が持つ翻訳機能を備えた道具。例えば、魔法のように壁の文字を英語に変換し、登りやすい道を作る。
冒険家：壁を登る勇敢な人物。AIデバイスを利用して言語の壁に挑み、新しい世界への扉を開こうとする姿を描く。
素晴らしい景色：言語の壁を超えた先に広がる、国境を越えた美しい景色。多様な文化や自然が調和し、新しい世界の可能性を感じさせる。
登頂の瞬間：冒険家が壁の頂上に達し、言語の壁を乗り越えた新しい景色を目の当たりにする感動的な瞬間。
これらを一枚の絵で表現するために、考えることは何がありますか？
一枚の絵でこれらの要素を効果的に表現するために考慮すべき点は以下の通りです。
構図: 絵の中でどのように要素を配置し、視線を誘導するかを検討します。言語の壁、冒険家、AIデバイス、素晴らしい景色がバランスよく配置されるように工夫します。
色彩: 絵の雰囲気やメッセージを伝えるために、色彩をうまく活用します。言語の壁を暗い色で描き、対照的に新しい景色を鮮やかな色彩で表現することで、言語の壁を超えた世界への期待感を高めます。
光と影: 光の当たり方や影の表現を工夫することで、絵に奥行きや立体感を与えます。例えば、冒険家が登っている言語の壁が影に包まれている一方で、壁を越えた先の景色には明るい光が差し込んでいる様子を描くことで、言語の壁を乗り越える喜びや新しい世界への憧れを表現できます。
細部の描写: 言語の壁に刻まれたさまざまな言語の文字や、冒険家が使用するAIデバイスのデザインなど、細部にこだわることで絵にリアリティを与えます。また、素晴らしい景色には多様な文化や自然が調和している様子を表現することで、言語の壁を越えた世界の魅力を伝えます。
表現の統一感: 絵全体で統一感を持たせることで、視覚的にすっきりとした印象を与えます。描画スタイルや色調など、全体的なデザインを統一することで、絵に一貫性を持たせることができます。
これらの要素を考慮しながら、言語の壁を乗り越える冒険家の物語を効果的に一枚の絵で表現していくことが重要です。
これらを踏まえて、 一枚の絵画を説明するプロンプトを作成してください。
「言語の壁を越える冒険家の挑戦」: 高い石壁に刻まれた世界中の言語の文字が、言語の壁を象徴する。壁を登る勇敢な冒険家は、翻訳機能を持つAIデバイスを活用して壁を上り、未知の世界への扉を開こうとする。冒険家が言語の壁の頂上に達した瞬間、新しい世界の美しい景色が広がり、国境を越えた多様な文化や自然が調和する様子が描かれている。暗い色調で表現された言語の壁と対照的に、新しい景色は明るく鮮やかな色彩で描かれ、言語の壁を越えた世界への期待感が強調されている。絵全体は、冒険家の喜びや新しい世界への憧れを表現するために、明暗のコントラストや細部の描写にこだわって描かれている。
壁を乗り切った、頂上からの景色に感動する場面を描くプロンプトにしてみてください。
「頂上からの感動の景色」: 勇敢な冒険家が、言語の壁となる高い石壁を乗り越え、頂上に立つ瞬間を描く。壁に刻まれた世界中の言語の文字が、冒険家の使命を象徴する。頂上から見下ろす新しい世界は、国境を越えた多様な文化や自然が調和し、美しい景色が広がっている。冒険家の顔には感動と喜びが溢れており、言語の壁を越えた世界への期待感と憧れが強調されている。暗い色調で描かれた言語の壁と対照的に、新しい景色は明るく鮮やかな色彩で表現され、視線を引きつける。絵全体は、冒険家が乗り越えた壁の困難さと、それによって得られる新しい世界への感動を強調するために、明暗のコントラストや細部の描写にこだわって描かれている。
こちらを英語にして、midjourneyに入れました！
今回は、あまり工夫せずにやりましたが、かねがね、いい感じに脳内のイメージに近い絵が表示されたと思います。
いまはイメージに近い画像を検索するのではなく、生成する時代。面白いことばかりです！ぜひ、活用していきましょう！
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？