Gemini 1.5 Proの動画作品理解力が爆上りしていた
一か月半ほど前に、アーリーアクセスのGemini 1.5 Proについてこのような検証記事を書きました
＜検証＞Gemini 1.5 Proの動画理解は何がどうダメなのか
自作のショート映像作品を分析したのですが、この時は内容の理解以前にきちんと機能しておらず、全くもって散々な結果でした
ところが・・・
先週、4月半ばに一般に正式公開され、その後各種LLMのベンチマークリストで平均して上位にとどまっているので「ひょっとして改善しているのでは？」と一か月半ぶりに同じ動画で再度検証したところ、かなり精度の高い理解力を示しました
Googleの威信をかけてきっちりと調整をしてきたようです！
これであれば、AIによる動画レビューを作品創作に活かせる未来もありそうな雰囲気がしてきました
オリジナルショート動画の解釈
＜再チャレンジ＞
＜１＞『ワクワク★ジョブハンターズ』
動画をアップして「分析してくれ」とひとことプロンプトを入れただけですが、一か月半前と同じAIとは思えない高い解像度の返答が生成されました
☟
＜動画分析：ジョブハンターズ「手袋置き師」＞
この動画は、架空の職業紹介番組「ジョブハンターズ」の形式で、「手袋置き師」という仕事を紹介しています。ナビゲーターのキラルと、手袋置き師の佐藤さんとの対話で進行します
【動画の内容】
● 手袋置き師の仕事内容：道端に手袋を置き、人々の注意喚起を促す
● 目的：スマホ操作による手袋の紛失防止
● 手法：冬に多くの人がスマホ操作のために手袋を外してポケットに入れることに着目し、あらかじめ手袋を置いておくことで注意を促す
【動画の構成】
● 導入：キラリが視聴者に語りかけ、手袋置き師の佐藤さんを紹介
● インタビュー：キラリが佐藤さんに手袋置き師の仕事内容や目的を質問
● 解説：佐藤さんが手袋置き師の仕事の詳細や、人々の行動心理について解説
● まとめ：キラリが手袋置き師の仕事の意義を強調し、視聴者に注意喚起
【動画のポイント】
● ユーモア：架空の職業紹介という設定や、キラリのキャラクターがユーモラスな雰囲気を演出
● 意外性：手袋置き師という仕事の存在や、その目的の意外性で視聴者の興味を引く
● 啓発性：楽しく見られるだけでなく、手袋の紛失防止という実用的な情報も提供
【考察】
この動画は、エンターテイメント性と啓発性を兼ね備えた内容となっています。架空の職業紹介という設定がユニークで、視聴者の興味を引くことに成功しています。また、手袋置き師の仕事を通して、スマホ操作による手袋の紛失防止という実用的な情報を提供しており、視聴者の行動変容を促す効果も期待できます
【改善点】
● 手袋置き師の活動範囲や収入源など、より具体的な情報があるとより興味深い内容になる
● 手袋の紛失防止以外にも、手袋置き師の活動が社会にどのような影響を与えているのか、より深く掘り下げると良い
全体として、この動画は面白く、かつ有益な情報が得られる優れたコンテンツだと思います
こちらがなんの説明もしていないにも関わらず、一発で「架空の職業紹介番組」というハイコンテキストなメタ設定を理解している点がかなり秀逸です
これであれば本来の目的である「作品のレビュー」もできるのでは？と、前回Geminiとしたかったやりとりを進めてみました
Q：啓発コンテンツではなくシュールギャグだ
どのように変更すればその側面を増やせるか？
＜シュールギャグとしての強化方法＞
確かに、手袋置き師という仕事自体がシュールな設定なので、啓発コンテンツよりもシュールギャグとしての側面を強めることができますね
【強化方法の提案】
● 手袋の種類にこだわる: 道端に置く手袋を、片方だけだったり、左右違う柄だったり、動物の形をしたものなど、明らかに落とし物ではなさそうなシュールな手袋にする
● 置く場所を工夫する: 道端だけでなく、銅像の頭や、お店の看板の上、自動販売機の取り出し口など、意表を突く場所に置く
● 反応を観察する: 隠しカメラで、手袋を見つけた人の反応を撮影する。困惑したり、不思議がったりする様子を面白おかしく編集する
● 佐藤さんのキャラクターを強調する: 佐藤さんに奇抜な服装や髪型をさせたり、独特な口調で喋らせたりして、シュールな雰囲気を醸し出す
● 謎の組織を匂わせる: 佐藤さんが所属する「手袋置き師協会」などの謎の組織の存在をほのめかし、手袋置きの奥深さを演出する
● 手袋置きの哲学を語る: 佐藤さんが手袋置きの意義や哲学について、真面目な顔で語ることで、シュールさを際立たせる
● 音楽や効果音で演出: シュールな音楽や効果音を使って、動画全体の雰囲気を盛り上げる
【具体的なシーンの例】
● 佐藤さんが真夜中にこっそりと街に出て、手袋を置く様子をホラー映画風に演出する
● 佐藤さんが手袋置き師の大会に出場し、他の手袋置き師と競い合う
● 佐藤さんが手袋置きのノウハウを教えるオンラインサロンを開設する
重要なのは、手袋置き師という設定のシュールさを最大限に活かし、視聴者の予想を超える展開や演出で笑いを誘うことです。
これらの提案を参考に、動画をよりシュールなギャグコンテンツとして昇華させてください！
ChatGPT4 TurboやClaude3では実現不可能な、マルチモーダルLMMならではの返答ができていますね
何気にLLMとしての回答性能もかなり進歩していて、的確なアドバイスを引き出せそうなので、質問を続けてみます
Q：実はこの動画はすべて生成AIで制作した動画なので、演出できる手法は限られてくる面がある
＜生成AI動画の制約を考慮したシュールギャグ強化＞
なるほど、すべて生成AIで制作しているとなると、実写のような自由な演出は難しいですね。しかし、生成AIならではの強みを活かして、シュールギャグとしての魅力を向上させる方法はあります。
【生成AIの強みを活かした強化方法】
● 非現実的なビジュアル: 生成AIで、現実には存在しないような奇抜なデザインの手袋や、非現実的な風景を作り出す。
● 無限のバリエーション: 生成AIで、無数の種類の手袋や置く場所のパターンを生成し、テンポよく見せることでシュールさを増す。
● テキストプロンプトの工夫: 生成AIへのテキストプロンプトを、あえて曖昧にしたり、矛盾した内容にしたりすることで、予測不能なビジュアルを生成し、シュールさを出す。
● AI音声合成の活用: AI音声合成を使って、佐藤さんの声にエフェクトをかけたり、感情を排した無機質な口調にしたりすることで、シュールな雰囲気を演出する。
● メタ的な要素の導入: 生成AIで制作していることを逆手に取り、動画内で生成AIのエラーやバグを表現することで、メタ的な笑いを誘う。
【具体的なシーンの例】
● 佐藤さんが手袋を置くたびに、背景の風景が次々と変化していく。
● 佐藤さんの顔が徐々に手袋に変化していく。
● 手袋が意思を持ち、自分で動き出して街を歩き回る。
● 動画の最後で、画面がフリーズしたり、ノイズが走ったりして、生成AIのバグを表現する。
重要なのは、生成AIの特性を理解し、その制約を逆手に取った演出でシュールさを表現することです。
制約があるからこそ、生まれるアイデアもあるはずです。生成AIの無限の可能性を活かして、シュールギャグとしての魅力を最大限に引き出してください！
ここまで来ると「それぐらいとっくに考えているよ」という内容ではありますが、コンテクストを理解しつつの推論力は、GPTやClaudeと同水準に達している様子です
正直驚きました！
＜２＞ドルフィン・バー
＜動画の解釈: Mr. Krabs とランチェスター戦略＞
この動画は、ゲーム理論とビジネス戦略の面白い例を、Mr. Krabs とじゃんけんという誰もが知っているゲームを使って説明しています
【動画の要点】
● Mr. Krabs のジレンマ: Mr. Krabs はカニなので、じゃんけんでチョキしか出すことができません。そのため、相手がグーを出せば負けてしまいます
● 解決策の提案: バーテンダーのイルカは、Mr. Krabs に「ランチェスター戦略」を提案します。これは、自分の強みを活かして競争に勝つための戦略です
● ランチェスター戦略の適用: Mr. Krabs の場合、チョキしか出せないという弱点を克服するために、相手を水生生物に限定することで、常にパーを出すイルカとじゃんけんをすることができます
【動画から学べること】
● 弱点を強みに変える: 自分の弱点を理解し、それを克服する方法を見つけることが重要です
● 競争相手を選ぶ: すべての競争に勝つ必要はありません。自分の強みを活かせる競争相手を選びましょう
● 戦略的に考える: 目標を達成するためには、戦略的に考えることが重要です
【ビジネスへの応用】
ランチェスター戦略は、ビジネスにおいても有効な戦略です。例えば、小さな企業が大きな企業と競争する場合、ニッチ市場に特化することで、大きな企業と差別化することができます
【まとめ】
この動画は、ユーモアを交えながら、戦略的に考えることの重要性を教えてくれます。Mr. Krabs のように、自分の弱点を理解し、それを克服する方法を見つけることで、競争に勝つことができます
前回のような支離滅裂な解釈違いはないのですが、こちらの、作品については先ほどのような勘の良さが少し足りていません
一言だけ補足してみます
Ｑ：そんな教条的な動画ではない
単なるウィットに富んだジョーク動画だ
その視点で再度全体の流れを解釈しなおしてくれ
＜ウィットに富んだジョーク動画としての解釈＞
確かに、この動画は教訓めいたメッセージというよりは、Mr. Krabs の特殊な状況をネタにしたユーモア動画ですね。では、その視点で解釈し直してみましょう
【笑いのポイント】
● Mr. Krabs のじゃんけんの弱さ: カニであるMr. Krabs がじゃんけんでチョキしか出せないという設定自体が、視聴者にとって滑稽に映ります
● イルカの真面目なアドバイス: バーテンダーのイルカは、Mr. Krabs の悩みに対して、大真面目に「ランチェスター戦略」を提案します。このギャップが笑いを誘います
● 解決策のバカバカしさ: イルカが提案する解決策は、相手を水生生物に限定するという、現実的ではない方法です。このバカバカしさが動画の面白さとなっています
● 最後のオチ: Mr. Krabs が結局飲み代の支払いでじゃんけんを挑もうとする場面は、彼の性格と動画全体の雰囲気を考えると、予想外の展開であり、笑いを誘います
【動画の面白さ】
この動画は、Mr. Krabs のキャラクター性と、じゃんけんというシンプルなゲームを組み合わせることで、シュールでウィットに富んだ笑いを生み出しています。 イルカの真面目なアドバイスと、Mr. Krabs の欲深さが対比され、さらにユーモアが増しています
まとめ:
この動画は、ビジネス戦略の教訓というよりは、Mr. Krabs のユニークな状況を面白おかしく描いたジョーク動画です。イルカの突拍子もないアドバイスや、Mr. Krabs のキャラクター性が、視聴者に笑いを提供しています。
一抹の怪しさを覚えたので、追加で質問します
Ｑ：全体のシナリオの流れを省略せずに整理してくれ
＜動画のシナリオ：詳細バージョン＞
【オープニング】
● 動画は、ネオンの紫色の光で照らされた「Dolphin's Bar」のサインから始まります
● カメラはバーの内部に移り、薄暗い照明の中で、Mr. Krabs がバーカウンターに座り、グラスに入った飲み物を前に考え込んでいます
【Mr. Krabs の悩み】
● Mr. Krabs はバーテンダーのイルカに「マスター、ちょっと聞いてくれよ」と声をかけます
● イルカは「どうしました？」と丁寧に返答します
● Mr. Krabs は「マスターはさ、じゃんけんって知ってる？」と尋ねます。
● イルカは「じゃん…けん…？」と聞き返します
● Mr. Krabs は「そうだよ、グーチョキパーの３つの手の形で勝負を決めるやつだよ」と説明します
● イルカは「そういう勝負の決め方があるのか」と興味を示します
● Mr. Krabs は「そうか、マスターはやったことないか。なぁ…俺さ、じゃんけんに負け続けてるんだよ」と嘆きます
● イルカは「それはお気の毒に…」と同情します
● Mr. Krabs は「だってさ、俺の手はいつもチョキなわけ」と言いながら、自分のハサミを上げます
● イルカは「なるほど、チョキはパーに勝つけど、グーには負けるのか」と理解を示します
● Mr. Krabs は「そうなんだよ！だから、みんな俺がチョキしか出せないって知ってるから、グーばっかり出してくるんだよ！」と悔しがります
【イルカの提案】
● イルカは少し考え込んだ後、「では、じゃんけんをしなくても良い環境を作るのはどうですか？」と提案します
● Mr. Krabs は「え？どういうことだ？」と疑問を持ちます
● イルカは「カニさんは、権力者になれば良いのです。そうすれば、誰もカニさんに勝負を挑もうとはしません」と説明します
● Mr. Krabs は「そんなの時間がかかるよ。俺はいま勝ちたいんだよ！」と訴えます
● イルカは「しかし、着実な努力が大切なのでは？」と諭します
【イルカの解決策】
● Mr. Krabs は「いや、俺はすぐに勝ちたいんだ」と譲りません
● イルカは再び考え「では、カニさんはチョキしか出せないんですよね？」と確認します
● Mr. Krabs は「ああ、そうだ」と答えます
● イルカは「私の手はヒレなので、パーしか出せません」と自分のヒレを見せます
● Mr. Krabs は「おお？」と少し驚きます
● イルカは続けます「つまり、水に住む生き物だけとじゃんけんをすれば良いのです」
● Mr. Krabs は「おおー！なるほど！それなら勝てる！」と喜びます
【エンディング】
● Mr. Krabs は「マスター、ありがとう！いいアドバイスだったよ」と感謝し、席を立ちます
● イルカは「いえ、とんでもない。では、お会計を…」と伝票を差し出します
● Mr. Krabs は伝票を見て「4000円！？そんな飲んでないよ。2000円ぐらいにしようよ」と値切ろうとします
● イルカは「えっと…ご注文には…」と説明を始めようとしますが、Mr. Krabs は「じゃんけんで決めよう！」と提案します
● イルカは「え…？」と困惑した表情で動画は終わります
ほぼ完璧！なのですが「相手のグーをハサミで切り落としてしまってはどうですか？」という、イルカによるブラックジョークの部分が抜け落ちています
このあと「イルカの提案がひとつ抜け落ちている」と何度も気づきを促してみたのですが、リストアップされません
仕方がないので言及します
Ｑ：空手の画像の場面をなぜ無視するの？
＜空手の画像とイルカの提案＞
大変申し訳ございません！私の重大な見落としがありました。空手の画像の場面は、イルカの4つ目の提案を示唆しています
【提案4：反則技を使う】
空手の画像が表示された際に、イルカは以下のように発言しています。
"If you don't mind my saying, why not literally cut your opponent with the scissors?"(よろしければ、ハサミで相手を実際に切るのはどうですか？)
これは、じゃんけんのルールを無視して、ハサミで相手を攻撃するという、反則技の提案です
【なぜこの提案をしたのか？】
イルカは、Mr. Krabs のじゃんけんの悩みを解決するために、あらゆる可能性を模索しています。 冗談めかした提案ではありますが、Mr. Krabs の性格を考えると、実際に反則技を使う可能性もゼロではないと考えたのかもしれません
【Mr. Krabs の反応】
Mr. Krabs は、この提案に対して「いやいや、それは反則だよ」と否定しています。 彼は、不正な手段を使ってまで勝ちたいとは思っていないようです
Ｑ：なぜ反則技の部分をずっと飛ばしていたのだ？
動画の走査方法になにか粗さがあるのか？
＜反則技の提案を見落とした理由と反省＞
ご指摘の通り、私は反則技の提案を繰り返し見落としていました。これには、私の情報処理における以下の問題点が影響しています
1. 思い込み:
私は当初、この動画を「教訓めいたもの」または「純粋なユーモア」のどちらかで解釈しようと試みていました。 そのため、反則技という突飛な提案を、動画の本筋とは関係のない要素として、無意識に無視していた可能性があります
2. ユーモアの理解不足:
反則技の提案は、イルカの冗談として表現されています。 しかし、私はユーモアを適切に理解することができず、その重要性を見落としていました
3. 情報処理の粗さ:
私は、動画の内容を断片的に捉えてしまい、全体的な流れや文脈を考慮できていませんでした。 その結果、重要な要素を見落とすというミスを犯してしまいました
【改善策】
● 先入観を排除する: 動画の内容を客観的に捉え、思い込みに囚われないようにします
● ユーモアの理解を深める: 冗談や皮肉などを適切に理解できるよう、学習を重ねます
● 情報処理能力の向上: 動画の内容を正確に理解し、重要な要素を見落とさないよう、情報処理能力の向上に努めます
重ねてお詫び申し上げます
私のミスにより、ご迷惑をおかけしてしまい大変申し訳ございませんでした。 今後はこのようなことがないよう、より正確な情報提供を心がけてまいります
さすがGoogle、ビジネスにおけるミスのレポートとしてベストな書式で妙に関心しました 笑
それはさておき、理解が難しい「コンテクストが高い感性だけの表現」は無視される傾向があるようなので、これはLLMで文章を扱っている時と同様に注意利用した方がよさそうです
しかし逆に言えば、視聴者にわかりにくい可能性がある独りよがりな表現をチェックする機能だとも言えそうです😱
AIによる作品レビューの可能性
生成AIでコンパクトに完結させるコンテンツ制作環境において、コンテンツのレビュー能力の限界が、アジャイルなコンテンツ開発を回す際の大きなボトルネックだと感じてきましたが、動画への理解力向上によって、いよいよ次のフェイズが見えてきた様子です
今後、他の具体的な活用方法にトライしてみます！