ブログ記事プロモーション動画各種生成AIの比較 2024夏 Invideo Lumen5 NoLang Pictory
本記事は, 動画内に字幕, セリフ, 音楽, 音声などを含むいわゆる, 解説動画, プロモーション動画を生成するAIツールの使用感の比較を行います。題材としてブログ記事を動画化し比較検証してみたいと思います。
0. はじめに
2024年は動画生成AIの年と言われています。現時点で良く使われているソフトはRunway, Dream Machineなどで, 安定して生成できるのはいわゆるショートムービーより短い 4-5秒となっています。
下のgif動画はHaper AIという動画生成AIで『スキューバーダイビングする猫』とだけ指示し生成して作成したものです。
一方, 下の花火動画はMidjourneyで画像生成したものを, Runwayという動画生成AIで作成した4秒の動画です。現在の動画生成AIのメジャーな使い方ではないでしょうか。
本記事で注目している動画はこれまでの動画と全くタイプが異なり, 比較的長い動画の部類です。例えばNoLangで作成される動画は『リアルタイム解説動画』と言われており, 従来の動画と異なる点は・解説を目的・比較的長い (1分以上) ・音声ナレーション, BGM, 字幕がついている事です。
本記事では以前に作成した自分のnote記事を動画生成AIで解説動画に変換しました。
近日公開予定のnote記事 『Soraが描く動画の世界』の紹介映像を NoLang で作成しました。直近 (2024/5/13) ?のアップデートで自分好みの画像, ナレーション文が可能となり, 『めちゃくちゃ』使いやすくなっています。 https://t.co/RPvPKyNwir pic.twitter.com/DWWslN9SAa
— プチpony (@pony_pon471) May 14, 2024
その背景には現代の『ショート化現象』にあります。2時間の映画を7分に要点のみをまとめたfast movieが以前流行しました。最近はさらに7分すら長いと感じる人が多い理由からか, 数十秒-1分のショートムービーが主流になりつつあります。
note記事自体を動画化するメリットはどれくらいあるかは不明ですが以下にまとめられます。
・どれだけ長い記事でも1分で全体像をつかめる。
・音声, 字幕, BGM, 背景動画 (画像) など全く異なるメディア (ある種のエンターテインメント) に変身する。
・以上の点から宣伝効果があるかもしれない。
1. 作成方法
大きく分けて3種類位方法があると思います。
① ブログ記事をそのまま渡す。
② AIを用いて短めの文章に要約して渡す。
③ AIを用いて台本, ナレーションをある程度作成する。
AIの進化はものすごくいずれ① (何も考えず全自動で作ってくれる) のみになると思われます。
① blog記事をそのまま渡す
blog記事のurlまたは, テキストファイル, pdfファイルに変換したものを解説動画生成AIに渡します。操作が簡便 (速くて容易に操作できる) ですが, 記事が長いと正しく出力されない可能性があることがデメリットです。
② AIを用いて短めの文章に要約して渡す。
最も一般的な使い方と思います。ChatGPTなどのAIで要約してから解説動画生成AIに渡します。注意すべき点としてChatGPT, (GPTs含む) は長文の処理 (特に1万文字を超えると) が苦手です。15000文字のblog記事を600文字に要約するように依頼すると, 一見, それらしい文章が出力されます。
しかし, 全体文章を実際に参照して作成した文章ではなく, 目次や文章の一部を要約した内容になっており, プロモーション用としては質が低いです。
おすすめはClaude3.5 (Sonnet) です。長文に対応している事, 自然な日本語であるという点でプロモーションには最適と考えます。
③ AIを用いて台本, ナレーションをある程度作成する
今回の記事の最大の発見は解説動画AIに文章の素材を『渡す段階』でプロモーションを意識した文章構成にすることで動画の質が上がる可能性があるということです。
DALLE prompt (↑の画像生成時): Packaging design for the 'note Promotion Summary Bot' model kit, featuring a super-deformed (SD) cartoonish robot designed to assist with summarizing long articles for promotional videos. The robot is shown in the act of writing or summarizing articles, sitting at a desk with digital documents, a computer, and advanced technology gadgets around it. The background theme evokes the vastness of sci-fi space, enhancing its allure to enthusiasts of futuristic and interstellar exploration. The package showcases the high-performance SD humanoid robot alongside its unassembled runners and a detailed instruction manual displayed outside the packaging. The runners, carrying parts for the 'note Promotion Summary Bot', accentuate the robot's complex design and its potential to manipulate space. The instruction manual, styled in a contemporary design, offers explicit, step-by-step guidance for assembling this cutting-edge piece of technology. The packaging's backdrop, infused with a sci-fi space theme, stimulates the imagination, conjuring images of limitless cosmic voyages enabled by the 'note Promotion Summary Bot'.note記事をプロモーション動画のナレーションを作りやすいように1500文字程度に要約するプロンプト (note プロモーション要約君) は以下の通りです。
noteプロモーション要約君 (Claude用おそらくChatGPTでも使えます)
以下の指示に従って, 長文の技術解説記事を1500字程度に要約してください：
記事の全体構造を把握し, 主要な章立てや節を維持してください。
各セクションの核心的なポイントを簡潔に抽出してください。
記事で言及されている具体的な技術や手法の名称を含めてください。
著者独自の分析や見解を重視し, 一般的な情報よりも優先してください。
記事で使用されている重要な専門用語を適切に含めてください。
技術の長所と短所, 可能性と限界をバランスよく要約してください。
記事で挙げられている具体的な応用例や事例を簡潔に含めてください。
導入部分で記事の概要を, 結論部分で著者の主張や展望を要約してください。
記事の独自性や革新性を強調する表現を使用してください。
要約の中で, 元の記事の論理的な流れを維持してください。
重要な数値データや統計情報があれば, 選んで含めてください。
特に効果的な比喩や例え話があれば, 要約に含めてください。
各段落が論理的につながるよう, 適切な接続詞や転換語を使用してください。
記事の長さに関わらず, 最も重要な情報を優先的に含めてください。
要約の長さは1500字程度を目安としますが, 記事の複雑さに応じて調整してください。
出力したら何文字か下に表示してください。
この指示に従って, 記事の本質を捉えた要約を作成してください。この要約は, 後続のナレーション作成の基礎となることを念頭に置いてください。NoLangでプロモーション作成を予定している方は1500文字ではなく600文字 (NoLangの推奨文字数) に要約が良いかもしれません。このプロンプトで出てきた文章は以下の通りです。
自分がnote記事で言いたかったことを過不足なく1500文字に要約されていました。また記事の魅力を適切にアピールしているような気がします。
※ このプロンプトは人間が良いと考える (感じる), 文章 (ナレーション), と悪い文章のサンプルをAIに渡して作成しました。 この手法は型が決まった (定型文) の文章生成プロンプト作成に有効ではないかと個人的に考えています。興味があれば以下の記事を参考にしてください。
①-③ 異なる作成方法で作成した動画を評価
文字数の異なる (約5000, 15000, 90000文字), 3つの記事でそれぞれ①-③の方法でプロモーションを生成しました。使用AIは©NoLangです。
主観的な結果としてはいずれの記事でも①<②≦③ で前述の要約君を使った素材を用いた動画が質が高いと感じました。特に長文をそのまま①AIに変換させると, 事実と異なる文章を出力したり, 全体的に質が低かったです。特に③ではナレーションの表現がカッコいいと感じました。
続いて客観的な評価を行いました。できた動画からナレーション字幕をテキストファイルとして抽出しAI (ChatGPTなど) に評価してもらいました。 抽出に使用したAIはNottaです。
Nottaで動画ファイルからナレーション部分の文字を抽出しました。ところどころ誤字があるので手動で訂正します。
GPTにナレーションの文章 (text file, pdf fileなどで) を渡して100点満点で評価してもらいました。質問は単純に文章の質として, ナレーション文章の質としての二通りの評価をお願いしました。
これらの文章を100点満点で評価してください。
記事の質としてまた, ナレーションの質として評価してください。
すべてのpdfを渡しました。さらに見やすいように表形式にしてもらいました。
全てのナレーションを評価してください。
結果を手動で表にしてください。
(= Advanced Data Analysis Tool を使わず)
主観評価と同様に①<②<③ の順にハイクオリティと評価されました。さらに文章そのものの質がナレーションの質と関連ありそうな結果となっています。
主観では②≦③と ② 要約のみで十分と感じましたが AIによる評価は③の方が高品質とのことでした。
さらに興味深いことに動画変換前の元文章の文章自体の質, ナレーションとしての質がそのまま変換後の質とほぼ同様の結果になっています。
結論
1. 変換前の文章の質が最終的なナレーションの質を大きく左右する:
元の文章の構造, 内容, 表現力が変換後や要約後の評価にも強く反映されるため, 高品質なナレーションを作成するには, まず元の文章の質を高めることが重要である。※ブログ記事そのものの質という意味ではなく, 変換直前
2. 要約の重要性:
要約は冗長な情報を削除し, 核心的な内容を凝縮することでナレーションの質を高めている。長文からの要約でも高評価を得ており, 適切な要約技術が情報の圧縮と質の向上に貢献している。
3. ナレーションに最適化したプロンプトの効果:
ナレーション向けに最適化されたプロンプトは, 構造, リズム, 表現を導き出し, 質の向上に寄与している。
4. 元の記事の長さの影響:
元の記事の長さは結果に影響しなかった。5000-90000文字の記事を用いたが, 大きな差は無かった。
まとめ
・一般使用, たとえば長文の記事を手っ取り早く読みたい, エンタメとして楽しみたい人は①記事をそのまま動画変換
・企業などのプロモーション, 今回のようなblog記事の宣伝に使うハイクオリティ動画を作る人は②≦③ ある程度プロモーションに適した素材に要約してから動画変換
2. 動画生成ツールの比較
2.1 Invideo AI ★★☆
Google連携で使用できます。操作法はシンプルでプロンプトを貼り付け Generate a video (動画生成) を押すだけです。
② 要約 1500文字 しただけの文章を渡します。
ターゲット層, Platformなど選ぶ項目です。対象はクリエイター, Youtube動画としてみます。
生成までに2-3分かかりました。ちょっと長めかもしれません。
無料userでは字幕が入らないみたいです。👑冠マークが課金userの選べるオプションです。
日本語ナレーションの音声はアクセントが独特で違和感がありました。また内容も若干違和感がありました。ChatGPTのナレーション評価は70点でした。
英語で作成してみるとなぜか, 5分の長めのムービーとなりました。背景の動画のクオリティが高く, このままでYouTubeの解説動画などに使えそう, ていうかすでに使用している人もいるかもしれません。
無料では1週間に10分まで使用可能, 4回ダウンロードとのことです。将来性を期待して★★☆とさせていただきます。
2.2 Lumen5 ★★☆
Google連携などはないみたいで, 名前やメールアドレスの入力が求められます。
AI Voiceover AIによる音声読み上げを選びます。
同様に② 要約 1500文字 しただけの文章を渡します。下の画面のように URLやpdfからインポート, テキストのコピペなど選べます。
無料版ではいろいろ制限があるので, Continue 続けるを選びます。
この画面 (↓) に表示されている文章が直接ナレーション, 字幕として表示されます。900文字がmaxみたいです。
Covert to video (動画に変換) を押します。 1-2分で動画が出来ます。恐らく日本語が苦手なためか, 字幕が表示されないというエラーがありました。
ナレーションはInvideo AIより自然で聞きやすい文章でしたがアクセントに一部違和感がありました。GPTのナレーション採点は80点でした。
特筆すべきは背景にjpeg, mpeg, gif など手持ちの画像, 動画を利用できることです。使い方次第ではスタイリッシュな解説動画が作成可能です。
Lumen5 では字幕や背景の映像が動くスタイリッシュな解説動画を簡単に作成可能です。↓は以前に作成したnote記事のプロモーションをLumen5で作ったものです。日本語対応していますが, 発音がいまいちなので英語にしています。 pic.twitter.com/EDM4akRLBq
— プチpony (@pony_pon471) July 5, 2024
無料版では1ヵ月に5 回まで生成可能です。
2.3 NoLang 2.0 ★★★
メジャーアップデート ver 2.0 されたばかりで最も多機能かつ使いやすいソフトではないでしょうか。以下のサイトを参考に記事作成しています。
一行『AIの歴史を動画に』と簡単なプロンプトを入力してみます。すると瞬時に1分程度の高品質な解説動画が完成します。
プロンプト文字数は600文字程度が最適とのことです。
その場合はnoteのブログ記事を600文字に要約して『プロモーション』とお願いし作成します。
9万文字のnote記事pdfをClaude3.5 Sonnetで600文字に要約してもらいました。
pdfファイルを 📎クリップマークからアップロードします。
直接コピペしてもいけます。
動画が生成されました。数秒ごとにシーンが切り替わり背景にそのシーンにあった画像が選ばれています。
全く違和感ないナレーション, 字幕でしたがChatGPTによるナレーション評価は75点と低めでした。
Ver.2.0 では詳細な動画設定ができるようになっています。
右上の『動画設定』→動画の長さや 対話モードの変更が出来るようになっています。
さらに語り手のキャラ設定やアバターの設定も可能とのことです。
動画設定の『プロンプト』から追加の指示ができるようになりました。ここではソフトウェアエンジニアに向けてと選んでみます。
生成された動画の下に生成時のプロンプトや動画に使われているナレーションが確認できます。
今なら980円/月のプランに相当する400クレジットが無料で使えます。
2.4 Pictory ★☆☆
urlから取り込むモードもあるみたいですが, 長文は恐らく不安定なので無難に要約した文章をコピペして作成してみます。
結構待ちました (2分30秒)
出来た解説動画は文章の質 (ChatGPTのナレーション評価は85点), 背景動画は良かったですが, ナレーションの音声が無いこと, 字幕が画面端で切れているが残念でした。
無料では3本まで動画作成試用できます。
3. このNote記事の解説動画を作成
完成したこの記事をCtrl+Aで全体コピーしてClaude3に貼り付けます。
noteプロモーション要約君で1500文字程度のナレーション用の要約文章を作ります。
1300文字の文章ができました。wordに貼り付けてNoLangに渡します。
自分の好みにカスタマイズしていきます。
不要と思ったシーンは🚮ゴミ箱マークから削除できます。
画像を自分好みのものに差し替えていきます。同様に×マークから画像削除します。
✎鉛筆の編集ボタンを押します。
画像アップロードからこの記事に適した画像を選んでいきます。実際にblogで使った画像を使用します。
今回の記事はサカナ, イルカ, タコと海の生物が登場しているのでスタイルは海中としました。
ナレーション (スクリプト) も自分好みに微調整していきます。
編集には5クレジット, ダウンロードには10クレジット必要でした。
4. あとがき
