AIと一緒に架空アニメの主題歌を作ってみました
話題の生成系AIを色々と活用して架空アニメの主題歌とオープニング動画を作ってみました。きっかけは2023年6月10日開催のイベント「架空アニソン祭2023」です。
イベントの趣旨としては「存在しない架空のアニメの主題歌を作って動画にして投稿しよう」というもの。レギュレーションとして「曲（動画）の秒数が89秒」という縛りがあります。テレビ等で放映されるアニソンの秒数は89秒が主流らしく、それに沿ったルールということですね。
この架空アニソン祭に参加するための曲と動画を作るためにAIの力を借りてみることにしました。
① 架空アニメの設定をAIに考えてもらう
作品を作る出発点となるのが「実在しない架空アニメ」、その設定です。ゼロからアイディアを出すのは難しい。そこでChat GPTに設定を考えてもらうことにしました。使用したのはOpenAIのChat GPT3です。アカウント登録をするだけで無料で使えます。
Chat GPTは言葉で指示を与えることでそれに沿った回答をAIが文章で出力してくれます。「アニメのシナリオを考えてください」のような感じでも色々と案を出してくれますが、今回は私たちの音楽ユニット・空色チューリップが登場する物語を考えてもらうことにしました。
ちなみに空色チューリップは、ボーカルとピアノ担当の雪椿、作詞・作曲担当の高円寺猫、動画編集と広報担当の古河玉虫の3人からなるユニットです。これについては事前にChat GPTにメンバー構成に関する情報を与えておきました。
まずは「空色チューリップのメンバーが主役のアニメのあらすじを考えてください。雪椿、高円寺猫、古河玉虫が必ず登場すること。ファンタジー要素のある、おとぎ話のような話で、SF的な設定も含まれるものにしてください」というような指示を与えてみました。それに対してAIが考えてくれたシナリオがこちら。
登場人物の指定はきちんと守られていますし、「ファンタジー要素」「おとぎ話のような」「SF的な設定」というのもあらすじに現れています。しかし、空色チューリップが音楽ユニットであるという点が今一つ活かされていないのが残念。
そこで「空色チューリップは音楽家なので、音楽の要素もほしいです。それをふまえてもう一度あらすじを作ってみてください」と指示を与えてみました。
するとこんな回答が。
すごい！タイトルまで考えてくれました！
内容も音楽要素が含まれていますし、謎の少女や歌に秘められた魔法の力などアニメ化しても面白そうな設定。「星の歌姫」というタイトルも素敵だったのでこれをベースに肉付けをしていくことにしました。
歴史上の偉人であり、空色チューリップにとっては色々となじみ深いウィリアム・シェイクスピアとジョルジュ・サンドにも登場してもらい、時空を超えた冒険のような感じにしつつ、悪役として謎の科学者も登場させることに。指示を与えるたびにAIは色々な設定やあらすじのアイディアを出してくれます。
出力されたアイディアのいくつかを組み合わせて筋の通ったアニメのあらすじにするのは人間の仕事。最終的に出来上がった架空アニメのあらすじがこちらです。
魔法の世界エルディア、美しい歌声を持つ少女エイリス、敵役の科学者ドクタークロウなど、AIが考えてくれたモチーフを使ってまとめたアニメのあらすじはなかなか良い感じです。
次はこのアニメの主題歌を作りましょう。
② AIに曲のコード進行を考えてもらう
曲作りは作詞・作曲担当の高円寺猫の仕事です。普段の作曲手順はドラム、ベース、ギター、ピアノなどで伴奏を組んでからそれに合う歌詞とメロディを考えていく手順で曲作りをしています。
今回はAIが考えてくれたコード進行を曲作りの出発点とすることにしました。Chat GPTは指示を与えることで曲のコード進行も考えてくれます。「『星の歌姫』というタイトルの曲で、メロディアスでポップな曲調で、四和音を中心とするコード進行」という指示を与えて考えてもらいました。その結果がこれです。
メジャーセブンスが多用されており、独特の浮遊感がおしゃれな雰囲気のコード進行でした。このコード進行を使ってDAW（DTM）の打ち込みで曲の伴奏を作っていきます。Chat GPTには曲を生成する機能はありませんからここからは人力の出番です。
最終的に出来上がった曲のトラックはこんな感じになりました。
一番上のトラックから順にピアノ、アコースティックギター1、アコースティックギター2、アコースティックベース、ボーカル1、ボーカル2、コーラスです。ドラムを入れていないせいもありますがかなりシンプルなトラック構成ではないかと思います。曲調はしっとりしたバラードのような雰囲気になりました。
③ AIに曲の歌詞を考えてもらう
曲の伴奏が完成した後は歌のメロディです。今回は例によってChat GPTに歌詞を考えてもらい、その歌詞と伴奏に合うメロディを人間の手で作ることにしました。
Chat GPTには作詞にあたって次のような指示を与えてみました。
「星の歌姫」というタイトルの曲の歌詞を考えてください。次のモチーフを歌詞の中に登場させること。
歌声
星空
月
星の軌道
猫
モチーフを指定したのは①で作った架空アニメの設定とある程度整合性をとるためです。（「猫」は個人的に好きなので入れました。）
この指示をふまえてChat GPTが作った歌詞がこちら。
なかなか良い歌詞だと思います。特別難しい表現や個性的な言い回しを使っているわけではありませんがアニメの設定に沿った内容になっていますし、全体的に素直で控えめな雰囲気があるのが良いと思いました。
このChat GPT作の歌詞を使うことにし、歌詞に合うような歌メロを人間ががんばって考えました。なお、歌メロ作成にあたって元の歌詞から変えた部分は以下の2点だけです。
「星たちは軌道を描く」の合間に「ルララ～♪」のフレーズを挿入
最後の「歌い続けるわ」を「歌い続ける」に変更
④ AIシンガーに歌を歌ってもらう
架空アニソン祭のレギュレーション的には人間の歌唱、ボーカロイドなどの合成音声による歌唱、どちらでもOKということになっていました。空色チューリップには雪椿という素晴らしいシンガーがいるので、彼女に歌ってもらうこともできたのですが、今回はAIとの共同作業で作品を作ってきましたので歌も人間ではなく合成音声に頼ってみることにしました。（雪椿が引っ越し作業等で多忙だったという事情もあります。）
使用したのはNEUTRINOのAIシンガー「めろう」です。NEUTRINOは無料で使用することのできる合成音声ライブラリをいくつも公開しており、めろうもそうしたAIシンガーの一人です。声質の特徴としては癖が少なく、すっきりと落ち着いた雰囲気で歌ってくれます。アコースティックな今回の曲の雰囲気に合うと考えての起用です。
もちろん、AIシンガーといっても歌詞と伴奏を渡せば勝手に歌ってくれるというものではありません。歌のメロディは人間の作曲者が用意してあげる必要があります。
NEUTRINOの場合、歌詞付きの楽譜のデータ形式で読み込ませる必要があるので、まずはmidiで作った歌メロをMuseScoreという楽譜制作用ソフトを使って楽譜のデータ形式に変換します。ちなみにMuseScoreも無料で使えます。
出来上がった楽譜はこんな感じ。これはPDF形式で表示させたものですが、実際にはmusicxmlというファイル形式にしてNEUTRINOに読み込ませます。
このような手順でNEUTRINOのめろうに歌わせた音声を先程の伴奏とあわせてミキシング。そしてマスタリング。なお、今回はミキシングとマスタリングは人の手で行いましたが、最近はこれらの作業もAIがしてくれるプラグインが出回っており、広く使われています。
これでようやく「星の歌姫」の主題歌が完成しました！
⑤ 動画用のイラストをAIに描いてもらう
音源が完成した後は動画制作です。架空アニソン祭はニコニコ動画への投稿が必要になるので曲だけ作っても参加できません。動画制作にあたってもAIに協力してもらうことにしました。
アニメの冒頭で流れるオープニングテーマをイメージした動画にしたいと思ったのでアニメっぽいキャラクターのイラストが必要になります。そこでNovel AIを使います。プロンプトと呼ばれる指示文（英語）を入力することでその指示に沿った画像をAIが生成してくれるサービスです。こちらは有料のサービスとなっています。
このNovel AIに、アニメ「星の歌姫」の主要な登場人物である雪椿、高円寺猫、古河玉虫、ウィリアム・シェイクスピア、ジョルジュ・サンドのキャラクターイラストを作ってもらいます。
たとえばウィリアム・シェイクスピアであれば次のようなプロンプトを入れて画像を生成します。
old man, black long hair, combed-back hair, mustache, black clothes, fantasy
出来上がったイラストがこちら。なお、イメージに合うイラストが生成されるまでスクリプトやパラメータの設定を変えるなどして何度も試行錯誤しています。
そのほか、動画で使用する「宇宙空間っぽい画像」など、数枚のイラストをNovel AIに作ってもらいました。
⑥ アニメーションをAIに作ってもらう
キャラクターイラストや背景画像を組み合わせたりするだけでも動画は作れますが、今回はせっかく架空「アニメ」というお題ですので動画にもアニメーションの要素を入れたいと思いました。そこでAIによりアニメーション動画を生成してくれるKaiber.aiというサービスを使うことにしました。
このKaiber.ai、まだあまり知名度がないようですがなかなかすごいサービスです。仕組みは連続的に生成したAI生成画像をコマ送りのようにつなげることでアニメーション風の動画を作るというもののようです。有名どころだとLinkin ParkのMV制作にも利用されています。
このKaiber.aiを使って動画内で使用するアニメーション素材を作りました。作り方としてはアニメーションの始まりとなる一枚絵をNovel AIで生成してKaiber.aiにそれを読み込ませ、プロンプトでモチーフや画風などを指定するという手順です。
動画内のシーンに応じてアニメーション素材を4つほど作りました。ちなみにKaiber.aiは無料でも試せますが、それだと生成される動画にウォーターマーク（ロゴ）が入ってしまいますし生成できる動画の秒数も限られてしまうため有料版を契約して使いました。
このようにして作ったAIアニメーション動画素材、AIイラストによる一枚絵などを動画編集ソフトで組み合わせます。なお、アニメーション素材については再生速度の変更も多用して動きにメリハリをつけています。そして、音楽に合わせたエフェクトの設定、歌詞を動画内に入力するなどしてついに架空アニメ「星の歌姫」のアニソン動画が完成しました。
そして完成した作品がこちら
曲の前フリにナレーションパートを入れています。これは文章読み上げサービスである音読さんの音声を使って作っています。英語の読み上げ音声を組み合わせて日本語のように読ませる手法です。（ご存知の方はピンとくる、ウィリアム・シェイクスピアさんの声です。）
全体的な雰囲気としては曲も動画もしっとりめ。アコースティックベースとピアノがちょっぴりジャジーな雰囲気をかもしだす対象年齢やや高めの架空アニソンとなったのではないかと思います。
では、今回の作品作りにおけるAIと人間の役割分担を改めて整理してみましょう。
AIにやってもらったこと
アニメの設定やストーリーのアイディア出し
曲のコード進行の提案
作詞
AIシンガーによる歌唱
動画用イラストの作成
アニメーション素材の作成
人間がやったこと
AIの考えた設定やストーリーの選定と組み合わせ
作曲・編曲・ミキシング・マスタリング
動画制作
この役割分担から、現状におけるAIと人間それぞれの得意分野が見えてくるかもしれません。まず、AIは創作物のパーツとなるアイディア、ネタ、素材の作成に力を発揮してくれます。特にアドバンテージがあるのはこういった創作のパーツ群を短時間で大量に、かつ低コストで生み出してくれることです。
一方、人間はAIが作ってくれた創作のパーツ群を取捨選択したり組み合わせたりすることが得意です。広い意味でのディレクションの能力と言ってもいいと思います。AIが作り出すアイディアや素材はある意味無秩序なものですが、人間にはそこに意味付けや世界観を付与する力があります。
もちろん、今回AIに任せた仕事の領域（アニメの企画発案、作詞、歌唱、イラストやアニメーション制作）を個別に見ると、AIの生成物はそれぞれ研鑽を積んだ人間のクリエイターよりもクオリティ面で劣るものだと思います。たとえば、AI作曲のサービスも出てきてはいるものの、今回の作品作りでは作曲は人間の手で行いました。将来的にどうなるかはともかく現状の作曲AIよりもうちの高円寺猫のほうが良い曲（というより表現したいものにより近い曲）を作れるからです。これはおそらくイラストでもアニメーション制作でも同様でしょう。
イラストであれ音楽であれ、今後AIが進化していったとしても「研鑽を積んだ専門的なクリエイターが熱意と時間とこだわりを込めた渾身の一作」はやはりAIが出力する生成物よりも人の心を動かすものになるのではないかと思います。だとすると、自分の専門領域（=AIに負けない分野）の表現を活かすために専門外の領域はAIの補助を受けつつ作品を完成させるというのが将来的なクリエーションの主流になっていくかもしれません。イラストレーターさんであれば、「自分の描いた最高の一枚、その世界観を十分に伝えるためにストーリーや音楽やアニメーションをAIの手助けを受けながら作り、一本の映画として完成させる」というようなことが普通に行われるようになるかも。つまり創作活動の総合芸術的な方面への傾斜ですね。
法律や倫理面での問題も取りざたされているAI技術ですが、ニンゲンがキカイの力を借りながらますます自由に楽しく自己表現をすることのできる世界になるといいなぁ。
「星の歌姫」を作りながらそんなことを考えていました。