![見出し画像](https://assets.st-note.com/production/uploads/images/131900042/rectangle_large_type_2_e77867a88ef878847a8cbfa4a0e1c30c.png?width=1200)
AI+VTuber(AITuber)制作過程で試した事まとめ(2/8~2/24まで)
2/24 色々と組み合わせてMVを作りました。
作曲AI「SunoAI」のバージョンアップがあったのでこれを用いてMVを制作しました。これは楽曲の部分は歌詞は私で曲と編曲は「SunoAI」、ビデオは「VTube Studio」の「Live2D」モデルを動かし、「OBS Studio」の視点切り替えで3カメにしています。歌詞字幕はリリックビデオを作れる「TextAlive」です。今回は「Topaz Video AI」で4Kに高画質化もしてみました。
2/18 「OBS Studio」の視点切り替えを試しました。
AITuberの配信はずっと同じ視点だと退屈かなと思い、調べたところ「OBS Studio」はPythonで細かく制御できる事がわかったので試しました。
これが出来るとアイデアが広がるもので、それこそ「コメント雑談」「歌唱」「お天気コーナー」「小説を読むコーナー」などシーンを作っておけば、リアルタイムに切り替えられるので色々と応用が利きそうですよ。
AITuberのライブ配信コンテンツをリッチに出来ないかなと考えて試してみました。OBSのWebsocketをPythonで自動制御して複数シーンを切り替えれば良い感じに見えるかもしれない。これはバストアップ、寄り、引けの3アングルのシーン切り替え。歌はSunoAIです。
— ろてじん (@rotejin) February 18, 2024
デザイン/モデル:稲生乃衣:@ino_o_noi https://t.co/NJ92AVf5UC pic.twitter.com/H0MBp9tmrO
2/16 「SunoAI」をキャラクターにリップシンクを試しました。
「SunoAI」だけでは無いのですが歌を歌わせる際には使えそうです。
サクッとやり方を書いておきます。
— ろてじん (@rotejin) February 15, 2024
SunoAIの楽曲をUVRでボーカルトラックのみ抽出。2MIXとボーカルトラックを頭を合わせて別スレッドで同時再生し、2MIXだけ音が聞こえるように出力、ボーカルトラックは音は出さずVTube… https://t.co/Vm4IWzv0k6
2/15 「Style-Bert-VITS2」を初心者でも使えるよう思索。
どれくらいなら初心者にもAITuberを楽しんでもらえるか考えてます。
この位だったらプログラミングがわからない人でもキャラクター触りつつ楽しんで学べるのかなぁ。私も初心者だが。キャラが動くだけで嬉しさは増す。どんな長いテキストでもコピペすればキャラクターが読み上げてくれる的な参考資料デモ。Style-Bert-VITS2とVTube Studioだけなので無料で作れる。 pic.twitter.com/IBCq7BySpO
— ろてじん (@rotejin) February 15, 2024
2/14 「Style-Bert-VITS2」でプレゼン動画を作ってみました。
キャラによる読み上げだけでも使えるシーンは多いかなと試しました。
なるほ。AITuberはキャラ設定や口調を作ってしまえば、読み上げ系コンテンツには使いやすいかもしれない。こんな感じのプレゼン読み上げなら、資料制作含めて30分以内で作れる。作り方を一応メモしておきます。… pic.twitter.com/ljZ7Sbn0vS
— ろてじん (@rotejin) February 14, 2024
2/14 AITuber対話システムでコメントが無くても喋る試作。
AITuberは配信の際にコメントが無いと沈黙が続く受け身な状態になってしまうので、聞いている人が居なくても一人で喋るように試しています。
今回は裏にテキストデータを用意してコメントが無い場合はランダムにピックして読み上げるようにしましたが、この部分はもっと事前の会話などからインタラクティブにするなど工夫が出来そうです。
AITuberに記憶や雑談の材料を入れてコメントを拾って配信する試み。コメントが無い時は一人でお喋りをずっと続ける。トーク用のデータは用意が簡単(ペルソナとお題から自動で生成)裏で自動生成を続ければ配信が途切れないように出来るはず。ただこれだと見てて直ぐに飽きちゃう。 pic.twitter.com/G5n7TvLXDI
— ろてじん (@rotejin) February 14, 2024
2/14 AITuberの魂を作るにあたり自己分析していました。
キャラを作る前に自己分析、と言う事で試しました。
AITuberの魂を作る前段階として、実際の自分の人格分析や記憶はどうだろうか。と、前田裕二氏のメモの魔力「自己分析に使える問い1000問」を試している。過去の振り返りをしてみると余程インパクトの強いエピソードや決断タイミング、強い感情しか覚えてない。面白い。https://t.co/WbdZhw5QEp https://t.co/R6skccmLnZ
— ろてじん (@rotejin) February 13, 2024
2/8 「Style-Bert-VITS2」日本語特化版アップデートを試す。
日本語の発音が格段に良くなったアップデートを試しました。
音読スピードが少し遅かったか。深夜に聞くとちょうど良かったのだが。今聞くと少しまったり気味かな。
— ろてじん (@rotejin) February 8, 2024
これはStyle-Bert-VITS2の設定で「lengthを0.9(話速)」「sdp_ratioを0.6」にしてます。sdp_ratioを上げると話速も少し早くなり感情的になります。 https://t.co/PTkz376wFC
色々と少しづつ学びつつ楽しんでいる日々です。
AIプログラミングの発展もありますし、AITuberは学びながら楽しんで作れる要素が満載なので、その楽しみ方も広めたいと思っています。
今回も読んでいただきありがとうございました。
この記事が気に入ったらサポートをしてみませんか?