メタバース機材情報：ボイスチェンジャー(2023年8月4日追記)
はじめに
メタバースに必要な機材関連情報、ボイスチェンジャーです
ボイスチェンジャー
#OnSay .ai
2023年8月4日（NEW!)
ブラウザ上で、自分のAI音声モデルを作成できる https://t.co/FMF6cSMDYX をリリースしました。
— 朴 正義 ☮️ Bascule Inc (@boku) August 3, 2023
「AI音声モデルで何ができるの？」は、Vチューバー@Hairpin_Mamireさんが楽しい動画にしてくれたので、是非ご覧ください。
ピンときた方もいると思いますが、AI孔明に声をあてるが、次のステップです。
#Koemake
2023年5月15日
無料＆音声をリアルタイムで変換できるAIボイスチェンジャー「Koemake RVC Player」レビューhttps://t.co/65KHzSedBC
— GIGAZINE(ギガジン) (@gigazine) May 13, 2023
#SuaraLive
2023年5月9日
お試し頂きありがとうございます！がさがさ感含め、サービスの品質を改善出来るよう頑張っていきますね。 https://t.co/Slv9CSHjG7
— 七色すあら@TARVO, Inc. (@tarvo_inc) May 8, 2023
#AIボイチェン入門
2023年5月9日
AIボイチェン入門編
— さらみせんべい/Sarami@VRChat (@sarami_senbei) May 7, 2023
①BoothでRVC学習データを探して用意します。
②こちらのサイトの手順③以降を参考にセッティングします。https://t.co/liiURRyWBF
③終わり
#VCClient
2023年5月9日
RVC対応リアルタイムボイスチェンジャー VC Client v.1.5.2.8をリリースしました。
— wok! (@DannadoriYellow) May 5, 2023
主な変更点は
・初回起動時のhubert自動ダウンロード
・half-precision,ONNXProviderの自動選択
・日本語Hubert対応(α版)。
・GPU搭載PCでCPUによるonnx export
などです。https://t.co/20L8g22urb#VCClient #RVC pic.twitter.com/k9mSSQZ9MD
#ボイチェンを使わない方法
2023年5月9日
無言勢のススメ！ ボイチャの代わりにペンやテキストでコミュニケーションする方、VRChatだと普通に多いんですよね。その理由やメリットなどまとめた良記事です〜 #VRChat #無言勢
— バーチャル美少女ねむ/Nem⚡大賞作家&Forbes注目のクリエイター100 (@nemchan_nel) May 5, 2023
ボイチャ会話が苦手な方！"無言勢"始めてみませんか？｜Yullshul@塩麴ウメ https://t.co/l1emsErqtN
#リアルタイム音声変換
2023年5月9日
速報！
— yasyune＠AI(音声)専用 (@yasyune1023) May 4, 2023
DDSP-SVC3.0のリアルタイム音声変換技術デモが公開されました！
GTX1660で～300ms(0.3秒)との事です！https://t.co/3sC6vnZMTS
DDSP-SVCのGithubはこちらです。https://t.co/L70t1ljQZk#DDSPSVC
#音源リポジトリ
2023年5月9日
RVCのような音声変換モデルやその学習に使える音源を音声から探すためのリポジトリを作成しています。https://t.co/jnh4ohZPeH
— nadare🌱 (@Py2K4) May 4, 2023
リポジトリ中のnotebookをcolab等で実行すると、音声から類似した声質の音源やモデルをライセンスやクレジットを確認しながら検索できます。(続) pic.twitter.com/4b5JSfTPtE
#つくよみちゃん
2023年5月1日
リアルタイム音声変換ソフト Koemake RVC Player（β版）をリリースしました！！
— DENDEN MAY | Koemake Project (@may_denden) May 1, 2023
ダウンロードはこちらから
👉https://t.co/Tsj5HVzYPp
是非、つくよみちゃんになってみてください🎤#AI #RVC #つくよみちゃん @TYC_Project pic.twitter.com/FKTGRHoNpK
#テスト
2023年4月29日
#VRChat 内でAI #ボイチェン を使ってみるテスト！
— 卯塚ウウ🎈metaverse Balloon Artist JPVtuber🎈オーダー受付中 (@uu_uzuka) April 27, 2023
ちょっと重めの所が良いかなと思って花火が打ち上がってるところにで実験！
遅延大きめ(1秒くらい)にしてるからなのか
VRChat同時でも変換にはさほど影響なくて
普通に使えそう！
重いワールドとか人多いとどうなるかわかんないけどｗ pic.twitter.com/tb7ZjEZd2H
#10秒で複製
2023年4月23日
どうやら自分の声を10秒くらい録音するだけで複製できるやばい時代が来てしまったらしい。
— goto@meta翻訳開発者 (@goto_yuta_) April 22, 2023
家で試そう。https://t.co/ZlrhiIdrFw
#リアルタイム変換
2023年4月23日
【悪用厳禁】自分の声を推しの声にリアルタイム変換する方法(全体公開)
— maple_syrup🎨 (@maples_syrup) April 20, 2023
RVCとVCclientを使った無料最新AIボイスチェンジャーの導入記事です!!https://t.co/kwvNYl8Qo6
#RVCSayo
2023年4月23日
現在使用中のRVC用学習済みモデルデータの共有をテストしてみるよ。VOICEVOX 小夜(sayo)を音源にしたもの。サイズは50MBくらい。下記ファイルをRVC-beta/weightsに置いて、VC Client のModel Settingでselectしてuploadすれば使えるはず。使えたら感想聞かせて。https://t.co/UGv6oYU9DI
— 尻P(野尻抱介) (@nojiri_h) April 21, 2023
#NaturalSpeech2
2023年4月21日
声帯の民主化が加速してる気がする
— saldra(サルドラ) (@sald_ra) April 20, 2023
RVCもすごかったけどNaturalSpeech2は数秒の音声でできるところに強みがありそう
音質が録音音声の質によってどれだけかわるのかは結構気になってるhttps://t.co/PPZoOGRA2d pic.twitter.com/E3fggH9lG2
#ボイスモデル無料配布
2023年4月21日
【拡散希望】RVC向け学習済みボイスモデルデータをMITライセンスで無料配布します。「愛想良い系少女の声5種風味パック」で5つのpthファイルです。10人の女性の声を元にマージ調整したオリジナルモデルとなります。どうぞよろしくお願いいたします。#RVC #VCClienthttps://t.co/t0uZW4daWX
— CHIHAYA ちはや (@chihaya_369) April 19, 2023
#VirtualCast
2023年4月21日
【安定版・Quest版アップデートのお知らせ】
— バーチャルキャスト@VirtualCast (@virtual_cast) April 20, 2023
バーチャルキャストの安定版・Quest版バージョン「2.3.9b」をリリースいたしました。
VCIの音声系APIを大幅に強化しました。
詳しい更新内容はこちらをご確認ください。https://t.co/ODq7bjKlhL#バーチャルキャスト pic.twitter.com/b7xJ5y6LXZ
#RVC
2023年4月17日
これAIボイチェンで歌われた歌なんです・・・！！！信じられん！！！！！😱✨😻
— オレンジ/メタバース撮影技術者 (@orange_3134) April 16, 2023
こんなことできていいのか！？！？！？🤯
歌 VEXさん
ボイスモデル TUKI AMANOさん
楽曲【Ado】踊 pic.twitter.com/pzsCuE9LDN
#VoiceBox
2023年4月17日
VOICEVOXのスループットに関して記事を書きました。VOICEVOXを活用したサービスを計画している方の役に立てばうれしいです😊https://t.co/eKdriRCBM1
— うえぞう@うな技研代表 (@uezochan) April 14, 2023
#RVC
2023年4月14日
RVC＋VC Clientによるリアルタイムボイチェンが私の環境でもVRC中に変換遅延150ms前後で安定動作できたので記録。CPU:Ryzen7 5700X GPU:RTX3060(12GB) RAM:32GB pic.twitter.com/IB3YcLHCkV
— ペンスケ (@pensuke0708) April 12, 2023
#RVC
2023年4月12日
RVCとVC Clientめっちゃ凄い
— mkc1370@VRC (@mkc1370_vrc) April 10, 2023
変換先の学習データさえあれば、30分ぐらいで使えるようになる
↓参考にしたページ
「RVC」+「VC Client」で自分の声を任意の声にリアルタイム変換しよう！ - Eヤツのブログ https://t.co/LR6eihBlBb pic.twitter.com/HeGRwDeBkj
#RVC
2023年4月12日
https://t.co/JRkNWuHh8g
— omiz (@omiz_aiart) April 9, 2023
RVCの導入、音声の加工、学習、ボイチェンまでを記事にまとめてみました！
RVCやってみたいけどわからん...とか色々パラメータあるけどどうすればいいのかわからないって人向けの記事です！全四編になってしまいましたが、細かい説明もしているので読んでくれると嬉しいです！
#RVC
2023年4月12日
RVC（Retrieval-based-Voice-Conversion）という最新のボイチェンソフトを使ってみました！
— ゆうぷろ / YuuPro (@YuuPro_2022) April 9, 2023
このソフトはリアルタイム変換できませんが「VC Client for RVC」と組み合わせることによってMMVCのようにほぼリアルタイムでボイチェンできます！
使いかたはMMVCよりはるかに簡単でした✨ pic.twitter.com/1hVWHhnBuO
#RVC
2023年4月12日
VITS, so-vits-svc, RVCのアーキテクチャにかんしてはtonimonoさんの記事 ( https://t.co/VTgkyJmZO8 ) 、学習データセット構築のためのツールとしてはteftefさんのライブラリ ( https://t.co/nunWNdPx5u )、RVCの導入方法についてはomizさんの記事 ( https://t.co/lv3kQmkmum ) がわかりやすい
— 逆瀬川 (@gyakuse) April 9, 2023
#RVC
2023年4月10日
最新のAI技術を使った動画のはずが、ねむちゃんねる初期 (5年半前) を思わせる懐かしい絵面の動画になりました(≧∇≦)/ https://t.co/3Ne6k5rAfR
— バーチャル美少女ねむ/Nem⚡大賞作家&Forbes注目のクリエイター100 (@nemchan_nel) April 9, 2023
2023年4月10日
RVC+VC Client でVOICEVOX:小夜/SAYO #sayo_tag ちゃんの声になって #VRChat でヘリコプターを操縦してみたよ。1秒あるかなきかの遅延でリアルタイム変換してくれる。私はいつもどおりの地声で話してるだけで、高い声を作ったりしてない。すごいテクノロジーだね。 pic.twitter.com/3Icv3BOxtl
— 尻P(野尻抱介) (@nojiri_h) April 9, 2023
2023年3月16日
KoeiroMap すごいな、シークバーをグリグリするだけで声質変えられるのかなり夢の技術だ………
— Torishima (@izutorishima) March 14, 2023
まだ実験段階らしくちょっとイントネーションが怪しいけど、改善されればめちゃくちゃ世界が広がりそう 好きな声質作り放題だしかなりイノベーションだ だいぶやばくない？https://t.co/GiNqMRx22e pic.twitter.com/OIEdndLTip
2023年2月4日
会話のほとんどをボイチェンで過ごしてる人もいるんですよ(*´▽｀*) https://t.co/Kggm0tswFG
— バーチャル美少女ねむ/Nem⚡大賞作家&Forbes注目のクリエイター100 (@nemchan_nel) February 2, 2023
2022年12月2日
まだ課題多いそうですが、機械学習をボイスチェンジャーに応用すると、理論上はボイチェン適正とか関係なく「どんな声にでも」変換できるはずなのでかなり期待してます！ アバターとボイチェンがセットになって始めて「メタバースでなりたい自分になる」が完成すると考えてます #メタバース #機械学習 https://t.co/nrbtbSktVY
— バーチャル美少女ねむ/Nem⚡大賞作家&Forbes注目のクリエイター100 (@nemchan_nel) December 1, 2022
2022年10月7日
Shiftallの岩佐さん（@warenosyo ）にmutalk見せて貰った。想像の倍音が消えててビックリした。（通話音質もバッチリでした pic.twitter.com/s0eYty8zIA
— 迫田大翔 / Yamato Sakoda (@Yam_xeon) October 7, 2022
おわりに
AIボイスチェンジャーの登場により
メタバースの参入障壁は一気に下がりました
手持ちのPCでもとりあえずおためし参入できます
Clusterなら、平面3Dですがスマホでも参入できます
本noteは私の備忘録ですが、自由に読んでください サポートは、興味を持ったnote投稿の購読に使用させていただきます