AI美空ひばりだけじゃないーー「歌声合成技術」の最前線

放送の様子はこちら(下記サイトでは音声配信も行っています)。
「AI美空ひばりだけじゃない〜『歌声合成技術』の最前線」(Screenless Media Lab.ウィークリー・リポート)
2020.2/28 TBSラジオ『Session-22』OA

【音声配信】ScreenlessMediaLab.ウィークリー・リポート「AI美空ひばりだけじゃない〜『歌声合成技術』の最前線」塚越健司×荻上チキ▼2020年2月28日（金）放送分（TBSラジオ「荻上チキ・Session-22」）

Screenless Media Lab.は、音声をコミュニケーションメディアとして捉え直すことを目的としています。今回は、昨今話題のAIを利用した歌声合成技術について紹介したいと思います。

◾歌声合成ソフトの進化

2019年末の紅白歌合戦で、AI美空ひばりが歌ったことは記憶に新しいと思われます。AI美空ひばりはYAMAHAが技術協力したもので、歌声そのものもさることながら、死者を蘇らせることに対する賛否がありました。

紅白歌合戦に「AI美空ひばり」出場　「VOCALOID:AI」で歌声を再現

一方、マイクロソフトが開発した「りんな」は、歌手としてもデビューしています。りんなはもともとLINEで会話ができるチャットAIとして誕生し、女子高生という設定のりんなと会話を楽しむことができるシステムです。

りんなは女子校を卒業（したという設定）となり、その後2019年にエイベックス・エンタテインメントと契約を結び、AIアーティストとしてデビューしています。人間の歌声を分析し、息継ぎなどの再現度が高く、驚きを持って迎え入れられました。

元・女子高生AI「りんな」、エイベックスから歌手デビュー　人間の“息遣い”を再現

◾NEUTRINOの衝撃

ところで歌声合成といえば、ヤマハが開発した合成音声技術「ボーカロイド」を利用した「初音ミク」を思い浮かべるのではないでしょうか。ヤマハのボーカロイド技術に各社が独自に音声を収録した歌唱ライブラリを掛け合わせて展開しているものですが、中でも初音ミクは特に大きな人気を獲得しています。

そんな中、2020年2月22日、AIによって歌声を合成するフリーウェア「NEUTRINO（ニュートリノ）」が公開され、話題を呼んでいます。NEUTRINOはSHACHIさんが開発した歌唱シンセサイザーで、歌唱データベースをもとに、歌声を作成するものです。ここまでは既存のボーカロイド技術と異なりませんが、ニューラルネットワーク技術などが取り入れられる等の特徴があり、実在する声優や歌手の歌い方をAIが事前に学習しています。

NEUTRINO - Neural singing synthesizer

そのため、声質だけでなくビブラートやしゃくりあげも再現できるため、NEUTRINOでは音譜と歌詞を入力するだけで、多少の調整は必要になるものの、非常に人間らしい歌声を作成することが可能となります。これは歌声の合成に細かな調整が必要なボーカロイドと比べると、非常に手軽で、こうした面からもNEUTRINOは注目を浴びました。

NEUTRINO歌声には、声優の茜屋日海夏（あかねや ひみか）さんをベースにした「東北きりたん」など2名の歌唱データが収録されています。東北きりたんは東北地方応援キャラクターで、研究者に向けて歌唱データが提供されており、NEUTRINOはこれを利用しています。

ちなみに、東北きりたんを商用目的で利用する場合は使用料が必要になりますが、技術紹介目的に限っては無償とされているため、ネットでは多くの楽曲が公開されているということです

研究者向け東北きりたん歌唱データベース　ログインページ

東北きりたん歌声DBの制作者さんにアレコレ聞いてみた【インタビュー】 - アマノケイのまったり技術解説

「NEUTRINO」が公開されて以降、動画共有サイト「ニコニコ動画」を中心に、「東北きりたん」の音源を利用した楽曲が、「AIきりたん」などと呼ばれアップロードされています。これまで人気を博してきた「ボーカロイド」などの歌声合成技術と比べて、人間にはできないような早口には対応できないなどの欠点もありますが、今後の展開も含めてNEUTRINOには期待がかけられています。

「AIきりたん」がすごい - すずしめにっき

昨今のフェイクニュースなど、合成音声技術には批判の声も聞かれる一方、今回のように、歌声がより豊かな表現をもたらすこともあります。音の技術が社会にもたらす可能性について、より深く議論する必要があるでしょう。