ラップバトル対話システム
三林 亮太（みばやし りょうた）
ラップバトルとは，ラップミュージックのスタイルの1つであり，複数のラッパーが相互に技術や表現力を競い合う音楽的な対決の形式である．通常，複数の参加者が交互にラップを披露し，その内容やフロー，リズム感などが審査や観客の評価の対象となる．ラップバトルでは即興性が求められ，参加者はリアルタイムで自身のラップを構築し，相手に対して効果的なフロー（リズム）とライム（韻）を踏んだアンサー（返答）を用いて応戦する．競技としてのラップバトルは，審査員やオーディエンスの前で行われ，勝敗が決定されることもある．また，ラップバトルはエンタテインメントの要素も含まれており，ラッパー同士の熱いバトルやパフォーマンスが観客を魅了する．
本プロジェクトの提案者である三林さんは，溢れんばかりのラップバトルへの情熱をもとに，自身の計算機科学の能力を活かして計算機をラッパーとして参戦させるという挑戦的な試みを行った．このプロジェクトは，従来人間によって行われてきたエンタテインメント領域において，計算機による新たな可能性を開拓する意欲的な取り組みとして注目される．特に人間同士が当たり前であったラップバトルの世界において，対戦相手が計算機になったり，両方が計算機になったりというのは，体験価値としても新しい．
ラップバトルでは，ライムの質やアンサーのバリエーション，そしてフローの印象などが重要視される．これらの要素を計算機が考慮しながら，相手の即興ラップ（バース）に応じた戦略的な反応を返すことは困難な課題と言える．しかし，ライムの分解における母音の判定や，バースの選択における適切なボキャブラリーの探索といった点では，計算機の得意分野が活かされる．その実現のため，本プロジェクトにおいては，実戦デモシステム，バース生成システム，ラップ音声合成システムの作成の，大きく分けて3つのシステムを実装した．
最初にバース生成システムを解説するが，これは入力バースに対して，「ライム」と「アンサー」を考慮した返答バースを生成するテキストベースのシステムで，深層学習モデルを用いてラップバトルコーパスからラップ生成を行う手法を提案した．
ラップバトルコーパスは，ラップバトル動画内のバースを文字起こしして構築した．このため，クラウドソーシングを活用し，ラップバトル動画の文字起こしを行った．ラップバトルコーパスは約1,780件であり，バース単位で計算すると9,749バースを含んでいる．
ライムを考慮したラップ生成手法では，逆向き生成による方法を採用した．Transformer Encoder-Decoderを用いて，逆方向からの文生成を行うことで，文末にライムを考慮したラップを生成する．また，アンサーを考慮したバース生成システムについても，アンサーの対応関係を表した学習データを作成し，独自の評価関数によるフィルタを加えて開発した．これにより，相手の発言をふまえた返答をすることができるようになり，ラップバトルの楽しさをより一層高めることができると考えられる．
次に，音声合成システムであるが，これは生成された返答バースをラップ音声に変換するシステムである．Tacotron2とGriffin-Limアルゴリズムを用いて実装し，ラップ調の音声合成が可能となった．また，ラップバトルに合わせた高速な音声合成や，生成音声の強制的な推論切り上げなど，即興に対応した実装も行った．
成果報告会では，対応が間に合わず，CoeFontのラップ音声合成APIを一部利用したが，その後ラップ音声コーパスを自作し，完全に自作のラップ調音声合成を開発した．このラップ音声コーパスは，324文のテキストに対してラップ調に読んだ音声データの集合である．ラップに特化した音声コーパスは存在しないため，自作する必要があった．本コーパスは，三林さん自身がラップ調に読んだオリジナルのコーパスである．
最後に，実戦デモシステムであるが，これはバース生成システムとラップ音声合成システムを用いた，実空間でラップバトルが体験できるデモシステムである．このシステムは，ハードウェアとソフトウェアの両方で構成され，ハードウェアにはPC，ミキサー，スピーカー，有線マイクを搭載した折りたたみ式台車が使用され，ソフトウェアにはラップバトルが可能なWebアプリケーションが使用されている．
ハードウェアは，持ち運びや人間とのインタラクションを考慮した設計となっており，台車には予備バッテリーを搭載し，周囲に荷物が残らないようにカバーを設置した．また，ホイールをエラストマー素材に差し替えることで騒音を軽減し，新幹線や電車等の公共交通機関を利用する場合の持ち運びにも配慮した．
本プロジェクトにおいては，PMが採択基準としている大きな情熱と溢れるクリエイティビティにピッタリと合致し，クリエータ自身が楽しんでプロジェクトを遂行できたことが素晴らしい．
成果報告会の発表前日には，実戦でもシステムを片手に別のクリエータと共に秋葉原の街中でラッパーと実際に対決し，相手も計算機との初対戦に終始新鮮な反応を示していたことが印象に残る．
成果報告会においても，発表者である三林さん自身が本システムとの対決を行い，絶妙なやりとりを発表することができ，とても充実したプロジェクトであったと感じている．
（担当PM・執筆：田中 邦裕）
[統括PM追記] 三林さんを見ていると，本当にラップ大好きということがよく分かる．実は彼は2018年，2021年にも未踏に応募していて，2021年もラップバトル絡みの提案だった．分厚い準備を進めてこそ達成できた，まさに3度目の正直でのスーパークリエータである．田中PMの紹介にもあるように，成果報告会の前夜に装置を転がして秋葉原に繰り出すという勝負心も素晴らしい．
（2023年7月3日受付）
（2023年9月15日note公開）