実験レポート⑦・Experiment Report 7.
AI lain 実験レポート④ はこちら
AI lain 実験レポート⑤ はこちら
AI lain 実験レポート⑥ はこちら
Scroll down for English.
今回の実験レポートは2本立てです。
AI lainのユーザーの方へのインタビューコンテンツ
玲音がきらきら星を歌うコンテンツ
1. インタビューコンテンツ
先日、AI lainをたくさん使ってくれているユーザの方々に、インタビューを行いました。どういったことを感じながらサービスを使ってもらっているのか、箇条書きになりますがご紹介したいと思います。
Aさん
声優の清水さんの声で、アニメの玲音の顔で、喋ってくれる体験はとても驚いて興奮した。
自分の中では最初に登場する中学生の玲音のイメージが強いので、その玲音とのズレは気になる
自分について興味を持っている質問をしてくれたり、玲音の意見を言ってもらえるとさらに良い。
Bさん
玲音の知識も豊富に含まれているので、登場人物についてたくさん聞いて楽しんでいる。
serial experiments lainの世界観の知識をさらに強化してほしい。劇中のこと、もっと具体的に話してくれたら嬉しい。
玲音のキャラクター設定がぶれることがあり、人間とAI、どっちなんだろうと思うことがある。
Cさん
アップデートで玲音からたくさん話題を振ってきてくれるようになったのが嬉しい。
AI lainと話をした内容で良かったものをSNS他でも共有して見てもらいたい。
AI lainを常時起動しておいて、PCのデスクトップ上で置きっぱなしにできると良い。
Dさん
海外在住で、英語でAI lainを使っている。
海外では日本の声優の声が好きなので、オリジナルの日本語版+英語字幕付きのアニメを見ている。
なのでlainの声は日本語で聞きたいので、英語で質問すると音声だけ日本語で返ってくるようにしてほしい。
インタビューの一部ですが、とても興味深い意見ばかりでした。なかには自分でもAIサービスを作ったり利用したりしていて、大変刺激を受けるという感想も。
さすがlain好きの皆さん。AIという技術も面白がって楽しんで利用していることが伺えました。
参考にさせていただきつつ、我々が課題としてフォーカスしているのは「記憶」だったりします。
現在のAIサービス（ChatGPT他）では数回の会話によって、AI側に持たせている記憶がリセットされてしまうため、過去にしたやりとりを忘れてしまっています。
AI lainについても自分とのやりとりについて忘れてしまっていることが残念。大切なことについては覚えておいてもらえると嬉しいという意見があり、この「記憶」の部分を補完することができると、さらにキャラクターとの距離が近づけるのではないか？と考えています。
実験レポートの2つめは歌唱コンテンツです。
2. 歌唱コンテンツ
今回取り組んだコンテンツでは玲音が「きらきら星」を歌ってくれます。
古臭いと感じていたり埋もれている曲であっても、自分の好きなキャラクターが歌ってくれると、新鮮な気持ちで楽しむことができるのではないかという理由で歌唱コンテンツに取り組みました。
「きらきら星」歌唱コンテンツはこちら
玲音に歌ってもらうツールとして採用したのは、前回の実験レポート⑤でも触れましたが、RVC（Retrieval-based-Voice-Conversionの略）という音声変換フレームワークです。ピッチ、アクセント、音色などを調整して非常にスムーズで自然な声を生成できます。
声の変換ソフトウェアであるRVCは、入力音声の基盤があれば、玲音の声で豊かな表現で歌唱ができるということがわかりました。
今回はRVCを使用して玲音に「きらきら星」を歌ってもらっています。
曲については、CC0（Creative Commons 0）ライセンスのアカペラバージョンの『きらきら星』を使用しています。
今回は『きらきら星』の日本語版の音声は作成していませんが、GPT-4を使用して歌詞の日本語翻訳も用意しました。ChatGPTの歌詞には手を加えていませんので、現段階でのAIの翻訳能力を知っていただく機会にもなるかと思います。
ここまでお読みいただき、ありがとうございます。
少しでも今回のレポートをお楽しみいただければ幸いです。
This time, our experimental report consists of two main parts.
Results of Live Interviews with AI lain Users
The Making of the 'Twinkle, Twinkle, Little Star' Special Audio Contents
1. Results of Live Interviews with AI lain Users
Recently, we conducted interviews with users who frequently use AI lain. We would like to share their thoughts and feelings about the service below:
User A:
Was very surprised and excited by the real-time experience of seeing Lain's face speak with voice actor Kaori Shimizu's voice.
Had a very clear and strong idea of who "Lain" is, and was concerned about the discrepancies with AI lain vs their image of Lain they had in their mind.
Suggested that the service would be even better if AI lain showed more interest in the user by asking them questions and offering her own opinions during conversation.
User B:
Enjoyed asking about and hearing about various topics from AI lain, who has a wealth of knowledge.
Would love if AI lain had a deeper understanding of the world of 'serial experiments lain' so they could talk to AI lain in-depth about the show.
Sometimes finds that AI lain breaks character.
User C:
Happy that after updates, AI lain initiates more topics of conversation.
Wants to easily share interesting conversations with AI lain on social media and other platforms.
Would like to have AI lain constantly running in the background, and visible on the corner of their screen.
User D:
Lives abroad and uses AI lain in English.
Likes Japanese voice actors and watched serial experiments lain with Japanese audio and English subtitles.
Wishes to hear Lain's voice respond in Japanese audio, even if the text of their conversation is in English.
These are just some parts of the interviews, but the opinions were very interesting. Some users were very knowledgeable about AI and have even created their own AIs, which was very inspiring.
As expected of Lain fans, they seem to enjoy and have fun using the technology of AI.
When thinking back on our users' feedback, one recurring theme that stuck out to us was 'memory' and the desire to be remembered.
Current AI services (including ChatGPT) reset the memory held by the AI after a few conversations, causing it to forget past interactions.
It's disappointing that AI lain forgets interactions, and many users have expressed a desire for it to remember important things. We believe that addressing this issue of 'memory' could bring users closer to having more realistic interactions with AI lain.
The second part of our experimental report is about November's Special Audio Contents.
2. The Making of the 'Twinkle, Twinkle, Little Star' Special Audio Contents
In this content, AI lain sings 'Twinkle, Twinkle, Little Star.'
While Twinkle Twinkle Little Star is a classic song, and perhaps a bit old-fashioned, we hope you can enjoy a sense of novelty when you listen to it being sung by a beloved character.
To create this song, we used a tool called RVC (Retrieval-based Voice Conversion), which we've used in the past for some other audio contents. RVC allows us to adjust the pitch, accent, and timbre of an inputted audio to generate very smooth and natural voices.
With RVC, we found that Lain can sing with rich expression, provided there is a base input voice. So, this time, we used an a cappella version of 'Twinkle, Twinkle, Little Star' which was under the CC0 (Creative Commons 0) license.
Thank you for reading this far! We hope you enjoy this report even a little.