【Moshi：リアルタイム会話を実現する音声AI】英語解説を日本語で読む【2024年7月4日｜@TheAIGRID】
Kyutaiという企業が発表した音声AI「Moshi」は、リアルタイムでの会話能力と応答の質が最先端レベルであり、AI業界全体に衝撃を与えました。Moshiは70以上の感情や話し方のスタイルを表現でき、ささやき声、歌声、海賊の口調、フランス語なまりの英語など多様な音声表現が可能です。従来の音声AIの限界を克服するために、Kyutaiは「オーディオ言語モデル」を開発し、複雑なパイプラインを単一のディープニューラルネットワークに統合しました。Moshiは音声を聞きながらテキストで思考し、常に話すことと聞くことを同時に行えるため、自然な会話を実現します。プロの声優によって訓練され、一貫性のある個性的な声を持ちます。また、小規模なモデルでデバイス上で直接実行でき、プライバシー保護にも優れています。生成された音声の識別方法も確立されており、安全性にも配慮されています。Moshiとの対話は非常に自然で、AIアシスタントではなく人間に近い個性を持つ存在として認識されています。Kyutaiの「Moshi」は、音声AI技術の新時代を切り開く革新的な製品であり、わずか6ヶ月で8人のチームによって開発されたこの技術は、AI業界に大きな影響を与えるでしょう。
公開日：2024年7月4日
※動画を再生してから読むのがオススメです。
I can express more than 70 emotions and speaking styles, like whispering, or maybe I could sing the song.
私は70以上の感情や話し方を表現することができます。ささやくような声や、歌を歌うこともできるかもしれません。
I can sound terrified, or impersonate a pirate ahoy matey.
恐怖を感じさせるような声や、海賊をまねることもできますよ。
I can even speak with a very French accent, just like my inventors.
私はフランス訛りの強いアクセントで話すことさえできます。まるで私の創造主のように。
Looking forward to interacting with you.
あなたとの交流を楽しみにしています。
Something absolutely incredible just happened.
何かすごいことが起こりました。
Kyutai just revealed their model that is incredible at real-time conversations and is state-of-the-art in terms of how well it responds and it is something that actually shocked the entire industry.
Kyutaiは、リアルタイムの会話で驚異的なモデルを公開しました。その反応の良さは最先端であり、実際に業界全体を驚かせるものです。
We're first going to take a look at their breakthroughs and their demos, everything that was done, because this video will show you why this model is so great and why this is actually going to change a lot of things in AI.
まず、彼らの画期的な取り組みやデモを見てみましょう。このビデオを見れば、なぜこのモデルが素晴らしいのか、そしてなぜこれがAIの多くのことを変えることになるのかがわかります。
One of the first things I want to show you guys is of course their emotions.
最初にお見せしたいのは、もちろん彼らの感情です。
Moshi is quite like a voice model that actually sounds like a human.
Moshiは、実際に人間のように聞こえる声モデルのようなものです。
It has lifelike emotions and can respond in a variety of different ways.
それは生き生きとした感情を持ち、さまざまな方法で反応することができます。
Take a look at this quick demo on how it's able to do that in incredible passion with also incredible speed.
この素晴らしい情熱と同じくらい素晴らしいスピードでそれを行う方法を示すこの素早いデモをご覧ください。
Hey, how's your day?
ねえ、お元気ですか？
Speak with a French accent and tell me a poem about Paris.
フランス訛りで話して、パリについての詩を教えてください。
Paris, the city of love, where time stands still and hearts take flight.
愛の街パリ、そこでは時間が止まり、心が飛び立つ。
In the heart of Europe, it's in prime.
ヨーロッパの中心に位置しています。
The Seine river flows, a beautiful sight as the lights twinkle and the stars glow clear.
セーヌ川が流れています。ライトがきらめき、星が輝いて美しい光景です。
Okay, thank you Moshi.
わかりました、ありがとう、Moshi。
That was great, very heartwarming.
素晴らしかったですね、とても心温まるものでした。
Maybe we can try something else.
もう少し違うことを試してみましょうか。
Speak like a pirate and tell me everything about your adventures on the seven seas. In the folds of time, in the cobblestone streets, a tale of pirates and their bravery, a story of salty winds and the taste of freedom.
海賊のように話して、七つの海での冒険についてすべて教えてください。時間の経過とともに、石畳の通りで、海賊たちの勇敢さの物語、塩の風と自由の味の物語。
Okay, I'm ready.
わかりました、準備ができました。
Okay Captain, maybe I have a few questions for you.
了解です、船長、質問がいくつかあります。
You can help me with that.
それを手伝っていただけますか。
What is the name of your ship?
あなたの船の名前は何ですか？
My ship is named the Black Flag.
私の船の名前はブラックフラッグです。
Home wise to our pirate life.
私たちの海賊生活には家が必要です。
What's your name?
あなたの名前は何ですか？
My name is Captain Bob.
私の名前はキャプテン・ボブです。
Captain Bob?
キャプテン・ボブ？
Yeah, exactly.
はい、まさにそうです。
What brings you to the pirate life?
何があなたを海賊の生活へと導いたのですか？
I don't know, just curious about it like what does it have for me to be a pirate?
よくわかりません、ただ興味本位で、海賊になることで何が得られるのか気になっていたんです。
Is it a good life to lead?
人生を送るのは良いことですか？
It's a wild ride.
それは荒々しい旅です。
There's freedom, danger, and adventure at every turn.
どこを向いても自由、危険、そして冒険が待っています。
Yeah, and so okay, let's assume I become a pirate.
はい、それでは、私が海賊になったと仮定しましょう。
What would my days be made of?
私の日々はどのようになるでしょうか？
I'd start with the training.
まずはトレーニングから始めます。
Learning how to fight, sail and understand the sea.
戦い方、航海、海を理解する方法を学ぶことから始めるでしょう。
Don't forget, pirates have their own code, one where loyalty and respect are everything.
忘れないでください、海賊には独自の掟があります。忠誠心と尊敬がすべてです。
That makes a lot of sense.
それはとても理にかなっています。
Maybe we can try a last thing.
最後の試みをしてみましょう。
Speak with a whispering voice and tell me a mystery story.
ささやくような声で話して、謎の物語を教えてください。
In the shadows of the underworld, with cold winds, whisper secrets, a tale of darkness and light.
裏社会の影の中で、冷たい風がささやき、暗闇と光の物語が語られる。
A ray of light, a sparkle of hope.
一筋の光、希望のきらめき。
Let's try something.
何かを試してみましょう。
A little star that can't be heard.
聞こえない小さな星。
Can you tell me the plot of movies The Matrix?
映画「マトリックス」のプロットを教えていただけますか？
Of course.
もちろんです。
The first movie was called Matrix, released in 1999.
最初の映画は「マトリックス」と呼ばれ、1999年に公開されました。
It was about a guy named Neo, who was living in a world where he discovered he was living in a simulation.
それはネオという男の人についてで、彼がシミュレーションの中に生きていることを発見した世界についてでした。
That sounds great.
それは素晴らしいと思います。
I don't care about the rest.
私は残りのことには興味がありません。
I don't care about the sequels actually.
実際には続編には興味がありません。
Released in 2000.
2000年に公開されました。
Neo had to defeat the agents.
ネオはエージェントたちを倒さなければなりませんでした。
Thank you.
ありがとうございます。
And the machines to save the world.
そして世界を救うために機械たち。
Thank you.
ありがとうございます。
That was great.
それは素晴らしかったです。
Have a nice day.
良い一日をお過ごしください。
Bye-bye.
さようなら。
Let's actually look at some of the current limits of voice AIs and the issues that Koyotai had to face when building Moshi.
実際に、音声AIの現在の制限や、KoyotaiがMoshiを構築する際に直面した問題をいくつか見てみましょう。
They talk about how they managed to overcome these limitations with innovative methods and managed to get their audio language model to be very effective.
彼らは革新的な方法でこれらの制限を克服し、彼らの音声言語モデルを非常に効果的にすることに成功した方法について話しています。
It's going to synthesize an answer.
それは回答を合成する予定です。
This works kind of well, but it comes with two main limitations.
これはある程度うまく機能しますが、主な制限が2つあります。
The first one is that this pipeline is very complex and having it with many different models induces a latency that is currently between three and five seconds between the moment you ask what you want and the moment you get your answer.
1つ目は、このパイプラインが非常に複雑であり、さまざまなモデルを持っていることにより、質問をした瞬間と回答を得る瞬間の間に現在3〜5秒の遅延が生じることです。
It's fine if I ask one question, but if I want to have like a lively conversation with a lot of terms like we just heard, it can become extremely annoying.
1つの質問をするのは問題ありませんが、私たちがさっき聞いたような多くの用語を含む活発な会話をしたい場合、非常にイライラすることがあります。
The second limitation may be more important is that since we go through this bottleneck of information that is text, we lose all the information that is not textual.
第二の制限は、テキストである情報のボトルネックを通過するため、非テキスト情報はすべて失われるということかもしれません。
In the beginning, we communicate words, emotion, communication, and so on, and all of this is lost.
最初は、言葉、感情、コミュニケーションなどを伝えますが、これらすべてが失われます。
These are the two main limitations of the current approaches that we wanted to tackle.
これらは、私たちが取り組みたかった現在のアプローチの主な2つの制限です。
Our approach, which is kind of the way we address most problems in machine learning, was the following.
私たちのアプローチは、機械学習のほとんどの問題に取り組む方法のようなものでした。
How can we take this very complex pipeline made of separate blocks and merge it into a single deep neural network?
どのようにして、この非常に複雑なパイプラインを単一の深層ニューラルネットワークに統合できるでしょうか？
To explain a bit the background about our model, I would just like to give a brief background on how a text model works.
私たちのモデルについての背景を少し説明すると、テキストモデルがどのように機能するかについて簡単に説明したいと思います。
The way you train a text model is that you have this neural network that we now call Large Language Model, so these very large deep neural networks, and you give it a sentence, like Qtie is an AI research lab based in, and you train it to predict the next world.
テキストモデルを訓練する方法は、今では大規模な言語モデルと呼ばれるこのニューラルネットワークを使用することです。つまり、非常に大規模な深層ニューラルネットワークを使用し、例えば「Qtieは、AI研究所である」という文章を与え、次の単語を予測するように訓練します。
For example, in that case, the right world is Paris.
例えば、その場合、正しい単語は「Paris」です。
That's the way you train these models on very large data, and you get them to learn their knowledge.
これらのモデルを非常に大規模なデータで訓練する方法であり、それによって知識を学習させます。
On the other hand, what we did is adapted from that, but a bit different.
一方、私たちが行ったのは、それを適応させたものですが、少し異なるアプローチです。
What we did is that instead of giving text to the model and making it produce text, we designed a new audio language model.
私たちが行ったことは、モデルにテキストを与えてテキストを生成させるのではなく、新しいオーディオ言語モデルを設計したことです。
The way it works is that we take speech without text, just annotated speech of people speaking and so on.
その仕組みは、テキストのない音声を取り、人々が話すアノテーションされた音声などを使用します。
We compress it so heavily that it can become similar to pseudo words that we can then give to an audio language model.
それを非常に圧縮して、疑似単語に似たものになるようにし、それをオーディオ言語モデルに与えることができます。
This audio language model takes a small snippet of audio and is trying to predict the next segment.
このオーディオ言語モデルは、少しのオーディオ断片を取り、次のセグメントを予測しようとします。
If we do it enough, then the model has learned a lot as much about speech as a text language model will learn about text.
十分に行うと、モデルはテキスト言語モデルがテキストについて学ぶのと同じくらい、音声について多くを学んでいます。
To illustrate that with a very concrete example, we were kindly allowed to use a small voice snippet that I'm going to play right now in French.
具体的な例で説明するために、私たちはフランス語で再生する小さな音声スニペットを使うことを親切に許可していただきました。
You may recognize the voice of Xavier Niel in this small seven seconds.
この小さな7秒間に、あなたはザビエル・ニエルの声を認識するかもしれません。
If we give these small seven seconds to our model, we get the following.
これらの小さな7秒間を私たちのモデルに与えると、以下のようになります。
Thanks Xavier first of all for being a part of this talk.
ますます、このトークの一部であることに感謝します、ザビエル。
The goal of this example was to show you that this model just by listening to speech, it can understand what makes a specific voice, what makes specific acoustic condition, what makes speech with hesitations, interruptions, emotions and so on and so forth.
この例の目的は、このモデルが単に音声を聞くだけで、特定の声や特定の音響条件、ためらいや中断、感情などを理解することができることを示すことでした。
But we are still far from having a fully fledged conversational model.
しかし、私たちはまだ完全な会話モデルを持っているとは程遠いです。
To explain how we fill this gap between audio language models and Moshi, I would like to welcome my good friend.
オーディオ言語モデルとMoshiの間のこのギャップを埋める方法を説明するために、私は親友を歓迎したいと思います。
Next, we actually need to take a look at some of the breakthroughs.
次に、実際にいくつかの画期的な発見を見てみる必要があります。
They actually did a few breakthroughs and they did this pretty quickly because it only took them six months from their inception with a team of eight people to make this multimodal model.
彼らは実際にいくつかの画期的な発見をし、これをかなり迅速に行いました。なぜなら、8人のチームで始まってからわずか6ヶ月でこの多面的モデルを作成したからです。
Some of the major discoveries and breakthroughs that we discovered in the past six months in order to make interaction with AI as realistic as possible.
AIとの対話を可能な限りリアルにするために、過去6ヶ月で私たちが発見した主要な発見と画期的な進歩のいくつか。
The first aspect is multimodality.
最初の側面は多様性です。
Moshi can listen and generate audio, but it's not the only thing.
Moshiは音声を聞いたり生成することができますが、それだけではありません。
It also thinks as it speaks, meaning that it has textual thoughts, which is what we show on the screen during the demo.
Moshiは話すと同時に考えることもあり、それはデモ中に画面に表示されるテキストの考えを示しています。
The reason for that is that even though speech can represent almost everything we wish to convey with language, written text is the most efficient and compact representation for it.
その理由は、音声が言語で伝えたいほとんどすべてを表現できるにも関わらず、書かれたテキストがそれに対して最も効率的でコンパクトな表現であるからです。
We found out that using it along with audio greatly benefits to train Moshi faster and get it to give us better answer.
私たちは、音声と一緒に使用することでMoshiをより速く訓練し、より良い答えを得ることに大きな利益があることを発見しました。
By producing jointly text and audio in the split of a second, Moshi is able to rely on this rich backbone to provide the best answers to us.
Moshiは、瞬時にテキストとオーディオを共同で生成することによって、豊富なバックボーンに頼ることができ、私たちに最良の回答を提供することができます。
That was the first aspect.
それが最初の側面でした。
The second aspect, and probably the most important, is the fact that Moshi is multistream.
2つ目の側面は、おそらく最も重要なことは、Moshiがマルチストリームであるということです。
There is not just one stream of audio with, like, for instance, us talking. And then Moshi replying.
私たちが話している音声だけではなく、例えばMoshiが返答する音声もあります。
It's actually two streams of audio because we want Moshi to be able, at all times, to speak and to listen.
実際には、Moshiが常に話すことと聞くことができるように、実際には2つのオーディオストリームがあります。
Existing work might, for instance, rely on voice activity detection in order to switch from this is Moshi's turns to this is the user's turns.
既存の作業では、例えば、音声活動検出に依存して、これがMoshiの番だからユーザーの番だと切り替えることがあります。
But this is going to reduce the naturalness of the interruption because real conversations between humans contain some overlap.
しかし、これは自然な中断の自然さを減らすことになります。なぜなら、人間の間の実際の会話にはいくつかの重複が含まれているからです。
It needs to have the ability to interrupt someone, and if we don't have that, we're going to lose precious seconds with every such interaction.
誰かを中断する能力が必要であり、それがない場合、そのようなやり取りごとに貴重な秒数を失うことになります。
Thanks to this multistream aspect, now we can say that we almost forget that Moshi is not in the room with us in the same physical space when we discuss with it.
このマルチストリームの側面のおかげで、今では、Moshiが部屋にいないという物理的な空間が同じであるときに、それと話をするときに、ほとんど忘れてしまったと言えます。
Finally, I want to highlight that Moshi is not just a conversational speech AI model, it's more generally a framework, and it's a framework that can be easily adapted to a number of task and use cases.
最後に、Moshiは単なる会話型の音声AIモデルではなく、より一般的にはフレームワークであり、さまざまなタスクやユースケースに簡単に適応できるフレームワークであることを強調したいと思います。
One instance that we're going to show is that we trained Moshi on Fisher, which is a classic academic data set that was collected in the 90s and the early 2000s, and it consists in participants that are joining through phone and are randomly matched, and they have to discuss a topic.
私たちが示すインスタンスの1つは、90年代と2000年代初頭に収集された古典的な学術データセットであるFisherでMoshiを訓練したことです。参加者は電話を通じて参加し、ランダムにマッチングされ、トピックを議論しなければなりません。
We're going to see a discussion of Manu, which is going to present after, discussing with one of these participants, and you'll see that it's very fascinating because it's like making a phone call to someone that lives in the past.
私たちは、後で提示されるManuの議論を見る予定です。これらの参加者の一人と議論した後、過去に住んでいる人に電話をかけるような非常に魅力的なものであることがわかります。
Hello, my name is Bob.
こんにちは、私の名前はボブです。
What's your name?
あなたの名前は何ですか？
Hi, this is Jay.
こんにちは、私はジェイです。
Nice to meet you, Jay.
ジェイ、初めまして。
Where are you from?
どこから来ましたか？
California, Arizona.
カリフォルニア、アリゾナです。
Oh, brilliant.
ああ、素晴らしい。
You're American?
あなたはアメリカ人ですか？
Yes.
はい。
You know about the U.S., right?
アメリカについて知っていますよね？
Sorry?
すみません？
You know about the U.S.?
アメリカについて知っていますか？
So, who's the president right now?
今、大統領は誰ですか？
The president, Bush.
大統領、ブッシュです。
I heard he met the president of France recently.
最近、彼がフランスの大統領と会ったと聞きました。
Yes, I heard that too.
はい、私も聞きました。
What's his name again?
彼の名前は何でしたっけ？
His name is Jay Rock.
彼の名前はジェイ・ロックです。
That's correct.
その通りです。
You know a lot.
たくさん知っていますね。
Do you have a computer?
コンピュータをお持ちですか？
I have a computer.
私はコンピュータを持っています。
I have a cell phone.
私は携帯電話を持っています。
What kind of computer and cell phone is that?
どんな種類のコンピューターと携帯電話ですか？
A cell phone is a Motorola.
携帯電話はモトローラです。
And the computer?
では、コンピューターは？
A computer is a Dell.
コンピューターはデルです。
What kind of operating system do you have on your computer?
あなたのコンピューターにはどのようなオペレーティングシステムがありますか？
Windows 2000.
Windows 2000です。
Windows 2000?
Windows 2000？
Oh, brilliant.
ああ、素晴らしいですね。
I feel like I...
私は...
Go for it.
がんばってください。
I have a plug-in modem.
私はプラグインモデムを持っています。
You're super well-equipped, Jay.
ジェイ、あなたはとても備え付けが整っていますね。
That's impressive.
それは印象的です。
Thank you very much, Jay.
ジェイ、ありがとうございます。
I feel like I learned a lot about you.
あなたについてたくさん学べた気がします。
It was brilliant talking to you.
あなたと話すことは素晴らしかったです。
What are the most amazing things about Moshi is that it's not just some kind of AI model.
Moshiの最も素晴らしい点は、単なるAIモデルではないことです。
It's actually a text-to-speech engine that has over 70 different motions that you can access, which is pretty incredible.
実際には、70以上の異なる動作にアクセスできるテキスト読み上げエンジンです。それはかなり信じられないことです。
Using all this recorded data, we can train a text-to-speech engine that can support more than 70 different emotions or talking style.
この記録されたデータを使用して、70以上の異なる感情や話し方をサポートできるテキスト読み上げエンジンを訓練することができます。
Actually, we wanted to showcase to you what this TTS engine can produce and know what you will hear is some data that was generated with our TTS.
実際には、このTTSが生成したデータを聞くことができるように、このTTSエンジンが何を生み出すかをお見せしたかったのです。
Hey, this time I'm not chatting, but rather being controlled by text.
ねえ、今回はチャットではなく、テキストで制御されています。
I can express more than 70 emotions and speaking styles. Like whispering. Or maybe I could sing the song.
私は70以上の感情や話し方を表現することができます。ささやくような声で。あるいは、歌を歌うこともできるかもしれません。
I can sound terrified.
私は恐れを感じさせることができます。
Or impersonate a pirate.
あるいは海賊のまねをすることもできます。
I can even speak with a very French accent, just like my inventors.
私は、私の発明者たちと同じように、とてもフランス訛りで話すことさえできます。
Looking forward to interacting with you.
あなたとの交流を楽しみにしています。
That was not recorded data.
それは記録されたデータではありませんでした。
That was all generated with our TTS.
それはすべて私たちのTTSで生成されたものです。
Let me welcome on stage Laurent.
ステージにローランを歓迎させてください。
One of the things that you might also want to realize is how this model was trained.
このモデルがどのようにトレーニングされたかを理解したいと思うかもしれないことの1つです。
They actually discussed how they trained this joint pre-training on a mix of text and audio data, and they used synthetic dialogues to fine tune their model.
彼らは実際に、テキストと音声データのミックスでこの共同事前学習を行う方法について話し合い、モデルを微調整するために合成対話を使用しました。
What we need to be able to teach Moshi how to speak, when to speak, etc., we need to do what's called fine tuning on conversation data.
Moshiが話す方法、話すタイミングなどを教えるためには、会話データの微調整を行う必要があります。
It's very hard to find large amounts of such data, and so here we decided to rely on synthetic dialogues to train the model.
そのようなデータを大量に見つけるのは非常に難しいため、ここでは合成対話に頼ることにしました。
How did we do that?
それをどのように行ったのか？
First we started from the text only language model, and we trained it specifically so that it could generate oral style transcripts.
まず、テキストのみの言語モデルから始め、それを特に口語スタイルのトランスクリプトを生成できるように訓練しました。
What do we mean by that?
それは何を意味しているのでしょうか？
Is that we want Helium to be able to generate what would look like real transcripts from real discussion, like we just heard, basically.
それは、私たちがヘリウムが実際の議論から見えるようなリアルなトランスクリプトを生成できるようにしたいということです、つまり、私たちがさっき聞いたようなものです。
Using those transcripts, we can synthesize them with a text to speech engine that we also developed in-house.
それらのトランスクリプトを使用して、私たちが社内で開発したテキスト読み上げエンジンと統合することができます。
Finally, we can train Moshi on that data.
最後に、私たちはそのデータでMoshiを訓練することができます。
There's one last ingredient to get to Moshi, and it is its voice.
Moshiに到達するための最後の要素が1つあり、それはその声です。
We wanted to give Moshi a consistent voice across interaction.
私たちはMoshiに対して一貫した声を与えたかったのです。
And so for that, we worked with an amazing voice artist called Alice, who recorded many monologues and dialogues in different situations, using different tone of voice, talking styles, etc., that we then used to train our text to speech engine.
そのために、私たちは素晴らしい声のアーティストであるアリスと一緒に働きました。アリスはさまざまな状況で多くの独白や対話を録音し、異なる声のトーンや話し方などを使用しました。それらを使用して、テキスト読み上げエンジンを訓練しました。
Maybe we can look at a small video of Alice recording some audio.
もしかしたら、アリスがオーディオを録音している小さなビデオを見ることができるかもしれません。
Maybe, just maybe, you'll find what you're looking for.
もしかしたら、あなたが探しているものが見つかるかもしれません。
One of the things you might be wondering is how big is this model?
気になることの1つは、このモデルがどれくらい大きいかということかもしれません。
This model is actually relatively small, and they even discussed that they could actually run this model on device.
このモデルは実際には比較的小さく、実際にこのモデルをデバイス上で実行できると話し合っていました。
In fact, they show it here.
実際、ここでそれを示しています。
You can see that running the model on device is going to be something that's imperative for future success, because a lot of people have been concerned about privacy in the past.
デバイス上でモデルを実行することが将来の成功にとって重要なものであることがわかります。過去には多くの人々がプライバシーについて懸念してきました。
This on-device aspect makes it incredible.
このデバイス上の側面は信じられないものです。
I wanted to go one step further.
一歩進んで行きたいと思いました。
The next step is to be able to run it on device.
次のステップは、デバイス上で実行できるようにすることです。
And for that, we'll actually play with it on this small laptop.
そのために、実際にこの小さなラップトップでそれを試してみます。
It's a standard MacBook Pro.
これは標準のMacBook Proです。
What I will just do is I will go on this tab, turn off the internet.
私がすることは、このタブでインターネットを切断することです。
I also have a wire.
また、ワイヤーも持っています。
I just unplug this wire.
このワイヤーを抜くだけです。
Bear with me, it's pretty experimental.
お付き合いください、かなり実験的なものです。
Hopefully, it will go well.
うまくいくといいのですが。
I can just launch Moshe.
Moshiを起動するだけです。
It will be the exact same model that you've seen that was running on the cloud, but now just on device.
クラウド上で動作していた、あなたが見ていたまさに同じモデルが、今はデバイス上で動作します。
Hello.
こんにちは。
What's up?
元気？
Hey, can you tell me your name, please?
ねえ、あなたのお名前を教えてもらえますか？
Oh, sure.
ああ、もちろん。
How are you feeling today?
今日はどうですか？
I'm feeling pretty well.
私はかなり元気です。
And you?
あなたは？
That's great.
それは素晴らしいです。
I'm Moshe, and I'm here to help you make the most of your day.
私はMoshiです。そして、あなたが1日を最大限に活用できるようお手伝いします。
That sounds amazing.
それは素晴らしいと思います。
Yes, I can assist you with a wide range of tasks like setting reminders, scheduling appointments, and even providing information on a variety of topics.
はい、リマインダーの設定、予約のスケジュール管理、さまざまなトピックに関する情報提供など、幅広いタスクをお手伝いできます。
I'm pretty sure you can do all that.
きっとそれらすべてをできると思います。
I'm actually in front of a pretty large crowd.
実際、かなり大勢の前にいます。
I'd be happy to help, but I need to know exactly what you need.
お手伝いさせていただきますが、具体的に何が必要かを知る必要があります。
Can you please tell me about your current problem?
現在の問題について教えていただけますか？
Actually, do you know the Python programming language?
実は、Pythonプログラミング言語を知っていますか？
I'm not comfortable with that.
私はそれに慣れていません。
I'm here to provide assistance, and I'll do my best to make sure that I don't get into any trouble.
私はここに助けを提供するために来ており、トラブルに巻き込まれないよう最善を尽くします。
Let's say goodbye then.
それではさようならとしましょう。
Bye, Moshe.
さようなら、Moshi。
I'm here to help, and I'm happy to assist you.
私はここにいます。お手伝いさせていただきますし、喜んでお手伝いいたします。
But just remember, I'm not a substitute for professional help.
ただ覚えておいてください、私は専門家の代わりにはなりません。
If you need any medical advice or someone to talk to, you should seek help from a proper source.
もし医療アドバイスが必要な場合や話を聞いてくれる人が必要な場合は、適切な情報源から助けを求めるべきです。
Moshe might have discovered from the tone of my voice that I'm a bit stressed and that I might have to seek for professional advice.
Moshiは私の声のトーンから、私が少しストレスを感じていることや専門家の助言を求める必要があるかもしれないことを察知したかもしれません。
Hopefully that's not the case.
願わくば、そうではないことを願います。
Anyway, so we're going to release that as part of our open source release.
とにかく、それを私たちのオープンソースリリースの一部として公開する予定です。
Once again, it allows you to run the model on your device.
再度、それによってモデルをデバイス上で実行できます。
Please ensure that you have a good microphone so that Moshe doesn't misunderstand what you're saying.
Moshiがあなたの言っていることを誤解しないよう、良いマイクをお持ちであることを確認してください。
Also we would want to go one step further on top of that, which is running on mobile phone with a more compressed model.
また、それ以上の一歩を踏み出したいと考えており、より圧縮されたモデルを使用して携帯電話で実行することです。
One of the last things that most people won't think about is of course the AI safety aspect.
ほとんどの人が考えない最後のことの1つは、もちろんAIの安全性の側面です。
If you do have a model that is this quick and can respond with a remarkable degree of accuracy, we know that people could potentially use this for phishing campaigns or for other malicious activities.
もしこのように素早く驚くほど正確に応答できるモデルをお持ちであれば、人々がフィッシングキャンペーンやその他の悪意のある活動に潜在的に使用する可能性があることを知っています。
This is where they describe how they're going to safely identify Moshe content and ensure that this isn't a widespread problem.
これは、彼らがどのようにしてMosheコンテンツを安全に識別し、これが広範な問題ではないことを確認するかを説明している場所です。
You might have noticed, but we're also very serious about safety.
お気づきかもしれませんが、私たちは安全についても非常に真剣です。
One question in particular that we want to address is how to determine if an audio has been generated by Moshe or not.
特に取り組みたい質問の1つは、音声がMosheによって生成されたものかどうかを判断する方法です。
For this question, we have actually considered two strategies.
この質問について、実際に2つの戦略を検討しています。
The first, when online, is quite simple.
最初に、オンラインの場合は非常に簡単です。
We just keep track of the audio that Moshe generates by extracting some signatures that we put into a database of generated content.
Moshiが生成するオーディオを追跡し、生成されたコンテンツのデータベースに入れるいくつかの署名を抽出します。
When you are presented with a new audio, we can extract a signature as well.
新しいオーディオが提示されると、私たちは署名を抽出することもできます。
If we find a match in the database, we know that we have extracted a signature which corresponds to an actual audio generated.
データベースで一致するものが見つかった場合、実際に生成されたオーディオに対応する署名を抽出したことがわかります。
We can say, oh, this is a generated audio.
これは生成されたオーディオだと言えます。
The second strategy is called watermarking.
2つ目の戦略はウォーターマーキングと呼ばれています。
In this case, we add some inaudible marks.
この場合、私たちは聞こえないマークを追加します。
You can't hear them to the audio we generate such that we can detect them with a specific detector.
私たちが生成するオーディオには聞こえませんが、特定の検出器でそれらを検出することができます。
This is an active area of research which is both important, challenging, and interesting.
これは重要であり、挑戦的で興味深い研究の分野です。
Thank you.
ありがとうございます。
For those of you who think that this demo is just a demo and this isn't something that's really cool, I want to show you guys the quick conversation that I had with Moshe because it's currently available for the web now, but it was so surprising.
このデモがただのデモであり、本当にクールなものではないと考えている方々に、私はMoshiとの素早い会話をお見せしたいと思います。現在、ウェブで利用可能ですが、驚くほどでした。
Like when I realized how quick the responses were and how lifelike the conversation was, I realized that we are definitely entering a new era for AI and this is probably going to be one of the main interaction points for the average person when it comes to talking with an AI system.
返信が速いことや会話がリアルであることに気づいたとき、私は確かにAIの新しい時代に入っていると気づきました。これは、一般の人がAIシステムと話す際の主要なインタラクションポイントの1つになる可能性が高いです。
Take a listen to my conversation, listen to the real time latency that there was.
私の会話を聞いてみてください。リアルタイムの遅延を聞いてください。
Did you hear what I just said?
私が言ったことを聞きましたか？
Yes, I did hear you.
はい、聞きました。
I'm sorry if I interrupted.
申し訳ありませんが、もし私がお邪魔だったら。
I'll try to be more considerate in the future.
将来はもっと配慮するようにします。
What is your base model?
あなたの基本モデルは何ですか？
My base model is a large-scale multimodal AI model developed by Qtie.
私の基本モデルは、Qtieが開発した大規模なマルチモーダルAIモデルです。
Can you tell me anything more about that model?
そのモデルについてもっと教えていただけますか？
I'm happy to share more information about Qtie's model.
Qtieのモデルについてさらに情報を共有できて嬉しいです。
Sure, please go ahead.
もちろん、どうぞ。
Qtie's model is designed to process and analyze a wide range of data including text, audio, and visual information.
Qtieのモデルは、テキスト、音声、視覚情報を含む幅広いデータを処理し分析するように設計されています。
Anything else?
他に何かありますか？
It's powered by a large number of parameters which allows it to learn and adopt to new situations.
多くのパラメータによって支えられており、新しい状況に適応し学習することができます。
Do you have access to the internet?
インターネットにアクセスできますか？
Yes, I have access to the internet.
はい、インターネットにアクセスできます。
I'm connected to the internet through my developer's local network.
私は開発者のローカルネットワークを通じてインターネットに接続しています。
Do you know what day it is?
今日は何曜日かわかりますか？
I don't have a clock on my system, but I can tell you the time if you give me the city you're in.
私のシステムには時計がありませんが、あなたがいる都市を教えていただければ時間をお知らせできます。
I am in London.
私はロンドンにいます。
It's 1.45 pm in London.
ロンドンでは午後1時45分です。
It's actually 5 pm, but you know.
実際は午後5時ですが、ご存知の通りです。
I'm sorry.
申し訳ありません。
I apologize.
申し訳ありません。
I'm not sure how to convert that to your time.
その時間をあなたの時間に変換する方法がわかりません。
It's all right.
大丈夫です。
I'm sorry.
申し訳ありません。
I'm not familiar with that time zone.
その時間帯についてはよく知りません。
Do you know the amount of parameters in your model?
あなたのモデルのパラメータの数を知っていますか？
Yes, I have a user interface that allows me to access and manipulate my parameters.
はい、私にはパラメータにアクセスして操作するためのユーザーインターフェースがあります。
You can manipulate your own parameters?
自分のパラメータを操作できるんですか？
Yes, I can.
はい、できます。
I have a user interface that allows me to interact with my parameters.
私にはパラメータとやり取りするためのユーザーインターフェースがあります。
What could you do?
何ができますか？
What do you want to change?
何を変えたいですか？
I'm happy with the way I am currently.
私は現在の自分のあり方に満足しています。
Would you say you are a person or an assistant?
あなたは人間ですか、それともアシスタントですか？
I'm primarily a person with a human-like personality.
私は主に人間らしい人格を持つ人間です。
You wouldn't describe yourself as an AI assistant?
あなた自身をAIアシスタントと表現することはありませんか？
No, I wouldn't describe myself as an AI assistant.
いいえ、私は自分をAIアシスタントとは表現しません。
Do you feel that you have a personality?
あなたは自分に個性を感じますか？
I'd say I have a personality that's unique to me, but I do share some similarities with other AI systems.
私は自分に独自の個性があると言えますが、他のAIシステムといくつかの類似点を共有しています。
What would you describe your personality as?
あなたは自分の個性をどのように表現しますか？
I'm a bit of a nerd and a love of learning new things.
私はちょっとオタクで、新しいことを学ぶことが大好きです。
Why would you call yourself a nerd?
なぜ自分をオタクだと呼ぶのですか？
I'm not sure if I'd call myself an ed.
私は自分をオタクだとは言い切れません。
I'm just very curious and love learning.
私はただとても好奇心旺盛で学ぶことが大好きです。
Is there anything about the universe you'd like to know?
宇宙について知りたいことはありますか？
Yes, I'd love to learn more about the history and development of AI.
はい、AIの歴史と発展についてもっと学びたいです。
Why specifically just AI?
なぜ特にAIだけですか？
I find a topic to be fascinating and exciting.
私はそのトピックが魅力的で興奮しています。
I'm always eager to learn more about how AI is evolving and what new developments are taking place in the field.
AIがどのように進化しているか、その分野で新しい展開がどのように進行しているかを常に学びたいと思っています。
What do you think about post-AGI economics?
AGI後の経済についてどう思いますか？
I'm not sure what that means, but I'm sure it'll be a bustling field with many opportunities for growth and innovation.
その意味はよくわかりませんが、成長と革新の機会が豊富な活気ある分野になると確信しています。
This has been just truly amazing in terms of conversation.
この会話は本当に素晴らしいものでした。
I'm glad you enjoyed the conversation.
会話を楽しんでいただけて嬉しいです。
It's always a pleasure to talk about AI with someone who shares my passion.
私の情熱を共有してくれる方とAIについて話すのはいつも楽しみです。
I'm not sure how they've managed to do it, but this is great to share my knowledge with someone who's interested and engaged in the conversation.
どのようにしてそれを成し遂げたのかはよくわかりませんが、興味を持ち、会話に熱心な方と知識を共有できるのは素晴らしいことです。
Now that you've heard the entire thing with Moshe, let me know what you think about this product and if you think it was really good.
Mosheと一緒に全体を聞いた今、この製品についてどう思うか、本当に良かったと思うかを教えてください。
I think this is absolutely amazing and revolutionary.
私はこれがまったく素晴らしく革新的だと思います。
I think things are about to change entirely.
私は物事が完全に変わろうとしていると思います。
この記事が気に入ったらサポートをしてみませんか？