![見出し画像](https://assets.st-note.com/production/uploads/images/116842923/rectangle_large_type_2_378e13e6a5fa21dff89113354247b3b1.png?width=1200)
Transformer | 文を混ぜることができる生成AIを作ってみた
最近,生成系AI(GPTみたいなもの)を勉強していて,勉強がてらに作ってみました.Sentence Mixerといいます.HuggingFaceのSpaceで公開しているので,是非遊んでみてください.
例えば以下のように2つの文を入力すると,
A : 今日入った温泉はこれまでのどこの温泉よりも格別だった。
B : 寒くて血が凍りそうだ・・・あれ、「血が凍る」の意味、ちょっと違うかな?
以下のような文が生成されます.
寒いのに、まだ風呂に浸かってる?
我ながら面白いものができたと思います.
Sentence Mixerの仕組みについて説明します.
Sentence Mixerは,エンコーダ・デコーダ型Transformerモデルを使用しています.エンコーダ・デコーダ型Transformerとしては,BARTやT5などがあり,翻訳,要約,パラフレーズ,生成系質疑応答などといった,変換生成系のタスクを中心に行っているモデルです.
エンコーダ・デコーダ型Transformerの使い方としては,まず入力文をエンコーダに入れ,エンコーダから出てきたものをデコーダに入れると,デコーダから出力文が得られます.
Sentence Mixerでは,要約タスクを訓練したT5モデルを使用し,以下のような図の流れで文を混ぜます.
![](https://assets.st-note.com/img/1695365579301-QnljUL73la.png?width=1200)
入力した文2つをそれぞれエンコーダに通し,エンコーダから出てきたものを r : 1-r の比で内分します.内分したものをデコーダに入れると,2つの文が混ざったような文が出てくる訳です.
たったこれだけの足し算で,本当に文が足されてしまうのですから,興味深いです.
この記事が気に入ったらサポートをしてみませんか?