"AI" と"機械学習"と"ChatGPT"と・・・
AI、人工知能や生成AIという言葉がよく使われています。このAIを実現できる一つの手法として機械学習があります。通常、人が考えて実行していることを人が介さず自動で行うことができるものとされています。
ChatGPTは機械学習の中でも深層学習(ディープラーニング)という技術が使われています。
機械学習
機械学習はデータの中のどの要素が結果に影響を及ぼしているのか（特徴量という）を人間が判断、調整することで予測や認識の精度をあげています。
ディープラーニング
一方、ディープラーニングはデータの中に存在しているパターンやルールの発見、特徴量の設定、学習なども機械が自動的に行うことが特徴です。人間が判断する必要がないのが画期的です。
AIの中に機械学習があって、その機械学習の中に深層学習があるというイメージです。
さらにその深層学習の中でも言語処理を行うもので"Transformer"という仕組みが使われています。みんなが文字を打ち込み欲しいものに近いものを作ってくれる生成AI、ChatGPT、Gemni,はテキストでMidjourney、Stable Diffusionは画像を作ってくれます。
Gemni、Stable Diffusionであれば無料で使うことができるので試してみるのも良いと思います。
Stable Diffusionであれば以下の"Hugging Face"というサイトで試すことができます。
GeminiはGoogleアカウントが必要ですが以下で無料で使えます。。
"Hugging Face"については
"Transformer"をもっと詳しく。
"Transformer"の"Attention"がポイントのようです。
かつて 自然言語処理 x Deep Learning と言えば、 LSTM や GRU といった RNN (Recurrent Neural Network) でした。
参考： DeepLearning における会話モデル： Seq2Seq から VHRED まで
ところが2017年の6月、 Attention Is All You Need という強いタイトルの論文が Google から発表され、機械翻訳のスコアを既存の RNN モデル等から大きく引き上げます。
Attention は従来の RNN のモデル Seq2Seq などでも使われていました。（seq2seq で長い文の学習をうまくやるための Attention Mechanism について）
Transformer は文章などのシーケンスから別の文章などのシーケンスを予測するモデルとして発表されましたが、 Transformer の Encoder 部分を使ったモデルは文章分類などシーケンスからカテゴリを予測する問題等でも高い性能を出しており、特に最近発表された同じく Google の BERT (Bidirectional Encoder Representations from Transformers) は言語理解の様々なタスクのベンチマークである GLUE で圧倒的なスコアを達成しました。
このように Transformer やその基盤になっている Attention はその後広く使われるようになり、現在では「自然言語処理 x Deep Learning といえば Attention だよね」と言っても過言ではないくらいの存在となっています。
"Transformer"とは
"テンソル"とは
この記事が気に入ったらサポートをしてみませんか？