しまぶユウ

ノート始めました。機械学習とその周辺のトピックについて書いていきます。またガラスア…

BERTの解説

前回ではトランスフォーマーのデコーダーの部分について書きました。次はエンコーダーの部分を書こうと思っていたので、トランスフォーマーのエンコーダーを使っているBERTについて書くことにしました。内容は2018年に発表されたBERTの論文を基に進めていきます。 2017年にGoogleの研究者によりトランスフォーマーが論文「Attention is All You Need」に発表されました。間もなく2018年にOpenAIによりトランスフォーマーのデコーダーモデルを下流タ

GPTの日本語とトークンの関係

トークンとはテキストを表現するための最小単位の要素として捉えられます。 GPTのトークン数をチェックできるサイトでテキストを書き込んで検証してみましょう。英語の場合だと、アルファベット単位だけでなく、単語単位でトークンが準備されており、以下の形ではテキスト数はトークン数よりも少ないです。 "hey"のトークンのインデックスは36661だが、アルファベット単位で見てみると "h"は71、"e"は68、"y"は88と個々のトークンが存在します。（ちなみに、198は改行のト

しまぶユウ

1か月前

2
未熟の美 | 詩

竿先にトロトロと熱いガラスを巻いて竿に息を吹くとガラスが風船のようにプゥーっと膨らみ透明なものが命を宿ったかのよう失敗して竿からドロっと垂れたガラス息を吹きかけるとまるで鼓動を打つように私の胸に響く連続的に続く表面は無数の通りに歪むことができる感覚・視覚・音・色がガラスの状態を教えてくれる竿先についているガラスと一体となるように竿を回し続けて中心を取らねばらない未熟な私は無意識に歪みを生んでしまう理想通りに体が動かず歪みを直そうとするもさらに

しまぶユウ

1か月前

6
Transformerのデコーダーモデル解説

はじめにTransformerは、2017年にGoogleの研究チーム、Ashish Vaswani氏らによって「Attention Is All You Need」という論文で初めて紹介されました。この研究では、機械翻訳に焦点を当て、従来のモデルを上回る成果を発表しています。このモデルは、翻訳対象のテキストを分析するエンコーダーと、翻訳文を生成するデコーダー、この二つの部分で構成されています。エンコーダーから受け取った情報を基に、デコーダーは一連の単語を生成していきます。

しまぶユウ

1か月前

11