しまぶユウ

ノート始めました。 機械学習とその周辺のトピックについて書いていきます。 またガラスア…

しまぶユウ

ノート始めました。 機械学習とその周辺のトピックについて書いていきます。 またガラスアートに関しても思いついた時に書きます。

記事一覧

AlphaZeroの解説

囲碁、将棋、チェスといったボードゲームで、人間を超える強さを持つAIが存在することが知られています。これらのAIは、自ら対局を重ねることで学習データを生成し、それに…

3

BERTの解説

前回ではトランスフォーマーのデコーダーの部分について書きました。 次はエンコーダーの部分を書こうと思っていたので、トランスフォーマーのエンコーダーを使っているBE…

しまぶユウ
1か月前
9

GPTの日本語とトークンの関係

トークンとはテキストを表現するための最小単位の要素として捉えられます。 GPTのトークン数をチェックできるサイトでテキストを書き込んで検証してみましょう。 英語の場…

しまぶユウ
1か月前
2

未熟の美 | 詩

竿先にトロトロと熱いガラスを巻いて 竿に息を吹くとガラスが風船のようにプゥーっと膨らみ 透明なものが命を宿ったかのよう 失敗して竿からドロっと垂れたガラス 息を吹…

しまぶユウ
2か月前
6

Transformerのデコーダーモデル解説

はじめにTransformerは、2017年にGoogleの研究チーム、Ashish Vaswani氏らによって「Attention Is All You Need」という論文で初めて紹介されました。この研究では、機械…

しまぶユウ
2か月前
11
AlphaZeroの解説

AlphaZeroの解説

囲碁、将棋、チェスといったボードゲームで、人間を超える強さを持つAIが存在することが知られています。これらのAIは、自ら対局を重ねることで学習データを生成し、それに基づいて学習を行います。外部のデータは必要としません。
私が自らAlphaZeroのアルゴリズムを用いてオセロを学習させた際、AIがボードの角を制する戦略が有利であることを学んだようで、角を積極的に取る行動を見せました。この振る舞いには

もっとみる
BERTの解説

BERTの解説

前回ではトランスフォーマーのデコーダーの部分について書きました。

次はエンコーダーの部分を書こうと思っていたので、トランスフォーマーのエンコーダーを使っているBERTについて書くことにしました。内容は2018年に発表されたBERTの論文を基に進めていきます。

2017年にGoogleの研究者によりトランスフォーマーが論文「Attention is All You Need」に発表されました。間

もっとみる
GPTの日本語とトークンの関係

GPTの日本語とトークンの関係

トークンとはテキストを表現するための最小単位の要素として捉えられます。
GPTのトークン数をチェックできるサイトでテキストを書き込んで検証してみましょう。

英語の場合だと、アルファベット単位だけでなく、単語単位でトークンが準備されており、以下の形ではテキスト数はトークン数よりも少ないです。

"hey"のトークンのインデックスは36661だが、アルファベット単位で見てみると

"h"は71、"e

もっとみる
未熟の美 | 詩

未熟の美 | 詩

竿先にトロトロと熱いガラスを巻いて
竿に息を吹くとガラスが風船のようにプゥーっと膨らみ
透明なものが命を宿ったかのよう

失敗して竿からドロっと垂れたガラス
息を吹きかけると
まるで鼓動を打つように
私の胸に響く

連続的に続く表面は
無数の通りに歪むことができる
感覚・視覚・音・色がガラスの状態を教えてくれる
竿先についているガラスと一体となるように
竿を回し続けて中心を取らねばらない

未熟な

もっとみる
Transformerのデコーダーモデル解説

Transformerのデコーダーモデル解説


はじめにTransformerは、2017年にGoogleの研究チーム、Ashish Vaswani氏らによって「Attention Is All You Need」という論文で初めて紹介されました。この研究では、機械翻訳に焦点を当て、従来のモデルを上回る成果を発表しています。このモデルは、翻訳対象のテキストを分析するエンコーダーと、翻訳文を生成するデコーダー、この二つの部分で構成されています。

もっとみる