しまぶユウ

ノート始めました。 機械学習とその周辺のトピックについて書いていきます。 またガラスア…

しまぶユウ

ノート始めました。 機械学習とその周辺のトピックについて書いていきます。 またガラスアートに関しても思いついた時に書きます。 フォローは励みになります_(._.)_ フォローは返します。

1. AIでよく使われる数学：記法を克服版（都度更新）

機械学習の分野でよく使われる数学は微分、積分、線形代数であり、大学１，２年で学ぶ内容のため、数学のハードルは比較的低いと感じる数理系の方もいらっしゃるでしょう。 とはいえ、中学高校数学がままならない場合は少しハードルが高く数学で挫折をしてしまうかもしれません。 機械学習の分野では機械が学習をする仕組みを考えるため、人間の学習する過程にたくさんのヒントがあるはずで、経験や常識を上手く適用できる非常に興味深い分野だと感じています。そして誰もが様々な形で貢献できる分野だと信じていま

しまぶユウ

    • シンプルなRAGシステムの実装

      機械学習の授業でstreamlitを演習の一環として使っています。実際に手を動かしてアプリケーションを作成することにより、モノづくりの楽しさと機械学習の仕組みを同時に感じることができるのではと思っています。 RAGシステムの概要を教える機会があったため、その時に作った簡易なアプリを共有します。 前提知識以下の内容はすでに説明済み API経由でGPTと埋め込みモデルを使う方法 GPT3.5 (or 4)について 　✾トークンとは 　✾GPTの入力と出力 　✾プロンプトの

      しまぶユウ

      • 回転位置エンコーディングによるGPTの改善

        記事についてLLamaの論文『LLaMA:OpenandEfficient Foundation Language Models』のセクション2.2では、基本となるアーキテクチャ『Attention Is All You Need』からの変更点について述べられています。その変更点の一つとして、Rotary Positional Embeddings（回転位置エンコーディング）の使用が挙げられています。この手法を最初に提案した論文『RoFomer: Enhanced Tran

        しまぶユウ

        • 探究記－吹きガラスを通して　

          小学生から高校生までは絵を描くのが好きだった。特に上手かったわけでもない、高校の日記には訳のわからない絵を描いてたのを思い出す。自由な表現を見える化できるところに楽しさを感じていた。 特にアートにどっぷり入ることはなく、20年があっという間にたち2022年に出会った”吹きガラス”を趣味として始めた。 私の観点から感じたことをこの記事にまとめようと思う。 なぜ吹きガラスなのか 自分でもよくわからないし、直観的にやりたいからやるレベルで私は決断してしまう。 ただ、過去を振り

          しまぶユウ

        1. AIでよく使われる数学：記法を克服版（都度更新）

        しまぶユウ

          LangGraphでLLMとGoogle検索を繋げる

          言語モデルと別のツールを組み合わせて簡単な検索システムの作成のため、LangGraphを使いました。LangGraphはグラフ構造（ノードとエッジ）の概念で状態遷移を管理するため、書きやすさを感じました。 私が学校で教えている講義でも同じ内容を使いました。LLMと別のツールを掛け合わせる可能性、またプロンプトを工夫する重要性などを伝えるのに役に立ったと思います。教育者としての活用方法もアリかも？です。 状態遷移図ユーザーのインプットから出力まで以下の流れを考えます。

          しまぶユウ

          LangGraphでLLMとGoogle検索を繋げる

          しまぶユウ

          AlphaZeroの解説

          囲碁、将棋、チェスといったボードゲームで、人間を超える強さを持つAIが存在することが知られています。これらのAIは、自ら対局を重ねることで学習データを生成し、それに基づいて学習を行います。外部のデータは必要としません。 私が自らAlphaZeroのアルゴリズムを用いてオセロを学習させた際、AIがボードの角を制する戦略が有利であることを学んだようで、角を積極的に取る行動を見せました。この振る舞いには、ほのかな感動を覚えました。 2017年に、DeepMindは囲碁専用AI "

          しまぶユウ

          AlphaZeroの解説

          しまぶユウ

          BERTの解説

          前回ではトランスフォーマーのデコーダーの部分について書きました。 次はエンコーダーの部分を書こうと思っていたので、トランスフォーマーのエンコーダーを使っているBERTについて書くことにしました。内容は2018年に発表されたBERTの論文を基に進めていきます。 2017年にGoogleの研究者によりトランスフォーマーが論文「Attention is All You Need」に発表されました。間もなく2018年にOpenAIによりトランスフォーマーのデコーダーモデルを下流タ

          しまぶユウ

          BERTの解説

          しまぶユウ

          GPTの日本語とトークンの関係

          トークンとはテキストを表現するための最小単位の要素として捉えられます。 GPTのトークン数をチェックできるサイトでテキストを書き込んで検証してみましょう。 英語の場合だと、アルファベット単位だけでなく、単語単位でトークンが準備されており、以下の形ではテキスト数はトークン数よりも少ないです。 "hey"のトークンのインデックスは36661だが、アルファベット単位で見てみると "h"は71、"e"は68、"y"は88と個々のトークンが存在します。（ちなみに、198は改行のト

          しまぶユウ

          GPTの日本語とトークンの関係

          しまぶユウ

          未熟の美 | 詩

          竿先にトロトロと熱いガラスを巻いて 竿に息を吹くとガラスが風船のようにプゥーっと膨らみ 透明なものが命を宿ったかのよう 失敗して竿からドロっと垂れたガラス 息を吹きかけると まるで鼓動を打つように 私の胸に響く 連続的に続く表面は 無数の通りに歪むことができる 感覚・視覚・音・色がガラスの状態を教えてくれる 竿先についているガラスと一体となるように 竿を回し続けて中心を取らねばらない 未熟な私は無意識に歪みを生んでしまう 理想通りに体が動かず 歪みを直そうとするもさらに

          しまぶユウ

          未熟の美 | 詩

          しまぶユウ

          Transformerのデコーダーモデル解説

          はじめにTransformerは、2017年にGoogleの研究チーム、Ashish Vaswani氏らによって「Attention Is All You Need」という論文で初めて紹介されました。この研究では、機械翻訳に焦点を当て、従来のモデルを上回る成果を発表しています。このモデルは、翻訳対象のテキストを分析するエンコーダーと、翻訳文を生成するデコーダー、この二つの部分で構成されています。エンコーダーから受け取った情報を基に、デコーダーは一連の単語を生成していきます。

          しまぶユウ

          Transformerのデコーダーモデル解説

          しまぶユウ