七師

小説やイラストを書いています。https://note.mu/tomo161382/n…

七師

小説やイラストを書いています。https://note.mu/tomo161382/n/n72979b5748bc

  • StableDiffusion関連記事

    これまでに書いたStable Diffusionを使った画像生成に関する記事をまとめます。

  • Chat AIとLLM（大規模言語モデル）

    Chat AIとLLM（大規模言語モデル）に関して書いた記事をまとめます。

  • 七師のtwitterのまとめ

    私がtwitterに投稿した内容から選抜してまとめて行きます。 投稿内容に対するライセンスは、私の小説に対するライセンスに準じ、一定の条件の下、改変再配布自由とします。 詳細は以下のURLから確認してください。 http://tomo161382.blogspot.jp/2015/02/blog-post_19.html

  • 固定された記事

Layered Diffusion Pipeline の使い方

この記事は、GitHubに置かれているLayered Diffusion Pipelineのトップページの翻訳です。なお、この説明はライブラリの基本的な使い方のみをカバーしていて、発展的な使い方は記述されていないことを留意してください。 これは、Stable Diffusionパイプラインをより柔軟に使用するためのラッパーライブラリです。このパイプラインの主要な考え方は、Layerと呼ばれる概念で、一個の画像生成にさまざまなプロンプトを層のように積み重ねて適用することです。

七師

    • e-taxソフト（ダウンロード版）でスマホをICリーダーとして使う方法（備忘録）

      目的と背景e-taxソフトのWeb版やSP版、受付システムでは、QRコード認証を使ってマイナポータルアプリ経由でマイナンバーカードのICチップを読み取ることができます。 しかし、e-taxソフト（ダウンロード版）の場合は、マイナポータルアプリが使用できず、ICリーダーを使ってマイナンバーカードを読み取る必要があります。 この記事は、その場合でも、スマホをICリーダーとして利用することで、専用のICリーダーなしにe-taxソフト（ダウンロード版）を使う方法を記した備忘録です

      七師

      • CLIP Text Deprojectorを使って画像生成してみる　～モデルの大幅な簡略化～

        前回まで、LSTMベースのモデルのアーキテクチャを検討し、最後に訓練データの変更を試しました。今回は、そこで得た知見から、さらにモデルアーキテクチャを簡略化してみます。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 背景これまでに、Vicinity-Transforme

        七師

        • CLIP Text Deprojectorを使って画像生成してみる　～最終正規化層を固定しない～

          前回は、２つのモデルを繋ぎ合わせて画像生成してみました。本記事では視点を変え、最終正規化層の固定を解除して学習してみました。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 最終正規化層の固定解除下の記事で触れているように、現在のモデルの学習では、最終正規化層は固定して学

          七師
        • 固定された記事

        Layered Diffusion Pipeline の使い方

        七師

        • e-taxソフト（ダウンロード版）でスマホをICリーダーとして使う方法（備忘録）

          七師

        • CLIP Text Deprojectorを使って画像生成してみる　～モデルの大幅な簡略化～

          七師

        • CLIP Text Deprojectorを使って画像生成してみる　～最終正規化層を固定しない～

          七師

        マガジン

        • StableDiffusion関連記事
          70本
        • Chat AIとLLM（大規模言語モデル）
          9本
        • 七師のtwitterのまとめ
          73本

        記事

          CLIP Text Deprojectorを使って画像生成してみる　～EOS前とEOS後の組み合わせ～

          前回は、訓練データの一部を学習に使わない方法を試しましたが、今回は後から生成した状態を繋ぎ合わせる実験を試みます。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 動機と手法前回の記事で試したのは、EOSトークン位置より前の状態を生成するモデルと、EOSトークン位置より後

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～EOS前とEOS後の組み合わせ～

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～訓練データの一部を無視～

          前回は、それまでに作ったLSTMモデルのバリエーションの性能比較をしましたが、今回は、訓練データの与え方についての実験を行います。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 動機訓練データの与え方を変更するアイデアは、最近の一連の投稿で分析した、テキストエンコーダー

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～訓練データの一部を無視～

          七師

          Stable DiffusionでText Encoderの出力を短く切ってみる（補足）

          先日、Stable DiffusionでText Encoderの出力を短く切って画像生成する実験をしましたが、その中に、設定を微調整してやり直す方がよいものがあったため、再実験した結果を補足します。 先日の記事はこちら。 他のStable Diffusionの関連記事 前回の実験の問題点と修正方法前回の実験で「マスクをなしで、後ろから５０トークン目以降を使用」という方法で画像生成したところ、ノイズのみの画像が生成されましたが、最初のトークン（SOSトークン）位置の状態

          七師

          Stable DiffusionでText Encoderの出力を短く切ってみる（補足）

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～LSTMモデルの比較～

          ここで、一度、これまでに作ったLSTMモデルのバリエーションの性能比較を行ってみようと思います。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 方針モデルを比較するにあたって、モデルのサイズで大まかに分類して比較します。分類の基準は、モデルファイルのサイズを元にして、次

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～LSTMモデルの比較～

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～MLPを適用してみる～

          前回まで、内部次元数とレイヤー数を変化させてきましたが、今回は、MLPレイヤーを追加して比較してみます。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 モデルアーキテクチャLSTMモデルを、TransformerのようにMLPネットワークを追加して拡張する方法として、以

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～MLPを適用してみる～

          七師

          Stable DiffusionでText Encoderの出力を短く切ってみる

          先日、Text Encoderの出力の順序を変える実験を行って、順序がStable Diffusionの生成画像に影響を与えないことを確認しました。 その後、さらにコードを読み込んで、Text Encoderの出力の長さが変わっても、画像生成モデル自体は正常に動作するはずだと気づきました。 また、少なくともdiffusersのUNetの実装には、Text Encoderの出力にマスクを付けて渡すことができるようになっていて、Text Encoderの出力のどのトークン位置

          七師

          Stable DiffusionでText Encoderの出力を短く切ってみる

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～レイヤー数を増やす～

          前回まで、LSTMの内部次元数を増やす実験をしてきましたが、今回は内部次元数を一定にして、LSTMを含むネットワークを多層化して比較します。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 ネットワークの多層化今回、ネットワークを多層化するにあたっては、LSTMモジュール

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～レイヤー数を増やす～

          七師

          Stable DiffusionでText Encoderの出力の順序を変えてみる

          Diffusers版のStable Diffusion (v1.5)のコードを読んでいて、ふと、次のことに気が付きました。 SD v1.5では、Text Encoderの出力は最終隠れ状態全体をそのまま加工せずにUNetの各ブロックのCross Attentionに入力されています。その際、マスクも位置エンコーディングなども付加されている様子がないため、Attentionの性質からおそらく順不同ではないかと思いました。 そこで、簡単な実験を行ってみました。 他のStab

          七師

          Stable DiffusionでText Encoderの出力の順序を変えてみる

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～LSTMの入力形式の変更～

          前回は、LSTMの内部次元数を変えましたが、今回は、前々回に触れたLSTMの入力形式の変更について実験しました。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 モデルアーキテクチャ今回試すモデルアーキテクチャは、前々回の記事で入力の情報の減衰を防ぐ方法として提案し、実験

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～LSTMの入力形式の変更～

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～LSTMの次元数を増やす～

          前回、LSTMの次元数を増やす準備をしたので、今回は実際に次元数を増やして実験します。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 実験の設定今回実験に使うモデルは、前回の記事の後半で実験した３つのアーキテクチャになります。 入力をコンテキストに加算。線形次元変換を

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～LSTMの次元数を増やす～

          七師

          [年賀状に使える] StableDiffusionで飾り文字を作る

          年賀状作成の時期はやや既に逸してしまったような気がしますが、以前、twitterに投稿した飾り文字の作り方を記事に起こしていなかったのを思い出したので、この機会に説明しておこうと思いました。 今回紹介するのは、上のような個性的な飾り文字の作り方です。 文字の下書きの作成まずは、文字の下書きを作ります。適当なペイントソフトを立ち上げて、ロゴの文字を配置した白黒画像を作ります。ここでは、mspaintを使います。 Windows-Rで「ファイル名を指定して実行」を立ち上げ、

          七師

          [年賀状に使える] StableDiffusionで飾り文字を作る

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～LSTMの次元数を増やす準備～

          前回は、最終レイヤー正規化層のパラメータを固定する実験を行いましたが、今回の記事は、モデルを拡張するための準備作業に充てることにします。 前回の記事 他のStable Diffusionの関連記事 Layered Diffusion Pipelineを使うためのリンク集 ライブラリの入手先と使用法（英語） : Githubリポジトリ 日本語での使用方法の解説 : Noteの記事 LSTMモデルを向上する方法前回の結果から、LSTMモデルを向上することが必要というこ

          七師

          CLIP Text Deprojectorを使って画像生成してみる　～LSTMの次元数を増やす準備～

          七師