Big Sleep の使い方

以下の記事を参考にして書いてます。

・lucidrains/big-sleep: A simple command line tool for text to image generation, using OpenAI's CLIP and a BigGAN

1. Big Sleep

Ryan Murdockがまたやってくれました。「Big Sleep」は、OpenAIの「CLIP」と「BigGAN」のジェネレータを組み合わせたものです。このリポジトリは彼の作業をまとめているので、GPUを所有している人なら誰でも簡単にアクセスできます。

ターミナルで1行のコマンドを入力するだけで、自然言語を使用してGANに画像を夢見てもらうことができます。

・オリジナルのノートブック
・簡略化されたノートブック

2. インストール

$ pip install big-sleep

3. 使用例

$ dream "a pyramid made of ice"

コマンドを実行した場所に画像が保存されます。

・artificial intelligence（人工知能）

・cosmic love and attention（宇宙の愛とアテンション）

・fire in the sky（空に火をつける）

・a pyramid made of ice（氷でできたピラミッド）

・a lonely house in the woods（森の中の孤独な家）

・marriage in the mountains（山での結婚）

4. 高度な使用例

以下のようにコードで呼び出すことができます。

from big_sleep import Imagine

dream = Imagine(
    text = "fire in the sky",
    lr = 5e-2,
    save_every = 25,
    save_progress = True
)

dream()

.set_text(<str>) を使用して新しいテキストを設定することもできます。

dream.set_text("a quiet pond underneath the midnight moon")

そして、 .reset()でリセットします。

dream.reset()

学習中に画像の進行を保存するには、--save-progressフラグを指定するだけです。

$ dream "a bowl of apples next to the fireplace" --save-progress --save-every 100

GANのクラス条件付きの性質により、BigSleepはマニフォールドからノイズに誘導されることがよくあります。フラグを使用して、最高の高得点の画像（CLIP評論家による）をフォルダ内の{filepath} .best.pngに保存できます。

$ dream "a room with a view of the ocean" --save-best

5. 実験

--max-classesフラグを使用して、BigSleepをBigGANに使用するように制限するクラスの数を次のように設定できます（例：15クラス）。 これにより、表現力が失われる代わりに、学習中の安定性が向上する可能性があります。

$ dream 'a single flower in a withered field' --max-classes 15

6. 代替案

・Deep Daze  : CLIPとDeep SIRENネットワーク

BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理 人工知能プログラミング実践入門