Majesty Diffusion

Majesty Diffusion👑

Majesty Diffusionは、Dango233によるテキストから画像へのテクニックのコレクションであり、マルチモーダルアート（us！）によって追加されたものであり、コミュニティの貢献に非常にオープンです。保存可能、ロード可能、共有可能な設定があるので、そこで良いものを作ったら、どうやってそこにたどり着いたかを他の人と共有してください。完全なガイドとチュートリアルがまもなく登場します！

LatentMajestyDiffusionカスタムスケジュールの使用方法

カスタムスケジュールの例

custom_schedule_setting = [
 [200,1000,8],
 [50,200,5],
 "gfpgan:1.0",
 "latent:1.5",
 [1,50,8]
]

custom_schedules配列の各要素は、順番に実行されるタスクであり、それぞれの出力が他の要素のinitとして使用されます。現在、次の3つがあります。配列：[final_step、init_step、step_size]形式のノイズ除去スケジュールfinal_step：「期待される」値は0です。ゼロは、拡散プロセスが最後まで実行されたことを意味します。結果が粗すぎる場合、またはスケジュールにアイテムを追加する場合は、早期に終了することをお勧めします。init_step：初期ノイズを決定します。init_image step_sizeの場合にステップをスキップする場合を除いて、1000から開始する必要があります。「通常の」拡散プロセスは、init_step 0からステップサイズ1の最終ステップ1000まで開始します。より大きなステップサイズを追加すると、拡散プロセスをより速く移動できます。 、細部に妥協があります。通常、5〜12が適切なステップサイズです。

gfpgan：顔を修正して高級感を出すためのステップ。使用法：gfpgan:1.5画像が1.5倍に拡大され、顔が修正されることを意味します。顔を修正したいだけの場合は、gfpgan:1.0

latent：画像を大きくするために潜在拡散を使用するステップ。画像は潜在拡散潜在空間でアップスケールされます。ただし、これは全体的な形状を与えるだけです。画像がアップスケールされた後、ノイズ除去ステップをさらに追加する必要があります。潜在的なアップスケーリングを使用する場合、幅と高さは128の倍数である必要があります

最初のスケジュールに戻って、何が起こっているのかを説明しましょう。

custom_schedule_setting = [
 [200,1000,8],
 [50,200,5],
 "gfpgan:1.0",
 [1,50,5]
]

[200,1000,8]形式は[final_step, init_step, step_size]次のとおりです。これは、ノイズ除去プロセスが1000から200ステップでstep_sizeが8で発生することを意味します（つまり、800ステップですが、各ステップが8進むと、100の実際のステップを意味します） [50,200,5] 。ステップサイズ5は、拡散プロセスの最後のビットに細かい詳細を追加するために使用されます gfpgan:1.0。このステップでは、顔を修正し、写真に何かがあった場合に備えて、顔をかっこよく見せようとします [1,50,8]。このステップでは、顔を修正した画像を、ステップサイズ5で最後の50回の拡散ステップを実行します。

別のスケジューリング例：

custom_schedule_setting = [
 [500,1000,8],
 "latent:1.5",
 [50,500,8]
]

この例では、画像はステップ1000から500までステップサイズ8でノイズ除去され、次に1.5倍にアップスケールされ、さらにステップ500から50までのより大きな画像でノイズ除去されます。50で終了します。

Majesty Diffusion 👑

Majesty Diffusion is a collection of techniques for text to image by Dango233 and and additions made by multimodalart (us!), very open to community contributions. It has savable, loadable and sharable settings, so if you make good stuff there, share with others how you got there. Full guide and tutorials coming soon!

How to use Latent Majesty Diffusion custom schedule

Example of a custom schedule

custom_schedule_setting = [
 [200,1000,8],
 [50,200,5],
 "gfpgan:1.0",
 "latent:1.5",
 [1,50,8]
]

Each element of the custom_schedules array is a task that is executed in sequence with the output of each being used as init to the other. There are currently three: Array: a de-noising schedule in the format [final_step, init_step, step_size] final_step: the 'expected' value there is 0. Zero means the diffusion process ran until the end. You may want to end it earlier if results are too grainy or if you want to add more items to the schedule init_step: Determines the initial noise. Should start at 1000 except if you want to skip steps in case of an init_image step_size: a "regular" diffusion process starts from init_step 0 until final step 1000 with a step size of 1. Adding bigger step sizes you move faster through the diffusion process, with compromises on details. Usually between 5-12 are good step sizes. You can experiment and see.

gfpgan: A step to correct faces and upscale. Usage: gfpgan:1.5 means the image will be upscaled 1.5 times and faces will be corrected. If you wish just to correct faces, use gfpgan:1.0

latent: A step to use latent diffusion to make the image bigger. The image gets upscaled in the latent diffusion latent space. However, this will only give you the overall shape. You have to then add more denoising steps after the image got upscaled. If you use latent upscaling, your width-height have to be multiples of 128

Some back to the schedule in the beginning, let's explain what is happening:

custom_schedule_setting = [
 [200,1000,8],
 [50,200,5],
 "gfpgan:1.0",
 [1,50,5]
]

[200,1000,8] remember, the format is [final_step, init_step, step_size] - this means the denoising process happen from 1000 until 200 steps with a step_size of 8. (So 800 steps, but with each step advancing 8, means 100 real steps) [50,200,5] then, from steps 200 until 50, a smaller step size of 5 is used to add fine details to the last bit of the diffusion process gfpgan:1.0 In this step, it will try to correct faces and make them look cool, in case there were any in your picture [1,50,8] With this step, it will take the face-corrected image and run it through the last 50 diffusion steps with a step size of 5

Another scheduling example:

custom_schedule_setting = [
 [500,1000,8],
 "latent:1.5",
 [50,500,8]
]

In this example, the image will be denoised from steps 1000 until 500 with a step size of 8, then upscaled 1.5x and then further denoised with the bigger image from steps 500 til 50. It will end at 50.