LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation

LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は？

• テキストから画像を生成する分野において、Stable Diffusionの進歩により、豊富な種類のフォトリアルな画像を生成することが可能になりました。しかし、現在のモデルでは、複雑な自然シーンにおいて、偏差問題（例えば、空間関係の理解の問題や数値の失敗など）が依然として存在しており、高い忠実度を持つテキストから画像への生成を妨げています。

1. 本研究の目的及び学術的独自性と創造性は？

• 本研究では、テキストのガイダンスなしに、与えられたテキストプロンプトと意思疎通ができるような高忠実度の画像を生成することを目的としています。コンピューターシステムが自動的にレイアウトを計画し、画像を生成することを可能にするため、荒いグレーンのレイアウトから始め、段階的に微細なものに絞り込みながら生成する粗大から細部への2つの段階の生成プロセスを提案しました。

1. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？

• テキストから画像を生成する技術は、画像生成技術と自然言語処理技術を組み合わせた新たな分野として、近年注目されています。本研究は、テキストのみを与えるだけで自動的に画像を生成する方法を提案する最先端の研究の一つです。

1. 本研究で何をどのように、どこまで明らかにした？

• 本研究では、一連のコースグレインからファイングレインの生成に向けた段階的アプローチに基づいた画像生成手法を提案し、大規模言語モデルによるin-context学習を用いたテキストプロンプトに応じたレイアウトの生成、およびレイアウトとプロンプトにもとづく画像生成の2つの生成プロセスを提案しています。

1. 本研究の有効性はどのように検証した？

• 本研究では、提案手法が従来の手法を上回るレイアウト生成と画像生成の能力を持っていることが実証されました。