建築設計における生成AI活用の試み

本

建築設計分野における生成AI（Generative AI）の活用によって、革新的なデザインの創出や自動化・効率化、そして持続可能な建築の実現を目指しています。

運営しているクリエイター: SeaGate

#StableDiffusion

Difyで複数モデル対応画像生成アプリに、プロンプト生成機能を追加する

前回は、Difyで複数モデル（DALL-E 3, Stable Diffusion 3, FLUX.1, ideogram 2.0）を切替えながら画像生成ができる、自分専用のWebアプリを作成しましたが、結構便利に使っています。しかし、まだ具体的なイメージがない時に、プロンプトを一から考えるのは結構面倒なので、ある程度GPT-4oにサンプルのプロンプト作ってもらって、修正しながら狙ったイメージに近づけていく方が楽です。そのため、上記のWebアプリに、単語や簡単な文章を

Difyで自分専用の複数モデル（DALL-E 3, Stable Diffusion 3, FLUX.1, ideogram 2.0）画像生成アプリをつくる

前回は、Difyで自分専用のマルチLLMチャットボットをつくりましたが、今回は、最近話題の高性能な画像生成AI「FLUX.1」や「Ideogram 2.0」など、複数モデル対応の画像生成アプリを作ります。これら複数の画像生成AIを使おうと思うと、それぞれのWebサイトに行って作業する必要があるので面倒です。また、個別にアカウント登録やサブスク登録などを行う必要があり、毎日ガッツリ使わないと元が取れません。その点、API経由で使用すれば、従量制のものが多いので、それほど

Krita AI Diffusion Version 1.22.0

以下の「建築設計における生成AI活用の試み」でもいろいろ試している、オープンソースのペイントソフト「Krita」用のプラグイン「Krita AI Diffusion」が Version 1.22.0に更新されました。タグのオートコンプリートインターフェース設定で、一般的なタグのオートコンプリートを有効にできるようになりました。タグでトレーニングされたCheckpointを使用する場合は、これにより正確なプロンプトを指定できます。インターフェイス言語の切り替え K

生成AI・XRによって変わる建築設計プロセス（後半：生成AI編）

いきなり後半から始まりますが、以前、「生成AI・XRによって変わる建築設計プロセス　～現状の取り組み状況と課題、将来展望について～」というセミナーを行いまして、その後半部分を動画にしたものです。前半はXRに関する話題なのですが、後半の生成AIの話は数ヶ月で古い話となってしまうでしょうから、それなりに時間をかけてまとめた内容ではあったので、取り合えず後半部分を先行して公開・記録しておくことにしました。私は、以前からXRと生成AIは親和性が高いと思っていまして、《現実⇔人

生成AI・XRによって変わる建築設計プロセス

noteにも掲載していた内容を整理して、建築設計プロセスにおけるXR技術、生成AIの活用についてお話しさせていただきます。タイトルに流行りものを並べただけ感がありますが、以前からXRと生成AIは親和性が高いと思っていて、「現実⇔人⇔(XR)⇔AI⇔デジタル」と、XRを介して両者をつないでみたい思って、いろいろ試行してきました。

画像生成AI（Krita）でプロポーザル提案書のイメージパースを生成（試行その2）

前回の続きです。今回もプロポーザル提案書の挿絵というか、線画パースやCGパース、AIによる生成画像や写真などを元に、Krita＋krita-ai-diffusionプラグインでペン＋水彩画風のイメージパースを手早く作成する方法を模索しています。作成元の写真です。写真でなくても、CGパースやAIによる生成画像を元に作る場合も考えられますね。前回の試行を踏まえ、今回は画像生成モデル、3つのLoRA、プロンプトの組み合わせを工夫して、作成元の写真に添景などを追加しながら、ペ

画像生成AI（Krita）でプロポーザル提案書のイメージパースを生成（試行その1）

以前ポストした、「Kritaで線画から建築パースを生成してリアルタイムで点景を加える」の続きです。今回は、プロポーザル提案書などに掲載するイメージパースを画像生成AIで作成するシナリオとして、以下の様な手順を考えてみました。 Kritaによるイメージパース生成の大まかな手順手書きスケッチ、BIMソフトなどから線画パースを作成設計初期では、BIMモデルに適切なマテリアルが設定されていないことがあり、レンダリングしても綺麗な絵にならない。だからと言って、マテリアルを設定し

Kritaで写真を元に建築パース生成し、リアルタイムで点景を加える

面白いので、しつこく Krita AI Diffusionで遊んでますがw、今回は、参照元の写真と良く似た画像をControlNetのRefarenceで生成させ、その上にペンタブレットで子供や植栽などの点景を描き足しています。下が参照元の写真です。プリプロセッサの強度を30%程度に設定し、写真を元に画像を生成させます。下が生成された画像です。参照元の写真とは少し細部が異なっていますが、強度が低すぎると、描いたスケッチがそのまま出力されてしまいます。参照元の写真と

Kritaで線画から建築パースを生成してリアルタイムで点景を加える

調子に乗って、今回は、Revitから書き出した線画パースからレンダリング風画像を生成し、ペンタブレットで人物や植栽などの点景を描き足して、リルタイムに反映させながら建築パースを仕上げる、というシナリオで試してみました。 krita-ai-diffusionではレイヤごとにプリプロセッサを変えることができるので、線画パースと点景はレイヤを分け、線画パースには「Line Art」、手書きの点景には「Scrrible」を適用して、ライブペインティングしています。天井やディテー

Kritaのライブペインティング機能で建築デザイン（試行）

前回は画像生成AIの王道wで、かわいい女の子の絵を描いてみましたが、今回は、建築デザイン案やイメージパースが作成できないか試してみました。 CheckpointやLoRAを選択し、画像生成したい建物の用途やスタイルなどをプロンプトとして与えてペンタブレットでスケッチをすると、下の動画のように、リアルタイムで建物のパースが生成されていきます。現状では、checkpointやLoRA、プロンプトの選択や組み合わせなど、画像生成AI特有の面倒臭さもあって、なかなか思ったような

PromeAI（その1）

PromeAI（プロームエーアイ）は、WebベースのAIデザインアシスタントツールです。Stable DiffusionのWeb UIをデザイナー用に使いやすくして、代表的な拡張機能が簡単に使えるようにした感じです。 Sketch Rendering 手描きのスケッチ・線画などから、疑似レンダリング画像を生成することができます。ControlNetと同様の機能ですね。手描きのスケッチなどをドラッグ＆ドロップして、シナリオ（デザイン用途）とスタイル（様式）を選択し、プロ

Stable DiffusionのOutpainting/Inpainting

2023.11.06 Outpainting しばらく触れていなかったStable Diffusionですが、Outpaintingで画像範囲を生成拡大するテスト。 Adobe Fireflyの生成塗りつぶしと同様の機能で、そちらの方が高機能で使いやすいですが、こちらは自由度が高いし、フリーなのでw Impainting 今度は Inpainting機能で、指定した画像範囲の範囲を再作成して、部分的に画像を差し替えるテスト。別案を手早く作りたい時にいいね。

生成画像を3Dモデルへ貼り戻し

2023.05.16 前回の続き。テクスチャ無しの都市・建築の3Dモデルから作成した深度マップを元に Stable Diffusion + ControlNet で生成した画像を、Blenderのカメラマッピングで3Dモデルへテクスチャとして貼り戻してみた。 ↓ ↓ ↓ 3Dモデルへ貼り戻しまあ、PCスペックもあってあまり綺麗にできなかったけど、3Dモデルのテクスチャを自動生成させる一つの試みとして。。。

Stable Diffusion + ControlNet（その4）

2023.05.18 Stable Diffusion + ControlNetで、立面図（中央）の輪郭やパネル割等を維持しながら、外観デザインをいくつか提案させるというシナリオで生成してみた。元の立面図がシンプルだったせいか、期待したほどはバリエーションが出なかったけど、検討段階の外観CGだとしたら、まあまあの出来かなあ...