見出し画像

情報処理学会コンピュータグラフィックスとビジュアル情報学研究会 (CGVI)参加レポート

しらいはかせ(AI研究/Hacker作家)

2024年6月29日土曜日に東洋大学情報連携学部（INIAD HUB）でハイブリッド開催された、情報処理学会コンピュータグラフィックスとビジュアル情報学研究会 (CGVI)第194回研究発表会に参加してきました。

発表論文の予稿

まずは研究報告から。久しぶりに国内学会に参加するので楽しみです。
実は自分らの発表もあります。

※最新の研究会のため、また予稿が公開されていないため、研究発表内の写真は掲載しておりません。予稿にアクセスできる方がご覧ください。

CG一般セッション（10:20 – 12:00）
座長：石川知一先生(東洋大学)


ストローク転写技法の関与媒質への拡張

◯白嶋 直人(青山学院大学)，藤堂 英樹(拓殖大学)，山岡 優希(青山学院大学)，鍛冶 静雄(九州大学)，小林 邦彦，下田平 東奈，楽 詠灝(青山学院大学)

利用者の例示に従う油彩画のアニメーションを生成する技術として，ストローク転写技法がある．従来のストローク転写技法では表面をもつ不透明物体しか扱えなかったが，本研究では，関与媒質を扱えるように拡張する．関与媒質は透明度をもつため，それを不透明な油彩絵の具でどのように表現するかが問題となる．提案法ではスクリーン空間にストロークを配置し，そのために必要な特徴量と基底場をボリュームに対する積分量として定式化することによってこの問題を解決する．その際，表面位置を表すデルタ関数と，媒質内のフォトンの到達点分布を表す自由行程分布との関係性を利用し，表面物体に対する従来の理論が提案法の特殊な場合となるように構成する．提案法によって，様々な関与媒質や，物体と関与媒質とが共存する例に対して，例示に従う油彩画アニメーションを生成できることを示す．

ゴッホ風の印象派ストローク、特に煙などの媒質をスクリーンスペースでストロークを生成する。実装はHoudiniで媒質画像を作ってPhtyon環境で1フレーム10分ぐらいだそうです。藤堂英樹元になっている研究に興味が出てきました。

Generating Shading-Rate Textures from Shadow Maps for tier 2 Variable Rate Shading

◯Nguyen Hoang Anh，土橋 宜典(北海道大学)

可変レートシェーディング（VRS） Tier 2 VRSを活用。提案方法は、メインのレンダリングパスの前に行われる2つのパスで、最初のパスは、シャドウマップを使用して、カメラパースペクティブのスクリーン空間テクスチャ（SST）に事前計算されたシャドウ位置をレンダリング。2番目のパスは、そのSSTに基づいて、より低いシェーディング率でシャドウをマーキングするSRTを構築。計算速度を最適化するためにコンピュートシェーダを活用する方法と、マルチスレッド機能に顕著な違いがある2つのGPU上で実装。その結果、どちらのGPUでも高速に動作しますが、マルチスレッド能力に優れたGPUで、速度がそれほど落ちることなく、より正確なSRTを計算することが報告された。今回の提案ではシーンに光源が1つしかないシナリオでのシャドウに限定しており、シャドウ領域には2x2のシェーディング率のみを設定しています。将来的には、複数の光源がある場合にも拡張し、他のシェーディング率にも適応させたいと考えている。

(要約)

この例ではシャドウキャスティングに使われているのですがシェーディングだけでなく、HMDでの左右の視点におけるスペキュラーに使うといいのでは、という印象。そもそもtier 2 VRSについて興味が出てきました。

Retrieval-Augmented Multi-Floor Building Text-to-Image Generation


◯王 征洋，金 昊，謝 浩然(北陸先端科学技術大学院大学)

最近の拡散モデルの進歩により画質が大幅に向上したにもかかわらず、テキストプロンプトから建物画像を生成する需要が高まっている。現在の生成モデルは、階数の制御に苦労している。このため、我々は、拡散モデルを用いて、与えられた階数から建物画像を生成するための、検索を利用したフレームワークを提案する。最初に、建物画像データベースから最適な画像を検索するために、提供された階数でテキストをプロンプトする。次に、構造の整合性を確保するために、マッチした画像からスケッチを得るために、マルチレベル構造検出アルゴリズムを採用した。最後に、検出された建物スケッチに導かれながら、拡散モデルによって所望の階数と様式を持つ建物画像を生成する。我々の提案するフレームワークは、建物画像合成における階数の正確な制御を可能にする。我々は、テキストプロンプトから特定の階数を持つ建物画像を生成することの頑健性と拡張性を実証する。

生成AIをJAISTで研究する謝浩然先生ら学生さんの建築応用。英語で「階」を「story」と表現するということからズブの素人ですが、興味深い発表でした。実装はIP-Adapterで行っているのですが、LoRAでもいい気がする。というか、階の構造や屋根の確度などはCLIPとi2iでも良い気がする。まあでもスケッチから渡すってところが利点なのかもしれないね。

Oracle Bone Character Generation with Diffusion Models


◯謝 曉玄，杜 旭升，李 旻昊，謝 浩然(北陸先端科学技術大学院大学)

拡散モデルによるオラクルボーンキャラクター生成
本研究では、拡散モデルを用いて、与えられた画像入力に対応する卦骨文字風の画像を生成する新しいアプローチを提案する。既存の卦骨文字のデータセットとは異なり、卦骨文字は一般的に現代中国語の文字と対になって格納されている。我々はまず、オラクルボーン文字、テキストプロンプト、オブジェクト画像を整列させたデータセットを構築する。次に、このデータセットを用いて安定拡散モデルを学習する。対応するテキストプロンプトと組み合わされた異なるオブジェクトの画像を入力することにより、モデルは卦骨文字のスタイルで対応する画像を生成する。さらに、最適化モジュールを組み込んで初期結果を改良し、オラクルボーン文字の元の構造と規範によりよく適合するようにする。定性的な評価により、我々のモデルが、文体的にも意味的にも一貫性のあるオラクルボーン文字風の画像を生成することに優れていることが実証された。

こちらも謝浩然先生の研究室による。オラクルボーンとは日本語では甲骨文字のこと。椅子やマグカップなどの広告文字が生成されていた。パースペクティブとかもそのまま表現しているのが興味深いし、これのLoRAを獲得する過程が考古学的な分析に役立ったりするんだろうか？という質問をしたけど、考古学者は興味なかったそうです。どんな道具を使って、どんな素材に刻んだのかとか、地域や年代でも違いはありそうだよね。古代の文字ってどうやって成立しているのかについて思いを馳せてしまった。


お昼休みは近藤邦雄、青木美穂先生らと学内のおしゃれカフェでランチ。
最近の大学生と生成AIの関係。SIGGRAPH ASIA の Education Forumで話したら良いだろうなと思うような話題を3人で交わしていた。

青木先生が教えていらっしゃるデザインの授業。
リベラルアーツの1－2年生の授業なので多様な学生さんが居る。
抽象画を描けない学生がいるらしい。どうしても具象を描いてしまう。
「美しくないものを描く」話とか、表現技法に制約を設定して2つだけ解除して描く総合演習とかおもしろかった。

招待講演
座長：森島繁生先生(早稲田大学)

13:30 – 14:30

明日を創るコラボレーション-学生コラボプロジェクトからの学び、教育者の方へSIGGRAPHのコミュニティへの参加、発表の機会について-
青木美穂(アラスカ大学フェアバンクス校)

オンライン授業やリモートワークが普通になった現在，国際的なコラボレーションの可能性はどんどん広がっています．学生によるアニメーション制作コラボレーションプロジェクトを指導した経験からの学びについて，また教員の方々に向けて，ACM SIGGRAPH 教育員会が行っている活動や SIGGRAPH Asia と北米 SIGGRAPH カンファレンスへの参加の機会，研究，授業の課題や学生作品の発表の機会についてお話します．

自然物への興味。

そのへんの駐車場で雑草に花が咲く。

それをCGにしていく。





In Good Company良いな、参加したいかも。


貴重な青木先生によるアドバイス。

CG教育セッション 座長：謝 浩然(北陸先端科学技術大学院大学)

謝浩然先生よりSIGGRAPH ASIA Educator's Forumについての説明


Generative Art入門教育のためのAIプロンプトの分析
◯近藤 邦雄(東京工科大学)，永吉 宏行，永田 睦，金箱 淳一(神戸芸術工科大学)

本論文では，Generative Art 入門教育において，描画アルゴリズムを日本語で記述し ChatGPT3.5 によるプログラム制作をする方法を提案し，その有効性と課題を明らかにすることを目的とする．具体的な画像生成手順は次のとおりである．まず，CG 描画アルゴリズムを日本語で記述し，ChatGPT によって日本語プロンプトから p5.js のプログラムを生成する．そのプログラムを用いて画像表示を行い，意図した画像かどうかの評価を行う．このために，自然言語による Generative Art アルゴリズムを記述する演習として，1．日本語によるアルゴリズム記述と人によるアルゴリズム理解に基づく作図と評価，2．Generative Art を利用した作品分析に基づくアルゴリズム記述，3．日本語プロンプトを用いた画像生成を提案する．これらの方法による演習は，自然言語によって処理手順を記述するため，特定のプログラミング言語の知識を持たない人でも生成 AI を活用して CG 画像制作を行うことができるという特徴がある．

近藤邦雄先生による学部1年生の講義でのAI活用。


DiscordにおけるキャラクターIPを活用したUGCコンテンツ生成サービスのラピッドプロトタイピング～国際ハッカソンでの事例研究

本研究報告は，国際ハッカソン「Builders Weekend」において，コミュニケーションサービスソフトウェア「Discord」上で，キャラクター Intellectual Property（IP）を利用した User Generated Content（UGC）開発を目的としたチャットアプリ用スタンプジェネレータ Bot を，実働時間 48 時間で開発した実践結果の報告である．本研究では，画像生成 AI「Stable Diffusion 1.5」とオリジナルの追加学習（LoRA）を用いてユーザーから取得したプロンプトをもとに画像を生成し，独自に開発したタイポグラフィエンジンを用いて任意の文字を合成，またその文字の英語または日本語翻訳された文字を合成し，ユーザーに返すワークフローを Google Cloud Platform（GCP）を用いて実現した．この成果は，キャラクターIPコンテンツの市場として発達していなかった Discord においてキャラクター IP とコラボし新しい UGC コンテンツをつくることができるという点で重要である．

自分らの発表です、こちらで資料公開しました。

✨️感想が聞きたい✨️

LoRAを使ってUX的な反応速度を向上させているあたりはえらいなと思う。
発表者がここにいたら最高だったんですが講義優先のためお休みです。

白井の代理発表が至らずすみませんでした。

教育事例：東洋大学情報連携学部設立から7年のCG教育―AIの利活用事例を含めて―
石川 知一 神場 知成 椋 計人（東洋大学）

本稿は，東洋大学情報連携学部（INIAD）設立から 7 年間にわたるコンピュータグラフィックス（CG）教育の実践とその成果を報告するものである．INIAD は，「連携」を核とした革新的な教育モデルを採用しており，プログラミング教育，対話型学習，MOOCs 教育，IoT 技術を活用したスマートキャンパスなど，多岐にわたる要素を組み合わせることで，学生にデジタル時代に必要なスキルとマインドセットを提供している．加えて，AI 技術の進展に伴い，生成 AI を活用した自学自習支援プラットフォーム「AI-MOP」を導入し，学生の高度な思考力とシステム開発スキルの育成を図っている．ユーザ・エクスペリエンス科目群における CG 教育では，デザイン理論や人とコンピュータの関わりに関するデザインを深く学び，新しいアイデアを形にするための実践的な知識とスキルを身につけることを目的としている．学生は AI を通じてプログラミングの理解を深め，疑問を解決するプロセスを経験し，CG や XR 技術に関連する実践的な知識を習得していることを紹介する．


教育事例：東洋大学情報連携学部設立から7年のCG教育 ―AIの利活用事例を含めて―
◯石川 知一，神場 知成，椋 計人(東洋大学)

優秀研究発表賞授賞式

ここ1年の研究会で発表された日本のCG研究のトップクラスの顔ぶれ、研究テーマを拝見しました。おめでとうございます。

久しぶりに学会発表＆フル聴講させていただいて、大変刺激になりました！

おまけ

この記事が気に入ったらサポートをしてみませんか？