見出し画像

Study on Sketch-based Art Style Drawing Assistance

情報処理学会・学会誌「情報処理」

2022年度研究会推薦博士論文速報
［コンピュータグラフィックスとビジュアル情報学研究会］

HUANG Zhengyu
（香港科技大学（広州）博士研究員）

邦訳：スケッチによるアートスタイルの描画支援に関する研究

■キーワード
スケッチインタフェース／GAN Inversion／描画支援

【背景】AIによる描画過程の支援に関する研究が不可欠
【問題】不完全なスケッチとユーザの意図していた結果とのギャップ
【貢献】対話的なインタフェースでの人間描画能力の拡張

　最近の研究では，AI が予測した描画過程は，人間の行動とは明らかに異なることが分かってきた．AI が描画を理解し，ユーザの意図に沿った芸術制作をサポートするには，まだまだ道のりが長いと言える．ユーザの描画過程の支援とは，数理的な観点からは，AIが抽出した特徴量を利用して，ユーザが新しい芸術的な絵を描く過程で，頭の中にある最適解を探ることである．AIが生成したガイダンスに対するユーザの反応をユーザ知覚評価関数と捉えた場合，この関数は個人差があり，動的に変化し，かつ微分不可であることが大きな問題点である．自分の頭の中にしか存在しないこのユーザ知覚評価関数の値を，AIによってどのように最大化するかが，本論文の大きな研究課題である．

　この課題解決のために，本論文では，ユーザを描画支援システム全体のブラックボックス部分とみなした．そして，スケッチ-スタイル変換の手法を応用した全体を最適化する関数を構築することにより，ユーザ知覚評価関数をインタラクティブに近似する「ユーザ-AI協生パラダイム」を提案している．このパラダイムにより，AIはより価値のある入力情報を得ることができ，ユーザの描画能力は拡張され，AIとユーザは対話を通じて，双方がWin-Winの関係を築くことができた．全体の最適化関数の構築にあたり，抽出した特徴を可視化してユーザの描画活動が支援できた．ここで，AIとユーザ間の対話に介入するかどうかによって，支援手法を明示的手法と潜在的手法の2種類に分けた．

1．明示的手法による対話的AI支援描画：
リアルな肖像画描画支援を実現するために，システム全体の最適化機能を入れ子にした「dualFace」を提案し，AIがグローバルステージでスケッチ輪郭を，ローカルステージで詳細なガイドをするという2ステージの描画支援スキームを設計した．
2．潜在的手法による対話的AI支援描画：
肖像画支援のスタイルを増やすため，StyleGANの学習済みモデルをベースに，教師なしストロークレベル分離学習を提案し，疎なストロークを持つラフスケッチが，肖像画の対応する顔の各パーツと一致するように学習させた．さらに，対話型描画支援インタフェースにおいてユーザとシステムの円滑な対話を実現するため，描画ストロークの意味を分析し，それぞれの意味を付与するラベリング手法も提案した．提案システムを用いて，リアルスタイルとアニメルスタイルの両方の描画対象に対応し，客観的指標とユーザスタディによる評価実験を行い，「ユーザ-AI協生パラダイム」の有効性を検証できた．

■動画URL（YouTubeチャンネル用）
dualFace(CVM 2021) : https://youtu.be/29nrIwo1t10
AniFaceDrawing(SIGGRAPH 2023) : https://youtu.be/GcL67h8QEOY

（2023年5月31日受付）
（2023年8月15日note公開）

ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
　取得年月：2023年3月
　学位種別：博士（情報科学）
　大学：北陸先端科学技術大学院大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー

推薦文［メディア知能情報領域］コンピュータグラフィックスとビジュアル情報学研究会
この研究は，AIがユーザの描いたラフスケッチを理解し，適切なガイダンスを提供することで，ユーザの芸術的創造性を対話的に支援し，ユーザの描画能力の向上を目指しました．絵を描く行為に人工知能が寄り添う人間と計算機の共創システムを構築し，リアルもしくはアニメ調の肖像画の描画支援を実現しました．

研究生活　　絵を描くことは，人類文明の歴史上，古くからある表現手段である．ビジュアルアートの重要な一形態である絵には，強い表現性と写実性があり，作者自身の感情や思考を表現するものである．しかし，どんなに簡単な絵を描く場合でも，ユーザには一定レベルの描画能力があることが前提とされる．この一定レベルの描画能力を有するには，多大な手間と時間が必要であり，スキルの未収得者にとっては大きな壁となっている．筆者自身もその中の1人であり，絵を描くことに興味はあるけれど，画力もないし，学び続ける時間や体力もない．そこで，先端のAI技術を使って，もっと簡単に絵を描くことができないか？というのがこの論文の起点となった．この研究を完成させることができたのは，先生方のご指導とご協力があったことはもちろんであるが，何よりも，筆者自身のこのテーマへの興味と追い求め続ける努力の賜物である．