【AI analytics連載】AIによる画像生成技術の魅力を紹介！

【AI analytics連載】では当社データサイエンティストによるAI関連のニュースや技術紹介を中心に記事をお届けします！

こんにちは、AIX Labの成田です。

AIX LabではSMSやHR領域をはじめとしたAI関連の新規開発や先行研究の調査などを行っています。

この記事ではニューラルネットワークによる画像生成の基礎技術のひとつであるStyle Transferを通じて生成系技術の魅力をご紹介できればと思います。

Style Transferとは

Style Transfer とは、画像のコンテンツ（内容）からスタイル（画風）を分離して、ほかの画像にスタイルを適用する技術です。一番基礎となってる論文はGatys et al. 2016です。（プレプリント版が2015年にも出されています。）

この論文をもとにStyle Transferの基礎技術についてご紹介します。

以下の画像が論文の中で紹介されているサンプルになります。Aの画像がB～Fのそれぞれの左下の画像の画風に変換されています。

（Gatys et al. 2016より引用）

モデルは畳み込みニューラルネットワーク（CNN）で構成されています。（画像分類に使用されるVGGというモデルがベースとなっています。）
入力にはスタイルを使用する画像とコンテンツを使用する画像の２種類を用意します。畳み込み層の各層での学習のイメージは以下のようになります。

（Gatys et al. 2016より引用）

入力に２種類の画像を使用し、a→b→c→d→eの順に学習が進んでいきます。図の上側ではスタイルについて、下側ではコンテンツに対しての学習の様子が示されています。上側のスタイルについては学習が進むにつれてモザイク状から画風の表現が獲得されていき、下側では次第に不鮮明な画像になっていく様子（情報が落ちて重要なもののみが残っていく様子）が見て取れます。

画像に含まれる情報を「コンテンツ」と「スタイル」に分離し、画風を変換したい画像の「スタイル」の部分を、生成したい画風の画像の「スタイル」で置き換えて、新しい画像を生成するという流れになっています。

実装してみる

今回はこちらのモデルをwikipedeaからお借りしたトラの画像に適用してみたいと思います。

（wikipediaより引用）

まずはエドヴァルド・ムンクの「叫び」から。

背景の雰囲気などがしっかりと反映されているように感じます。

お次は、パブロ・ピカソの「泣く女」。

色使いや模様がよく表現されています。トラの縞模様も「泣く女」の線の描き方に近い印象を受けます。

最後に、フィンセント・ファン・ゴッホの「星月夜」。

…おお…！！

今朝、太陽が昇る前に私は長い間、窓から非常に大きなモーニングスター模様のトラを見た。。。

とでも表現したくなる変わりようです。とても良い味がでています。

おわりに

今回はStyle Transferという技術の解説とその実装例をご紹介しました。AIX LabではSmart Work, Smart Lifeの実現に向けて、誰もがワクワク仕事ができるようなAIの開発に日々取り組んでいます。

今後もAIX Labの活動や技術の解説などを発信していけたらと思います。

参考文献

- Gatys et al. 2015, A Neural Algorithm of Artistic Style

- Gatys et al. 2016, Image Style Transfer Using Convolutional Neural Networks

- Ghiasi et al. 2017, Exploring the structure of a real-time, arbitrary neural artistic stylization network