見出し画像

Colaboratoryを使った作品制作TIPSを紹介する

FTD

※こちらは2021/12/19「Creative Coding 作品の周辺を語る会」で発表した内容をベースにしたざっくり記事です。

本記事ではGoogle Colaboratoryを使った作品制作に役立つかもしれないTIPS（Colabのちょっと変な使い方？）をご紹介します。


Colaboratoryの概要

Colaboratory（略称: Colab）は、ブラウザから Python を記述、実行できるサービスです。次の特長を備えています。

・環境構築が不要
・GPU への無料アクセス
・簡単に共有

Colab は、学生からデータ サイエンティスト、AI リサーチャーまで、皆さんの作業を効率化します。詳しくは、Colab の紹介動画をご覧ください。下のリンクからすぐに使ってみることもできます。

※公式Colabノートブックより引用。


インターネットの海を徘徊していると以下の用途で使われることが多いイメージのColab。

・データサイエンス
・機械学習モデルの訓練・実行
・サンプルコードの共有（教材としてアカデミックな現場で使われる等）


今回は上記に加えこんな使い方もあるよ的な事例をご紹介します！


Colab自体のおまけ的な機能

スクリーンショット 2021-12-13 5.49.17

画面左メニューにあるコードスペニットに便利機能の一覧的なものがあります（そのまま挿入できるサンプルコード）。例として「Camera Capture」のコードを挿入してセルを実行すると、Webカメラが起動し任意のタイミングでキャプチャーできます（実質JavaScript）。


スクリーンショット 2021-12-20 4.37.12

画面上部のメニュー「ツール」→「設定」→「その他」より謎の設定をして遊べます（この状態で適当に文字を打ってみてください）。楽しくなるだけで特に意味は無いみたいです。


セグメンテーションでマスク用の素材を作成

セグメンテーション（領域分割）系の機械学習モデルを使うと、マスク用の映像素材（グリーンバック）を作成することができます。ここでは例としてDeepLabとYOLACT++をご紹介します。


セグメンテーションした領域にエフェクトを付けるとなんだかカッコ良い感じになります（以下はTouchDesignerを使用）。


以下はローカル環境でのWebカメラ映像に対するリアルタイムエフェクトですが、コードスペニットのコードと組み合わせればColabで近いことができるかも？（そこまでしてColab内でやる意味無さそうだけど……）


参考までに昔書いた記事とColabで動かせるサンプルのノートブックも貼っておきます（実際にグリーンバックにして書き出すには本体のコードを書き換える必要があるのですが）。



生成モデルで素材作成

GANやVAEのような機械学習モデルを使って生成した画像&動画を素材として変なビジュアルを作成できます。

こちらはStyleGAN3のコードを少し書き換えて出力したモーフィング映像（Colab上でできます）。


GANで出力した映像にさらにエフェクトをかけるとより面白いビジュアルになったりします。※WikiArtとは。


関連して、CLIPと連携することでテキスト入力をもとに画像を生成することもできます。以下は界隈で有名な@RiversHaveWingsさんによる作例。


以下は自分で試してみた作例（ネタ枠）（分かる人には分かる）。


こちらも同様に映像素材としてエフェクトをかけたりすると良い感じになります。


GAN関連は以下の記事でも紹介しているのでよかったら見てください。


Blenderでレンダリングしてみる

　 PythonでBlenderのレンダリング制御ができる。
→ ColabでもBlenderのレンダリングができる。
→ GPUが使えるのでレンダリング速くなるかも！

ということで自分で試してみた際の備忘録を以下に残しております（普通に検索しても色々記事がヒットします）。


Colabだけでビジュアル作成

Colab単体でCreative Codingっぽいビジュアルを作って遊んだりもできます（そこまでやる人いるのか）。今回はタートルグラフィックスを使用し画面上の亀さんを操作してお絵描きします。


turtleで凄い作品を作っている人たちもいるようです（Shadertoyっぽい）。


自分でも試してみました（ランダムウォーク）。


参考記事の皆さま。


その他

他にもColabの色々な使い方をしている方たちがいるようです。


AWSでもSageMaker Studio LabというColabに似てそうなサービスが始まったようです（ありがたや）。本記事の執筆時点ではアカウントだけ作成してまだ触ってません泣。

How does the new SageMaker Studio Lab compare to Colab and Kaggle?


さいごに

以上、Colaboratoryを使った作品制作に役立つかもしれないTIPSをご紹介しました！全然関係ないですがARIAと攻殻機動隊はステキな作品です。



スキを押すと「あたり」か「はずれ」が出ます。