バイナリーはアートマテリアルである　2 　 （画像から音楽を作るひとつの方法）

これはドラフトです。
最終稿は http://kenjikojima.com/BinaryAsArt/

画像のピクセル・データを音楽に変換「RGB Music」:

「RGB Music」は、2007年に私自身が開発したコンピュータ・アプリケーション「RGB MusicLab」から作られます。アプリケーション「RGB MusicLab」は、ピクセルの３つの色彩値（Blue, Green, Red）0から255を、画像の左上から横に右下まで読み込んで、12音階の音符に自動変換します。ピクセル値120を中央のド（C）として、上下の数値に機械的に振り分けます。0,0,0 は無音、音の長さは数値によって決まります。大きな数値を高音とするか、逆にするかの選択は操作する人に任されます。

写真の画像は無数と言って良いくらいのピクセルが使われますから、始めに画像をモザイクにして一つ一つのグリッドを、その平均の色彩と考えます。細かなモザイクは時間が長く、荒いモザイクは短い時間の音楽に変換されます。変換された音符はmidi楽器で演奏されます。以上がプログラムの概略です。

アプリケーション「RGB MusicLab」はここからダウンロードできます。
macOS 11 Big Sur では動きません。Mac版は古いOSを使ってください。

「RGB MusicLab」の基本的な機能のビデオです。
アプリケーション RGB MusicLab / 03:00 / 2007

「RGB MusicLab」で作った、実際のアートワークで話を進めましょう。 レオナルド・ダ・ヴィンチのモナ・リザ画像の部分のRGB値から、ピアノ曲を作り出しています。演奏しているピアノの音と、画像のモザイクを移動しながら指し示すターゲット・アイコンと、バックグラウンドの色彩は同期します。中央にある3DワイアフレームはRGBカラー・キューブと言って、XYZ軸に0から255までの値が割り振られていて、現在演奏している音階が、カラー・キューブの空間ではどこかを点で示し、曲の進行に沿って点は線で繋がれて行きます。アプリケーション「RGB MusicLab」で作ったファイルでは、キューブの視点をマウスで変えられるのですが、これはビデオ・ファイルにしているのでその機能はありません。

Leonardo da Vinci’s Mona Lisa Smile Variations Harmonic Minor
04:02 / 2007

次にシンプルな色彩のパターンから曲を取り出してみます。RGBそれぞれに違う楽器を割り当てました。ブラウンのダイアモンド形の連続模様の雰囲気と曲の感じから、「北アフリカの褐色のダイアモンド」というタイトルにしました。これは色のパターンですが、楽譜と同じ機能を表しています。

RGBMusic / Brown Diamond in North Africa / 3:11 / 2007

RGBカラー・キューブから派生した考えで、RGB値をXYZ値に置き換えて立体の表面の座標から、音楽を作り出すことができます。球体の中心をカラー・キューブの中心として、すべての音階が等距離を取っているからか、古典音楽のようなの独特なハーモニーを形成しています（私は音楽的な理論は追求していません）。弦楽三重奏の楽器バイオリン、ビオラ、チェロを、XYZに割り当てています。旋律の進むスピードに合わせて、RGBカラー・キューブの視点を変えて回転させています。バックグラウンドの色彩は演奏されている3音です。

XYZ Music: String Trio Sphere Random Points / 05:12 / 2008

ACMSIGGRAPH（アメリカコンピュータ学会CG分科会）のサイト
Composition FUKUSHIMA 2011 / Digest 10:00

バイナリーはアートマテリアルである
1. 概要
2. 画像のピクセル・データを音楽に変換「RGB Music」
3. 画像を暗号モザイクに 音楽鍵で元の画像に「CipherArt」
4. ビデオ画像から音楽を取り出す「Techno Synesthesia」
5. 作品コンセプト「テクノ共感覚（Techno Synesthesia）」