バイナリーはアートマテリアルである　3 　 （画像から音楽を作るひとつの方法）

これはドラフトです。
最終稿は http://kenjikojima.com/BinaryAsArt/

画像を暗号モザイクに 音楽鍵で元の画像に「CipherArt」：
2進数の1桁ごとに真偽を演算するこの方法が、バイナリーを「0,1」とイメージしている人には、最もアートマテリアルのように見えるかもしれません。 人間の感覚は外界に取り巻く情報を、感覚器官の機能によって分割して現実世界として把握しています。典型的な２つの情報として視覚と聴覚があり、 その他一般的に皮膚感覚、嗅覚、味覚等に分類されます。私は外界を感知する方法と暗号を解読する方法に、何か共通なものがあると考えています。

下に引用した作例のビデオは、画像を暗号化したモザイクと、暗号を解く鍵として作成された音楽から、元の画像に復号している工程を見せています。暗号化したモザイクも暗号鍵の音楽も作者小島のウェブサイトにあって、復号化アプリで、暗号鍵の音楽を聴きながら、元の画像に復号している経過を見ることができます。

ビデオは始めmidi音声ファイルから音符を取り出します。取り出された音符（記号と数値）は、2進数のバイナリーに変換され、ビジュアル・データの2進数と同じ位置を１つづつ論理演算（排他的論理和）で、暗号化される前の数値に戻します。元の数値はオリジナル写真のピクセル値です。

Audio and Visual files merged into an image. Bee 1380418994
11:28 / 2013

暗号化：開発したアプリケーション「SplitAudioVisual」のアルゴリズムは、ワンタイムパッドと呼ばれる暗号作成方法で、写真データのビットごとのXOR演算（排他的論理和）を行い、同じ長さのデータを2つ作成します。アルゴリズムはさらに写真から作られた２つの暗号ファイルの１つの暗号データは視覚（カラー・モザイク）に、もう１つ暗号鍵データは聴覚（音楽）に変換します（この場合どちらが暗号で、どちらが暗号鍵という考えではなのですが、便宜上そう呼びます）。

復号化：プロジェクトは、元の写真に戻すための視覚の経過を見せながら、音楽を演奏するプレイヤーを用意しています（上のビデオを参照）。暗号の作成はアーチスト自身の領域（制作）で、プレイヤーで見せる状態（復号化）がアートワークと言えます。プレイヤーは小島のサーバーに置かれた暗号と、暗号鍵のファイルを専用のプレイヤーでダウンロードして、音楽を聴きながら元のイメージに戻る経過を見ることができます。つまりインターネットを通して地球上のどこでもアートワークを見ることができます。

Split:
開発した分割ソフトウェアは、ビット単位のXOR演算（論理排他的論理和）によって、デジタル画像をオーディオファイルとビジュアルファイルに分割します。 ビット単位の演算は、同じ長さの2つのビットパターンを取り、対応するビットの各ペアに対して排他的論理和を実行します。 ソフトウェアは、元の画像と同じピクセル数の乱数を作成します。乱数のバイナリは、ビット単位のXORによって画像のバイナリに対して実行されます。 ビット単位のXORは、0と0を0に、0と1を1に、1と1を0にします。ただし、小数点の位置は変わりません。 1ピクセル要素のバイナリが10010011で、乱数が00100001の場合、結果は10110010になります。8ビットバイナリの例を参照してください。

10010011  (original image)
00100001 (random number)
10110010  (the result)

Audio and Visual:
このソフトウェアは、乱数データをRGB Musicテクノロジーによって12音階の音楽に変換します。 RGB値120は中央のCに変換されます。数値2の値はそれぞれ半音を増減します。 1つのピクセルから3音のハーモニーを作ります。 0,0,0は無音です。 音符の長さは色の値によって決まります。左のサンプルMIDIファイルは、乱数の数値から作成されます。 ビット単位のXORによって処理された新しい画像になりますが、人間の知覚では、その画像が何であるかを認識できません。音声ファイルと画像ファイルの2つのデジタルファイルで、元の画像に戻すことができます。音声ファイルは鍵、画像ファイルは暗号と考えることができます。

Merge:
融合ソフトウェアは、オーディオキー（音楽ファイル）を音符に変換してから、バイナリを作成します。 このバイナリはビット単位のXOR演算（論理排他的論理和）で、暗号イメージのバイナリに対して実行されます。 下の例を参照してください。

10110010（暗号イメージのバイナリー）
00100001（オーディオキーのバイナリー）
10010011 (オリジナル画像のバイナリーに)

音楽ファイルと画像ファイルが元の画像にマージされます。

論理演算ノート（LiveCodeプログラミングの論理演算概略）

German Unity Day / 02:00 / 2016
"Brave New World 2016 – Beyond the wall".

上の作例は、二つの異なるファイルがひとつのドイツ国旗に融合する様を「Split / Merge AudioVisual」の復号化で見せています。 この作品は、2016年ベルリンで行われた「German Unity Day」のエキジビション「Beyond The Wall」で公開されました。

Bee and Bird / 08:17 / 2014

暗号と暗号鍵ファイルは必ずしも、モザイク・ファイルと音声ファイルである必要はありません。上のビデオは２つの音声（midi）ファイルを使って元の蜂の画像にしています。

バイナリーはアートマテリアルである
1. 概要
2. 画像のピクセル・データを音楽に変換「RGB Music」
3. 画像を暗号モザイクに 音楽鍵で元の画像に「CipherArt」
4. ビデオ画像から音楽を取り出す「Techno Synesthesia」
5. 作品コンセプト「テクノ共感覚（Techno Synesthesia）」