初めてのMakerFaire東京。「機械学習でつくる電子楽器」を展示して、誰でも楽しめる楽器を提案してみました　#MFTokyo2018

フクシャチョーです。はじめまして。
FirstFourNotes という音楽スタートアップを2016年から、シャチョーと2人でやってます。

音楽とITを組み合わせて新しい何かを生み出せないかと日々、模索しています。

さて、今回はMaker Faire東京で「機械学習でつくる電子楽器!」を作って、誰でも楽しめる楽器！というコンセプトで出展をしてきました。

吹かない管楽器

吹かなくても音を出して、運指の練習とかができます。使っている楽器は、ヤマハのヴェノーヴァ。ヴェノーヴァを制作したの？！と勘違いされたのですが、これはヤマハさんが制作して販売している楽器です。

ヴァノーヴァを使ったのは、安く手に入れることができるという点です。

「機械学習で作る電子楽器！」という看板を出したのもあり、楽器に機械学習ってどういうことよ！！っていう機械学習に興味のある方、そもそもヴェノーヴァに興味があると行った方にブースに来ていただけました。

突貫工事でコピックで仕組みを描いた図

仕組みとしては、ヴェノーヴァの上下に、スピーカーとマイクをつけ、上端に取り付けたスピーカーから19〜21KHZの超音波を常に流しておきます。そして、下端につけたマイクで、その超音波をキャッチして、アンプ、ADコンバーターを通して、ラズベリーパイに送り込みます。

この超音波、ヴェノーヴァの穴を塞ぐ、つまりピッチを変えるために運指を変えると当然変化がおきます。その変化を運指毎に機械学習させておいて、実際にみなさんが運指を変えると、今どの運指かをラズパイで判別して、対応するピッチのMIDIデータをMIDI音源に送り込みスピーカーから音をだしています。

なんで作ったの？

私、弦楽器奏者なので、管楽器がからきしダメなのです・・・。このヴェノーヴァも試して見ていますが、ものすごく頑張って試行錯誤した後に、やっと音がちょっとだけ鳴る。曲が吹けるようになるのは遠い・・・これもっと簡単に音出せないの？

という単純な思いつきが発端です。それで作っちゃった。というかシャチョーが作りましたw

どこでもマリンバ

コンセプトは、家のダイニングテーブルでマリンバの練習ができてしまう、それが実現できたら面白くない？みんなもっと楽しく音楽に触れられるよねというアイデアから始まりました。

安物の合板よくない・・・・と気づいたのは実装中。

最初は、この板の両端につけたマイクで板を叩いた時の振動をとって、左右の到達時間の差から距離を割り出して・・・というつもりだったんですが、これが安物の合板なので、板そのものが不均一すぎて、時間差から距離を割り出して音をだす、という目論見は最初にできないことがわかりました。

頭で考えていることと、実際やってみてあああああと思う、これが作ることの醍醐味ですね！

そんなこんなで、これも機械学習を使って振動の特徴を学習させ、どの部分を叩いたか判別しています。

会場が賑やかすぎて、マリンバの音だと音階が変わるのが、わかりづらいので、結局アウトプットはピアノの音にしていました。それについて、あまりツッコミはなかったので、マリンバはマイナーな認知なんだなと思った次第です。

また、板そのものに仕掛けがあるのでは？このフェルトのところにタッチセンサーかなんか埋め込んでいるだけですよね？と思われ、板の裏側を覗き込んだ方もたくさんいらっしゃいました。

「発想がおもしろいのに、見せ方に失敗している」

と感想もいただき、本当にそうだなあと思って、展示会中どう見せるといいのかを議論していました。

BowingPlay

会場のBluethoothの混線っぷりを甘く見ていました。というより、他の２つで手一杯だったので、こちらはあまりにも準備不足で展示できませんでした。

こちらは機械学習ではなく、センサーをつけて、弦楽器の練習する右腕の動きを可視化するというものです。

今回、iPadで動く側のアプリは、右腕の動きに合わせて鳥のキャラクターが動いて、正しく動いていると、風船が割れる、というゲーム仕立ての物にしていました。

昨年のCEATECに出した時は、有線で展示するように準備していたので、２日目に有線セットを持って来て動かそうとしたのですが、iOS側のアップデートもあり、色々現場で頑張って見ましたが、動くところまで行かず・・・今回の展示はあきらめました。

しかし、３つも展示品を作ろうっていうのが、スタート遅かったのに、欲張りすぎましたね。

MakerFaireTokyoを終えて

音楽だけど、見た目がわかりにくかったせいか、素通りされるパターンが多く、メインはロボットやエレクトロリック、もっと派手で、目立つもの！がMaker Faireでは人気でしたね。

けど、ブースに来てくれた何人もの人に貴重なフィードバックをもらえるのが、展示会の本当にいいところです。

この発想がすごい！どうやって思いついたの？

アナログなのに、デジタルっていうのがいい！

これが正しい機械学習の使い方かと思いました！

しかし、見せ方に失敗している

見せ方・・・・・これが、どんな製品やアプリを試作しても、毎回、言われてしまうことなのです。

弊社、エンジニア２人でやっている会社で、UXやUIなどのデザイナーさんがいないという点もあります。

ここは今後の課題なので、自分たちでも学んでいくと同時に、外部のアドバイスをもらったりもしていく機会を作って行きたいですね。

メイカーフェアシンガポールに向けて

さて、そんなこんなでメイカーフェア東京も終わり、次は、8/17からのシンガポールのメイカーフェアに出します。

無謀というか、通用するのかどうかすらわかりませんが、前に進むのみです。経験は必ず糧にしていくつもりでいつも臨んでいます。

さて、その見せ方の問題ですが、ちょうど、知り合いのUXデザイナーさんが、新しいオフィスを見たいと言っていたのに乗じて、色々とアドバイスをいただきました。

さすが、出てくるアドバイスの視点が違う。

シンガポールでは、大人も子供も、「なんだあれ？？」って感じて、寄って来てくれる作品を作りたいと思います。

とはいえ、あと3日間！

やるしかない！