音って見えるんです！
オンキヨー開発部 河村です。
仕事をされている方は夏季休暇も終わり、お仕事始まりっているかと思います。学生さんはまだお休みの方もいらっしゃるかと（うらやましい）。
今回は事業の紹介、というよりは、当社の事業の根幹となる「音」について、語ってみようかと思います。といっても、オーディオ的な「音の良さ」を語るわけじゃなく、音を違った視点でお話ししてみます。
ということで、タイトル、思い付きで書きました。あとでうちのエンジニアに怒られるかもしれません。
「音が見える」
どういうこと？一体、私は何を言っているんでしょうね。詳しく説明します。
音にお困りのお客さんから、よく言われるのが
「音って分かりにくい」
です。なぜなら見えないから。
例えば、
・ 音に含まれるノイズがあるというが聴こえない
・ 音がどこから鳴っているか分からない
・ 音が鳴っているが何の音か分からない
などなど。もちろんわかる方もいらっしゃいますので、人によってさまざまです。とはいえ、映像だと、見たら誰もがわかるものが音だと急にわかりにくくなります。
当社はこれらの音がどうなっているのか、人が見えるような情報として、画像で見せることが得意です。そうです。音が見えるんじゃなくて、音を「見えるようにする」でした。タイトルで釣られた方ごめんなさい。
ではその音を見えるようにする、いわゆる「見える化」ってどういうことなのか、説明したいと思います。
音は「音波」と言われるように空気の振動が”波”として伝わります。例えば、スピーカーは、スピーカーコーンが振動し、それが空気を震わせて、音として伝わり、人の耳の鼓膜を通じて、人は音として認知します。よくある下のようなスピーカーのイラストはまさにそれを表しています。
この時、スピーカーはどんな信号を伝えているのでしょうか。
音の表現、としては、横軸を時間として、縦軸に音の強さを表す、というの方法が一般的です。下の図をご覧ください。
これ、ピアノで弾いた「きらきら星」の波形です。でも、これを見てもきらきら星なのかさっぱりわかりません。
他に周波数を表示する方法もあります。イコライザ―を利用される方にはこちらの方がおなじみかもしれません。横軸が周波数で、縦軸が強さで、右に行くほど音が高くなる、という表現です。こういう周波数成分が楽曲のある時に含まれていることが分かります。ただし、時間情報は含まれていないので、時間ごとにこの表示がころころ変わるので、音楽全体の特徴、というのは分からないと思います。
さて、この一般的な2つの表現を見て、何か分かりましたでしょうか。音のイメージできますか？分からないですよね。
これを分かりやすくする表現として、スペクトログラム、という表示方法があります。スペクトログラムというのは、横軸を時間、縦軸が周波数、そして、色で強弱を表現しています。白くなれば、その周波数の強くなっている、という意味です。 時間情報も周波数情報も音の強さも表現できる優れものです。
この表現で、さきほどの「きらきら星」を表示してみます。
少し見えてきませんか。「きらきら星」の「ド・ド・ソ・ソ・ラ・ラ・ソ・ソ・・・」という音階に合わせて、白い線が上下しています。音階が高くなる、ということは周波数が高くなる、ということです。楽器なので、基音と呼ばれる元の音階の周波数だけでなく、倍音と呼ばれる、基音の整数倍の周波数も出てきますが、同様に動いているのが分かります。音の特徴が何となくでもわかる表現です。
このスペクトログラム表示、役に立つんです。
その説明のために、先ほどのきらきら星の音に少しいたずらをしてみます。
まずは時間波形から。
実は、きらきら星の途中で440Hzのサイン波を混ぜてみました。（プー、という音で聞こえます）。上記の波形に含まれているのですが、どこか先ほどと違う波形、気づかれた方いらっしゃいますでしょうか。
うーん、ちょっと怪しいところがありますね。
これをスペクトログラム表示に変えてみるとどうなるか、ご覧ください。
ん？アヤシイ線が見えますね。
この線、きらきら星の音階の波形の中で、特定の周波数の音がしばらく出ている、ということを表しています。これが、440Hzのサイン波を表しています。こうするとわかりやすいですよね。
このように、変な音が入った場合に画像にすることで、見えることができる、ということが、「音の見える化」の一つと言えます。
音が見える、なんとなくイメージできたでしょうか。
ざっくりとご理解いただいたとして、ところで、これ一体何の役に立つのでしょうか。いろいろと使えるのですが、一例としては、異音検知で活用できます。様々なノイズの中に特徴的な音が入っていることを見つけ出すには、上記のように見えるような状態にする、と説得力がある表現になります。報告書で、音を聞いてもらうわけにはいかないですよね。この音を検出することが課題とわかれば、対応は容易になります。
このように音を見える化することで分かりやすくできる、というメリットはたくさんあります。
見える化の他の例としては、こんなのもあります。スピーカーからの音の伝わり方の表現、です。なんとなく、どういうルートで音が伝わっているのか分かりやすく見えます。
他にもさまざまな表現で音を「見える化」することができます。そういうノウハウを持っているのが当社のすごいところです（自画自賛）。
他社さんとお話ししている際に、上記を見ていただくと、分かりやすい、ということで、この「見える化」から始めたい、とお声がけをいただくことがあります。課題解決のために、この「見える化」技術と、当社のAI技術と絡めて一緒に課題解決を進めています。
人間の耳、ってすごい能力を持っているのですが、これを人だよりにするのではなく、上記のように見える化して、それをAIで解決する、というのがこれからの技術可能性と考えています。
「見える化」を使っての事例については、また事業紹介の中で逐次紹介していきます。きっとこのnoteでも分かりやすく表現できるかと思います。
もし、興味を持たれた企業様、またそういう技術を仕事にしてみたい、一緒にやってみたい、という学生さん、ぜひお声がけください。いつでもウェルカムです。
https://onkyo.net/
最後に、参考までに、今回ご紹介したスペクトログラム表示などは、無料のツールで確認することができます。当社ではAudacityというツールを使うことが多いです。これ優れものなので、皆さんも是非ご活用ください。
では、また次回をお楽しみに。