スペクトログラムを理解する

翻訳って大変な作業だなと実感しながら、できるだけ毎日更新するぞという意気込みで頑張ろります。

今回はスペクトログラムと呼ばれる、RX7やInsightに搭載されているビジュアル分析の機能を解説したページを日本語訳にしたいと思います。

Understanding Spectrogram | Audio Repair & Restoration Tips

上手にオーディオリペアを行うカギは、その状況を正しく分析する能力にかかっています。言うなれば、医者が患者の症状を聞いて病気の特定をする能力に似ています。

修正が必要なノイズなどを聞き分ける耳の鍛錬をずっとしていくのは、一生かかっても終わらない旅のようなものです。でも幸運なことに、数々の賞を取ってきたRXにも搭載されている、スペクトログラムという技術でオーディオを可視化できるので、それもそんなに難しい作業ではなくなっているのです。

このブログでは、以下のトピックについて書かれています。

　・スペクトログラムがどのように動くのか
　・オーディオファイルをどう調べるするのか
　・スペクトログラムの表示をどう微調整するのか

もっとスペクトログラムについて学びたい場合はこちらを読んでください。

スペクトログラムがどのように動くのか
オーディオを修正し本来の姿を取り戻すビジュアルツールの目的は、オーディオの問題点の情報をより多く我々に提供することにあります。編集の決断の助けになるだけでなく、ウェーブフォームと一緒にスペクトログラムのディスプレイを活用すると、目新しくて素晴らしい編集方法がわかるようになります。

Tips: スライダーでスペクトログラムとウェーブフォームのそれぞれの表示を変えることができます。

じゃあ、スペクトログラムとは一体何モノなんでしょうか。スペクトログラムは、２Dも３Dどちらでも表示可能な非常に詳細で正確なオーディオのイメージ画像です。オーディオは音の大きさを示す明度もしくは高さ（３D）を使った、時間軸と周波数軸によるグラフで表示されます。ウェーブフォームが時間軸に対する音の大きさを示すのに対して、スペクトログラムはシグナルにおける周波数構成の変化を示してくれます。

オーディオファイルをどう調べるのか
ウェーブフォーム表示に慣れていた場合、このユニークな方法で音を「見る」ということを理解するのにちょっと時間がかかるかもしれません。まずはじめに、シンプルなオーディオファイルで考えましょう。

下の画像は、サイン波が60Hzから12,000Hzに上がっていく様子をウェーブフォームで示したものです。

ウェーブフォームだけの画像だと音の大きさはよくわかるのですが、周波数の変化を見るのにはあまり適してるとは言えません。具体的にいうと、このファイル全体でサイン波が一定のレベルを保っているというのは簡単にわかるのですが、ピッチがどう変わったとか周波数が時間ごとにどうなっていったかは判断ができません。

では、同じオーディオファイルをスペクトログラムを使って見てみましょう。

これだとオーディオのピッチが上がっていったのはすぐわかりますね。ウェーブフォームの場合と同じで、横軸が時間軸です。しかし、縦軸は実際に変化したHz、ピッチの周波数軸を示しています。どれくらいの音量だったかはイメージの明度で判別します。背景の真っ黒なところは音がなっていない部分で、オレンジのカーブはサイン波がピッチを上げていったことを示しています。

Tips: 青とオレンジのカラーマップは音を区別するのにわかりやすいので、スペクトログラムのデフォルト設定です。ですが、設定画面で好きなように変更することもできます。

Tips: カラーマップスライダーを使って、よりわかりやすいよう色の明度を上げることもできます。

では、もっと複雑なものに移りましょう。人間の声です。下の画像は、ウェーブフォームで表示した短い音声です。

ここで見られるのは、時間軸での音の大きさです。スペクトログラムに切り替えると、ウェーブフォームではわからなかった多くのことが見えてきます。

ウェーブフォームで見た時には感じられないくらい、人間の声は複雑なものなのです。どの言葉も基音（スペクトログラムの底の部分）、高い周波数に広がる倍音、言葉の始めと終わりに現れる歯擦音（Sの音）などの、いろんなものを含んでいます。そしてもちろん、声の他にノイズがしっかり含まれていることも見て取れると思います。

だから詳細に表示してくれるスペクトログラムが、オーディオリペアにおいて非常に大切なのです。直そうとしている問題点がはっきりと見えてくるようお手伝いをしてくれます。

スペクトログラムの表示をどう微調整するのか
すべてのスペクトログラムが同じように作られているわけではありません。高速フーリエ変換（FFT）と呼ばれるアルゴリズムが、視覚的に表示するため働いています。スペクトログラムを搭載する製品の多くは、FFTのサイズを調整して良いかこちらに許可を取ってきますが、それがオーディオリペアにおいてはどういった意味なのでしょうか。FFTのサイズを変えるというということは、スペクトログラムを割り出すアルゴリズムを変え、別の形で見せてくれるということです。視覚化したいオーディオファイルの種類によっては、これが良い方向に働きます。

原則として、FFTのサイズを高くすればより精度の高い周波数の詳細がわかります（周波数軸での分析）。逆にFFTのサイズを小さくすれば、時間での詳細がわかるようになります（時間軸での分析）。

破裂音やマイクを動かした時のノイズ、その他低周波数のこもりなどを分析しようとしている時は、FFTのサイズが大きいほうが役立ちます。一方、高周波数のものや、トランジェントの短い信号（パーカッションやドラムループなど）を見たい時、FFTサイズは小さくしてください。

下の画像は、コンサートでのドラムループに観客の口笛が混ざってしまったものです。FFTのサイズで高周波数と低周波数の、つまりトランジェントとサステインノートの解析にどのような影響が出るのか見て取れると思います。

Tips: RXには自動調整モードがあり、スペクトログラムの周波数ごとに違うFFTサイズで自動で解析するので、どうなったかいつでも全部簡単にわかります。

スペクトログラムがどう機能するのかおわかりいただけたでしょうか。あなたはもうオーディオが共通して持つ問題を正確に判断できるようになってきています。最高の道具を学んでから仕事に取り掛かると、いつでも欲しい結果が出ますよ！