最先端に迫る!!音楽配信サービスを支える「音楽情報検索」ってどんなもの？【前編】

この記事では、SpotifyやApple Musicなどの音楽配信サービスにある「検索窓」や「おすすめの音楽」、そして「朝のプレイリスト」などを実現するために、どのような知識と技術が発展してきているのか、その秘密に迫ります。


今までの記事では、『「三大レクイエム」を知ろう!!』や『「プーランク」と「クープラン」の作品と時代』のように、音楽作品や作曲家に焦点を当てた内容で書いてまいりました。
今回は少し異なり、音楽配信サービスにある「検索窓」や「朝のプレイリスト」なども支えている、「音楽情報検索」というひとつの研究分野についてわかりやすくご紹介します！

今回の記事では、前編として、音楽情報検索とは何かについてをご紹介し、現在、配信サービスにてどのように利用されているかをお伝えします。

「音楽情報検索」とは

ざっくり、音楽情報検索とは何かを述べてみましょう。

●音楽情報検索とは一つの研究分野で、
その目的は「いろいろな形式に合わせて必要な音楽データを抽出して、音楽情報を得て、音楽情報を検索する」技術を発展させることです。

●音楽情報検索は、英語で表すと"music information retrieval"であり、通常"MIR"と略されます。

●一つの学問固有の研究分野ではなく、複数の学問分野が横断して研究している分野(学際的研究分野)です。
例えば、音楽学、音響心理学、物理学、信号処理、情報科学、機械学習など。

この研究が始まったのは1990年代と新しいですが、携帯電話を含めた持ち運べる機械がデジタル音楽配信サービスを行うようになったことで、近年、急激にスポットライトが当たって発展してきた分野です。
膨大な数の音楽がある中で、ひとつの聴きたい楽曲を選ぶためには、検索をする必要があるからです。

急激にスポットライトが当たってきたことは、下記の2つからよくわかります。

●MIRの国際学会である「国際音楽情報検索学会(ISMIR)」の前進のシンポジウムが2000年に開催され始め、2008年にはISMIRという現在の名称で開催され始めたこと
　→ISMIR 2019年の内容 (2020年の内容はまだ公開されていない)

●MIRの凄さを競うコンテストである「音楽情報検索コンテスト(Music Information Retrieval Evaluation eXchange; MIREX)」が2005年より開催されるようになったこと
　→MIREX 2020年の内容 (セキュリティーソフトによっては閲覧不可)

新しい分野ですが、どちらも現在まで毎年開催されています。

さて、先ほど、音楽情報検索は、「いろいろな形式に合わせて必要な音楽データを抽出して、音楽情報を得て、音楽情報を検索する」ことと言いました。

すなわち、音楽情報検索には、

という３つの工程があります。

「データ」と「情報」の違い
「データ」とは、客観的事実。記号、数値、文字などの記録。
「情報」とは、データに意味が与えられたもの。ある目的のもと、収集され加工されたもの。

ここからはそれぞれの工程を見ていきましょう。

「音楽データ」って何？

ざっくり言うと、まだ音楽的な意味を持たない、数字や記号です。
どんなものがあるでしょうか？

(1) デジタル音源
離散的な数値から成るデータです。

デジタルの場合、"何を""どのように"離散的数値とするか、によって二つが考えられます。

1-1 ".wav"、".mp3"など
すなわち、音楽が再生された物理的な音波をデジタル化したもの。
データ内容としては、一定の時間間隔ごとに、振幅の大きさが0～1の間で記載されたもの。例えば、[0, 0.0003, 0.0034, 0.0356, 0.2458 ... ... ]

CDの規格などのように、録音、標本化と量子化によって、連続的なアナログの音波を離散的な数値へと変換したもの。
厳密に言えば、そのデータは異なる方法で圧縮される。例えば、".wav"や".mp3"。

1-2 "MIDI"
すなわち、演奏データをあるやり方でデジタル化したもの。
データ内容としては、"どの時刻"から"どの時刻"まで、"どの音"が"どのくらいの強さで"演奏されたかなどが記載されたもの。

ざっくり言うと、MIDI対応の電子楽器を使い、MIDIという共通規格に則ってデジタル化したもの。
少し具体的には、"どの時刻" (ノートオン) から "どの時刻" (ノートオフ) まで、"どの音" (ノートナンバー) が "どのくらいの強さで" (ヴェロシティ) 演奏されたかなどを記録していくもの。

(2) 楽譜
これもひとつの形式です。
データ内容としては、速度記号、メトロノーム記号、調合、音符…などですね。

(IMSLP: バッハ《平均率クラヴィーア曲集 第１巻 第１番 プレリュード》
出版社: New York: G. Schirmer, 1893. Plate 11015.)

さて、今まで述べたように、音楽データとして得られるものは以下です。

(1) デジタル音源
  1-1 ".wav"、".mp3"など、音波をデジタル化したもの
　→一定の時間間隔ごとに、振幅の大きさが0～1の間で記載されたもの

  1-2 "MIDI"、演奏データをデジタル化したもの
　→"どの時刻"から"どの時刻"まで、"どの音"が"どのくらいの強さで"演奏されたかなどが記載されたもの。

(2) 楽譜
　→速度記号、メトロノーム記号、調合、音符…など

ですが、これらはまだ意味を持たない「データ」であり、意味を持つ「情報」ではありません。

音楽情報検索では、これらの「データ」から、どのように「情報」を得るか、また、どのような「情報」を得るか、ということを模索しています。
これがまさに、「音楽情報を得る」という工程になります。

「音楽情報を得る」って何？

音楽情報検索にて得たい、意味のある「音楽情報」には次のようなものがあります。

まず、具体的で、一つの楽曲につき、一つの情報となるものには次のようなものがあります。

●テンポはどのくらいか？
●調性は何か？
●2音や3音などの複音にて、基本周波数は何Hzか？
(ざっくり言うと、一番低い音や基礎となる音はどれか？)
●演奏に用いられている楽器の種類には何があるか？
●アーティストは誰か？
●作曲家は誰か？
●ジャンルは何か？

次に、具体的で、一つの楽曲につき、複数の情報があるものもあります。

●ピッチはどのように変化していくか？
●ビート(拍・リズムを刻みたくなる場所)はどこと、どこと、…(略)…、どこにあるか？
●この楽曲をカバーした楽曲はどれか？

また、具体的で、一つの楽曲につき、複数の情報があるものの中には、
楽曲から何かを抽出したり分離したりすることで得られる情報もあります。

●この楽曲のメロディのみを抽出するとどのような情報になるか？
●この楽曲を各パートに分解するとどのような情報になるか？
(合奏の曲全体から、歌、ギター、ドラム、などのような各パートに分離する)

また、これらのような比較的具体的な情報以外にも、
次のような抽象的な情報もあります。

●楽曲の雰囲気はどんなものか？
●楽曲の印象はどんなものか？

さて、今まで述べてきた情報は、同時に、音楽情報検索にて自動でそれぞれの情報を得るための課題でもあります。
すなわち、

●テンポ推定
●調性判定
●複音の基本周波数推定
●楽器判定
●アーティスト判定
●作曲家判定
●ジャンル判定
●ピッチトラッキング
●ビートトラッキング
●カバー曲判定
●メロディ抽出
●音源分離
●雰囲気分類
●印象分類

です。

「音楽情報を検索する」って何？

さて、ようやく「検索」にたどり着きましたね。

先ほど見てきたように、音楽情報検索では、

1. wavやMIDIや楽譜などの様々な形式の膨大な音楽データから、必要な音楽データを抽出し
2. テンポや楽器、作曲家やジャンル、雰囲気や各パートなどの音楽情報を得て

します。そして、

3. 音楽情報を似た者同士でまとめていき、分類することで、音楽情報を検索することを可能にする

のです。
例えば、同じくらいのテンポの楽曲でまとめて分類しておけば、このくらいのテンポの楽曲を聴きたいなという検索が可能になりますよね。
ざっくり言うとそんな感じです。

実際の配信サービスでの検索利用法

さて、このように可能になった音楽情報の検索ですが、
実際の音楽配信サービスでは、二つの方法で検索が可能になっています。

1. 「あのタイトルの曲を聴きたいな」「あのアーティストの曲を聴きたいな」というような楽曲に関する外部情報・メタ情報で検索する(厳密検索)

　→配信サービスの検索窓で検索する。あるいは、同じアーティストの曲をたどる。
(これらの音楽情報は、タイトル情報やアーティスト情報、あるいはアーティスト同定課題により得られた音楽情報をもとに検索される。)

2. 「朝に合う曲が聴きたいな」「作業のお供になる曲が聴きたいな」というような楽曲に関する内容や雰囲気で検索する(曖昧検索)

　→「朝」や「作業」といったプレイリストやチャンネルを探す。
(これらは、雰囲気推定や印象推定などの課題により得られた音楽情報をもとに検索される。)

このようにして、音楽情報検索では検索が可能になるような技術を培っているのです。

まとめ

本記事では、音楽情報検索という研究分野が何を行い、それが音楽配信サービスにどのように生かされているかを述べてきました。
最後に、今までの情報をまとめておきましょう。

●音楽情報検索(Music information retrieval; MIR)とは一つの研究分野で、「いろいろな形式に合わせて必要な音楽データを抽出して、音楽情報を得て、音楽情報を検索する」技術を発展させている。

●デジタル音楽配信サービスにて、膨大な数の音楽がある中で、ひとつの聴きたい楽曲を選ぶために「検索システム」が必要になるため、近年急速に発展してきた。

●音楽情報検索はざっくり言うと、
1. wavやMIDIや楽譜などの様々な形式の膨大な音楽データから、必要な音楽データを抽出し、
2. テンポや楽器、作曲家やジャンル、雰囲気や各パートなどの音楽情報を得て、
3. 音楽情報を似た者同士でまとめていき、分類することで、音楽情報を検索することを可能にする

●この音楽情報検索の知見が培われたことにより、実際の音楽配信サービスで、楽曲に関する外部情報・メタ情報で、あるいは楽曲に関する内容や雰囲気で、音楽を検索することができるようになってきている。

【次回】「音楽情報検索」ができると何が嬉しいの？音楽情報検索の応用先に迫る！

次回の記事では、後編として、音楽情報検索が応用先として目下研究中であること、すなわち、これから実現されるかもしれない未来について述べていきます。

参考資料

[Webページ]

　【英語】国際音楽情報検索学会ISMIR HP
http://www.ismir.net/

　【英語】音楽情報検索コンテストMIREX HP
(セキュリティーソフトによっては見れないかも？)
https://www.music-ir.org/mirex/wiki/MIREX_HOME

　【英語】研究者たちが作ったっぽいMIRに関するWebページ
https://musicinformationretrieval.com/

　【英語】Slideshareに上がっていた、2019年のLondon information retrieval meetupの資料
https://www.slideshare.net/AndreaGazzarini/introduction-to-music-information-retrieval

　【英語】MIRに関するWeb記事
https://tagteamanalysis.com/2020/07/mir-music-information-retrieval/

[論文]

　帆足 啓一郎. (2010) "音楽情報の検索", 映像情報メディア学会誌, 64 巻, 5 号, p. 701-707.
https://www.jstage.jst.go.jp/article/itej/64/5/64_5_701/_article/-char/ja

　ダウニー J.スティーブン, 亀岡 弘和. (2008) "音楽情報検索コンテスト(2005〜2007)を通して見た音楽情報検索研究", 日本音響学会誌, 64 巻, 8 号, p. 457-467. https://www.jstage.jst.go.jp/article/jasj/64/8/64_KJ00004982233/_article/-char/ja

　後藤真孝, 平田圭二. (2004). 音楽情報処理の最近の研究 (< 小特集> 音楽音響における最近の話題). 日本音響学会誌, 60(11), 675-681.
https://www.jstage.jst.go.jp/article/jasj/60/11/60_KJ00003499733/_article/-char/ja/

　吉井和佳, 後藤真孝. (2009). 音楽情報処理技術の最前線: 7. 音楽推薦システム. 情報処理, 50(8), 751-755.
https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=60836&item_no=1&page_id=13&block_id=8

　【英語】Pachet, F., & Aucouturier, J. J. (2004). Improving timbre similarity: How high is the sky. Journal of negative results in speech and audio sciences, 1(1), 1-13.
https://labrosa.ee.columbia.edu/~dpwe/papers/AucouP04-timbsim.pdf

　帆足 啓一郎.(2017) "4. 音楽とアプリケーション", 映像情報メディア学会誌, 71 巻, 7 号, p. 466-469. https://www.jstage.jst.go.jp/article/itej/71/7/71_466/_article/-char/ja