最先端に迫る!!音楽配信サービスを支える「音楽情報検索」ってどんなもの？【後編】

後編では、SpotifyやApple Musicなどの音楽配信サービスなども支えている、「音楽情報検索」の応用先としての未来を、音楽を視覚的に楽しめる"Songrium"というサイトを中心にお話しします！


前回の記事では、「音楽情報検索」とは何かについてをご紹介し、その技術が配信サービスにてどのように利用されているかをお話ししました。

後編の今回の記事では、音楽情報検索が応用先として目下研究中であること、すなわち、これから実現されるかもしれない未来をお話しします。

前回の内容

さて、後半の内容に入る前に、前編のまとめを再度見てみましょう。(詳しくは前編を。)

●デジタル音楽配信サービスにて、膨大な数の音楽がある中で、ひとつの聴きたい楽曲を選ぶために「検索システム」が必要になるため、音楽情報検索(Music information retrieval; MIR)という研究分野が近年急速に発展してきた。

●音楽情報検索はざっくり言うと、
1. wavやMIDIや楽譜などの様々な形式の膨大な音楽データから、必要な音楽データを抽出し、
2. テンポや楽器、作曲家やジャンル、雰囲気や各パートなどの音楽情報を得て、
3. 音楽情報を似た者同士でまとめていき、分類することで、音楽情報を検索することを可能にする

●この音楽情報検索の知見が培われたことにより、実際の音楽配信サービスで、楽曲に関する外部情報・メタ情報で、あるいは楽曲に関する内容や雰囲気で、音楽を検索することができるようになってきている。

応用先1: 簡単に音楽情報を得られるようにする

これは少し応用先といえるか微妙ですが、音楽情報検索の研究が進んだことによって、一般の人(?)でも音楽の情報(例えば、調性、和声、メロディ、拍子、など)を得ることができるツールががあります。
いくつかご紹介してみます！

とはいえ、悲しいかな、ご紹介するものはほとんどがプログラミングが分かる人向けばかり。先ほど「一般の人(?)」と書いたのは、そのためです…。
こんなものがあるんだなぁ、と流してもらえれば…。

● Essentia
 … 公式HP
「プログラムなしで使える」と書いてあるけど、プログラミングの素養ががっつりないと何をどうしたらよいかわからないツール…。

でもでも！！このURLならちょっと楽しめるかも！
Essentiaのデモページっぽいところで、マイクオンにして音を入れるとリアルタイムでピッチを判定してくれる！
https://mtg.github.io/essentia.js/examples/realtime/pitchmelodia/example.html

●"Librosa"
 …pythonというプログラミング言語のための音楽情報を得るためのパッケージ。

●"MIR Toolbox"/ "Timbre Toolbox"
 …matlabというプログラミング言語のための音楽情報を得るためのパッケージ

●"Sonic Visualiser"というソフトにプラグイン"libxtract Vamp plugins"
Sonic Visualiser ... 公式HP、見た目こんな感じってわかりやすいページ
Vamp plugins … 公式HP

応用先2: 

さて、こちらこそが未来を語る部分！

音楽情報検索の応用として、
●自動譜めくり
　今まで手動で、人にお願いしていた譜めくりを、自動で勝手に音楽に合わせて行ってもらおう！
●自動採譜
　音楽を自動で楽譜に書き起こそう！
●自動で歌詞の同期表示
　今までは、カラオケのような音楽に合わせた歌詞表示は手動で歌詞と音楽を対応付けていた(何分何秒からはこの歌詞って感じで)。それを自動化しよう！

という試みもあります。
でも、それだけではなく、そのうち、「音楽を表す」ことが可能になるかもしれないのです！
それが、

●音楽を言語で表現する
　楽曲内容がわかる文章を自動で生成する。

●音楽を視覚的に表す
　楽曲内容が一目でわかるサムネイルや動画を自動で生成しよう！

という試みです！
二つ目の「視覚的に表す」試みとして、面白いものを見つけたので、ご紹介いたします！

"songrium(ソングリウム)"

音楽を視覚的に表す試みの一つの例として、"songrium (ソングリウム)"(公式HP)というものがあります。
これは、産業技術総合研究所の中のグループが研究開発しているプロジェクトで、以下のようなコンテンツを扱っています。

Songriumプロジェクト
Songriumは、産業技術総合研究所メディアインタラクション研究グループが研究開発しています。 本研究では、人々の音楽の聴き方をより豊かにすることを目的に、 増え続ける音楽コンテンツの新しい楽しみ方を支える技術の研究開発に取り組んでいます。(公式HP)

1. 音楽星図 (music star map)

  [→ここから楽しんで！]
ニコニコ動画に投稿されたVOCALOID楽曲を題材に、

同じ雰囲気を持っている楽曲同士が近くに配置された星図を見れたり、

(公式HPより音楽星図の解説 アクセス日2020/12/6)

曲と曲との関連性を矢印で表したものを見れたり、
一次著作物と二次著作物の関係を見れたりします。

(公式HPより音楽星図の解説 アクセス日2020/12/6)

きっと好みの楽曲から派生して、いろいろな楽曲を楽しめることでしょう。

音楽視聴支援サービス Songrium (ソングリウム) では，ニコニコ動画に投稿されたたくさんのVOCALOID楽曲を、満点の星空を眺めるように楽しむことができます。さらに、楽曲間のつながりを「矢印タグ」という形で名付けて共有することもできます。つながりを辿って飛びまわりながら、お気に入りの曲を見つけよう。(公式HP)

2. Songrium 3D

こちらは見るだけで楽しいもの！
楽曲を自動で解析して、宇宙に似た動画で自動で演出してくれるとのこと！

(Soungrium 3D > とりあえず試す VOCALOID宇宙ツアー
アクセス日 2020/12/05)

"Songrium 3D--音楽の宇宙へ旅立とう--"  楽曲がつむぐ音を眺める
楽曲の内容を自動理解することで、再生時にビートや楽曲構造（サビ区間など）と連動した視覚的演出を表示します。 3Dならではの奥行表現により、楽曲の中身を見ているときも遠くには派生作品や他の楽曲が見えます。
(公式HPよりsongrium 3Dの解説ページ より)

宇宙っぽい、素敵なビジュアルとともに音楽を楽しむ、二重に楽しめるコンテンツ！

私はこのコンテンツの中の、いくつも用意されていたプレイリストを再生しました。VOCALOIDの曲と宇宙っぽい映像との組み合わせがとても新鮮で、とっても楽しかったです！

ぜひいろいろな楽曲と楽曲を視覚的に表した映像を合わせてお楽しみください！

3. その他コンテンツ (歌声分析、コメント分析)

このサイト、音楽星図 (こちら) や、Songrium 3D (こちら) 以外にもコンテンツがあるので、ぜひ楽しんでみてください！

●超歴史プレーヤ (こちら)
●歌声分析 (こちら)
●コメント分析 (こちら)
　(公式HPのトップページに、それぞれの解説がまとまっているよ！
　アクセス日2020/12/6)

他にもTwitterもやっているので、興味の出た人はぜひ。
更新頻度は高くないようですが、Songriumでどのようなことが楽しめるのかがわかると思います！
(→こちらから)

Songrium @Songrium のTwitterアカウント説明文
音楽視聴支援サービスSongriumでは、ニコニコ動画上のVOCALOID関連の動画間のつながりを、「矢印タグ」という形で名付けて共有することができます。つながりを辿りながら、さまざまな音楽に出会うことができます。

まとめ

いかがでしたでしょうか？

前回と今回の記事では、「音楽情報検索」という研究分野と、そこで培われた技術についてお話してきました。

普段何気なく音楽を聴いているけれども、それはとっても複雑で高次な行為。研究ではひとつずつ紐解いているけれども、まだまだ人間が音楽を聴くという行為の全貌は明らかになっておりません。

それでも、今現在わかってきていることを用いて、Songriumをはじめとした、いろいろな技術が発展してきています。

今後の研究と、その成果に期待し、音楽を聴くという行為がさらに楽しいものになりますよう、今後の動向が楽しみです。