見出し画像

科学技術「耳コピAI」

展示用4000_edited

【自動譜面制作AI】


聞いた音を譜面として製作できる
「耳コピAI」が開発されました。

このAIは
デジタル化された
数字で表せる音を譜面にするのでなく
生の音を聞いて譜面にします。

その為
人が演奏する毎回違う音の出し方を
正確に認識させる必要があります。

その音を認識させる為
AIに何度も色々な音を聞かせて
反復練習をさせました。

この練習方法を
機械学習と言います。

AIに生の音を認識させる練習方法は
「多重温検出」「リズム量子化」
この2つの学習方法を使いました。

この2つの学習方法を合わせて
自動譜面書き起こしシステムを
作り上げてしまったのです。

画像1

〓=〓=〓=〓=〓=〓=〓=〓=〓=〓=〓




【人が出す音】


多重音検出は
以下の事をAIが読み取ります。

「どの音をどの時間に出すか」
「音の強さ」
「音の周波数」
この事を読み取ります。

リズム量子化は
以下事をAIが読み取ります。

「同じ音程でも演奏時間で違う強弱」
「同じ音程でも演奏時間で違う音程」
「その時々の気分で出す音の検知」
この事を読み取ります。

この学習方法を使い
AIに機械学習と言う
反復練習をさせて覚えさせます。

最初の頃は
部分的に「テンポ」「拍子」「譜面」等に
多くの間違いがありました。

この間違いが出てた原因として
人がその時その場所その雰囲気で出す音を
なかなか認識できなかったためです。

画像2

〓=〓=〓=〓=〓=〓=〓=〓=〓=〓=〓=〓




【気分とノリ】


この事を改善する為にAIに対して
「この音の後に来る音は
こんな感じの音が来る」
という感覚を覚えさせました。

この感覚を覚えさせる為に
何十万曲もの音楽を聞かせ続け
「リズム」「音程」「音の強弱」の
パターン分析をAIにさせました。

その結果
凄く譜面制作制度が上がり
かなり実用的になったのです。

今までにも
生の音から譜面を書き起こす試みは
かなりたくさん実験されてきました。

しかし
全部うまくいかず
とても実用レベルで
使える物じゃ無かったのです。

でも今回の研究で
長年不可能とされてきた
自動譜面制作技術がほぼ完成しました!

現在は
Youtubeを使ってそこから流れる音を
譜面にする反復練習が行われてます。

画像3

〓=〓=〓=〓=〓=〓=〓=〓=〓=〓=〓=〓




【夢の発明】


今ネットでは
膨大な数の音楽ファイルや
膨大な数の音楽動画があふれてます。

そして
この膨大な音楽の中には
自分で演奏したり自分で編曲したり
そんな事がやりたい音楽があると思います。

しかし
気に入った音楽の楽譜が手に入る事は
ほとんどありません。

その訳は
今ある音楽のほとんどが
譜面に書き起こされて無いからなのです。

そんな中生演奏を聴き
自動で譜面に書き起こす事が出来る
「そんなAIがあったら素敵!」と思い
実際に作っちゃいました!

このAIを制作した研究チームは
東京大学の研究チームです。

そして東京大学の研究チームは
譜面に起こされてない物だらけの音楽を
全部自動で譜面に出来る
「耳コピAI」をとうとう完成させました!

画像4

〓=〓=〓=〓=〓=〓=〓=〓=〓=〓=〓=〓




【夢の実現】


この耳コピAIを
きちんと完成した暁には
「音楽研究」「音楽教育」に役立て
一般にも公開するようです。

現在譜面を書く人は
滅多に存在しません。

しかも
世の中に出ている譜面は
天才が耳コピして作った物ばかりなのです。

一般の人は
そう簡単に耳コピなんて出来ず
特殊な絶対音感訓練が必要になります。

ジャズの様な
その場その時その瞬間の
アドリブやノリや雰囲気で演奏した
この時の音の譜面んて存在してません。

しかし
本気で好きな音楽を演奏したい時
譜面が必ず必要です。

しかしこのAIは
「今この瞬間この曲を演奏したい!」
そう思った瞬間スグ譜面にしてくれる
そんな夢のようなAIなのです!

画像5


サポートしてくれたら 明日食べる もやしを買う事ができます((+_+)) よろしくお願いします( ゚Д゚)