知の京都- 中村栄太さん（京都大学白眉センター特定助教）

産学公連携、産業振興の一環として、京の研究者・専門家の皆さんを紹介するページです。

 

耳コピAIやAI作曲家で誰もが音楽創作を楽しめる世界を

（掲載日：令和3年8月4日、ものづくり振興課 足利）

京都大学白眉センター特定助教の中村栄太さん（外部リンク）にお話をおうかがいしました。

「耳コピ市場」に激震？！その名は「耳コピAI」

--このたび「ピアノ演奏を楽譜に書き起こす耳コピAI」を開発されたとお聞きしました。失礼ですが、音楽を楽譜に書き起こすニーズって、あるのですか？

中村）はい。音楽を演奏するときに使う楽譜ですが、ポピュラー音楽の場合はアーティストから必ずしも楽譜が提供されているわけではありません。「耳コピ」と言いまして、プロが音楽を聴いて楽譜を書き起こして、演奏する人に提供しているのです。カラオケの伴奏なども、耳コピで作られるケースが多いと聞きます。

--そうだったのですか！知らなかったです！

中村）また、最近はインターネットの動画配信サイトでアレンジ演奏を披露する文化が定着していて、とても人気があります。かっこいい演奏動画を見つけて、練習してみたい！と思っても、こういうオリジナルな演奏の楽譜はそもそも存在しないことも多いのです。耳コピは手間がかかるので、プロに依頼したらとても高額です。

--どのくらい大変なのですか？

中村）例えば、5分のピアノの曲だと、人間が行ったらプロでも数時間かかりますね。

--そうなのですね！それがAIだと？

中村）2分くらいです。

--おお！

中村）もちろん、まだ必ずしも完璧な楽譜が生成されるわけではないですが、自動で作った楽譜を人が修正することで、耳コピの手間を軽減できると思います。あとは、自分の演奏の解析・採点評価するといったことも可能になります。

演奏音符列を推測

--どういったシステムなのでしょうか。

中村）まず、ディープラーニングを用いて「音声データ」を「演奏音符列」に変換します。

--またまた失礼なことをお聞きしますが、別にAIでなくとも、各鍵盤の音をデータ化しておいて照合するといった従来型のITで対応できないのでしょうか？

中村）ピアノの鍵盤は88ありますが、1音だけなら簡単かもしれません。しかし、和音がありますから、そうなると膨大な種類となりますよね。

--なるほど。

中村）しかも、同じピアノでも、周囲の環境によって、例えば音の響きやすさやマイクの性能によって、微妙に音が異なりますので、正確に照合することが難しいのです。

--そうなのですね。

中村）「音声データ」は、和音も含んで様々な音が重なっている状態です。従来は、それを分解して音符として表現していたわけですが、ディープラーニングでは大量の「音声データ」と正解の「演奏音符列」のペアを学習させ、それによって新しい演奏の「演奏音符列」を推測させるものなのです。

そして楽譜を作成

--なるほど。もう1つ、失礼ですが、こうしたAIは他にもありそうな・・・。

中村）そのとおり。ここまでは、他でも随分研究や開発がなされてきたところです。しかし、「演奏音符列」から読める「楽譜」にまで変換する部分が、私どもの技術の特に新しいところです。

--そうなのですね。

中村）同じ楽譜の演奏でも、演奏者によって一人一人、鍵盤をたたくタイミングが微妙に違います。和音の際も、全ての鍵盤を完全に同時にたたいているわけでは必ずしもないですよね。「演奏音符列」とは演奏開始から何秒後にどの音が鳴っているかということを表しているものですから、そうした微妙な誤差も全てそのままです。

--なるほど。

中村）一方、「楽譜」は小節という枠が基本単位で、音はそれを何分割かして表現されているものですから、誤差の無い1パターンの正解だけが存在します。

--なるほど。

中村）ですので、異なる演奏者の大量の演奏データから人間の演奏の性質、例えば時間的な誤差の大きさなどをコンピューターに学習させています。また、多くの楽譜データを解析して、世の中の音楽で頻繁に使われるリズムパターンを学習させることで、この手法を生み出しました。

--ここまでくると人間のように音楽を理解するAIですね。

中村）はい、耳コピができるコンピューターが普及することで、楽譜がより身近なものになり、演奏を手軽に楽しめるようになると考えています。

もはやマンガの世界？！自分のテンポに合わせてくれる自動伴奏システム

--いいですね！

中村）音楽を理解する技術は、自動伴奏システムにも応用できます。

--どういうことですか？

中村）演奏者のテンポに合わせてくれる賢い伴奏システムです。通常あるのは、カラオケのように伴奏に合わせて演奏するタイプか、演奏音符を1つ弾くと伴奏がその分だけ進むタイプです。一方でこれは、自分のピアノのテンポが急に変わったり、止まったり、演奏を間違えたり、弾き直したりしても、それに合わせてくれる自動伴奏なのです。

--もはや人気猫型ロボットのポケットの中の小道具でありそう！

中村）自動オーケストラをバックに演奏するといった世界ですよね。ピアノの鍵盤の動きや実際の音をセンシングした上で、楽譜の中での演奏位置を高速検索しています。人間の演奏の性質、テンポの変化の大きさや演奏の間違え方の傾向などを学習した演奏のモデルを使って実現しています。

芸術、AI、物理学による新結合？！誰もが音楽創作を楽しめる世界を目指して

--先生は何を研究されているのですか？

中村）私は文化を支える知能の仕組みに興味を持って研究しています。例えば耳コピは音声データを楽譜データに変換する処理、作曲だったら音楽の文法を学んでから新しい曲を生成する処理、という様に文化的な行為は情報の流れとして見ることができます。その情報の流れを再現あるいは予測できる理論を作ることで、人の知能の本質が科学的に理解できると考えています。自動耳コピや自動作曲などの技術も、こうした研究の中で出てきたわけです。

--自動作曲も？

中村）自動作曲は50年以上前から多く研究されていて、人の音楽を再現する技術はかなり発展しています。しかし、新しいスタイルやジャンルを生み出すのは未だに難しい問題です。これを実現するには単に大量のデータを学習するAIだけでは不可能で、音楽の進化の原理を理解する必要があります。音楽を評価する大勢の人の影響も考えなくてはいけません。物理や生物の理論を使ってこのような文化の進化も研究しています。

--一体、先生は何者なのですか？！（笑）

中村）ははは。私の実家は石川県にありまして、代々、九谷焼の陶芸一家なのです。私自身は幼少期よりピアノを学んでいましたし、自然科学にも強い興味がありました。東京大学大学院では素粒子物理を研究していました。そして、芸術と物理を結び付けたいと思ったのです。

--結合、イノベーションですね！

中村）音楽って、聴いて楽しむことは簡単なわけですが、作曲したり演奏して楽しもうとすると難しいわけじゃないですか。聴くのはみんなできるのに、音楽を作るのは限られた人になっちゃう。それをなんとかしたいと思っているのです。そのためには、音楽に凝集されている知能・知見を解き明かしていく必要があるということで、日々研究しているところです。

 

お問い合わせ