音を自由に取り出し、新たな音楽を創りだす。

音源分離

さまざまな音が混ざった音楽から、音の特性を理解したAIにより、ひとつひとつの楽器の音を取り出したり再配置したりできるため、例えば昔のレコードからマルチトラックのデータを作ることが可能になります。アーティストは、これまでにない新たな音楽を自由に生み出すことができ、またリスナーはかつてない音楽体験を享受できます。

光藤 祐基 ソニー株式会社 R&Dセンター 基盤技術研究開発第1部門

光藤 祐基 ソニー株式会社
R&Dセンター 基盤技術研究開発第1部門

AIが、音の不可能を可能に。

人間の脳は、いろいろな音が混ざった演奏でも、それぞれ楽器の音を区別して聴いています。それは機械にはできない、人間ならではの能力です。それをAIで可能にしたのが「音源分離」ですね。近年の一般的な音楽はマルチトラックで録音して2チャンネルにトラックダウンしますが、なんとこのAIを使えば逆に、2チャンネルまたは1チャンネルの音源からマルチトラックを作れるのです。ちなみにaiboにも音源を分離する技術が生かされていますよ。aiboに内蔵されたマイクはaibo自身の動作音を直接的に拾ってしまいます。動作音を分離・軽減して人の声を聞き取りやすくすることで、しっかり反応することが可能になるのです。

ソニーグループのもつ多様な音源をAI開発に活用。

2013年頃、AIを使った音声認識が成果を出したのを見て、私たちはAIを音楽にも使うべきだと確信し、技術開発に着手しました。音源の分離に関する国際的なコンペがあるのですが、私たちはAIをいち早く活用することで3回連続1位になっています。「音源分離」に使われているのは、音を理解したニューラルネットワークをもつ、音に特化したAIですね。楽曲の流れ、様々な楽器の音の特徴などを同時に学習させたものです。このAIの性能を高めるためには、データの多様性が非常に重要ですが、その点、ソニーには大きな優位性があります。ソニーミュージックをはじめ、多様な音源を大量に持っている会社がグループ内にありますから。

「音源分離」によって、音源の価値がさらに高まる。

分離といっても、バラバラにすることが目的ではありません。その後に再びミックスすることの方が目的です。例えば、マスターテープが残っていない昔の音源をマルチトラック化すれば、それを5.1chをはじめ、いろいろなフォーマットに加工することが可能になるのです。他にもいろいろな活用法が考えられますね。オーケストラのレコーディングは、当然、マルチトラックではなく一発撮りですよね。その音源を楽器ごとに分離して再配置します。するとリスナーはまるでオーケストラが演奏している舞台の中にいるような体験ができます。そしてフルート演奏者の場所に行けば、フルートの音が大きく聞こえます。また、好きな曲のボーカルだけ消せば、本物の演奏でカラオケが楽しめます。これはミュージシャンをビジネス的に応援することにもつながりますよね。

AIとブロックチェーンで音楽の可能性を拡大。

ソニーのAIはアーティストの能力をエンハンスします。アーティストが、音を自在に操れるようになるのです。ライブ会場でAIツールを使い、その場で楽曲を作る。すでに亡くなったアーティストが残した音源を蘇らせてニューアルバムをリリースする。そんなことも簡単になる日がくると確信しています。最近ソニー・ミュージックエンターテイメントが「soundmain」というサービスを発表しました。これはAIとブロックチェーンをコア要素としています。サンプリングミュージックが海外で盛り上がっていますが、日本では権利関係の問題のために制作しにくい現状があります。そこでブロックチェーンを利用した権利処理で、サンプリング元の権利者にも対価が届きやすい仕組みをつくろうとしています。音楽から技術が生まれ、その技術からまた新しい音楽が生まれます。可能性をもっと拡げていきたいですね。

このページの先頭へ