音声分離の技術は、これまで様々なツールに取り入れられていましたが、AIが登場したことにより、この精度が格段に上がりました。この記事では、AI音声分離の精度が上がることによって何ができるようになるのか、アーティストはこれをどのように活用できるのかを詳しく見ていきます。
これまでの音声分離ツール
これまでにも、映画の雑音や録音物のノイズ除去、修正などに使われるiZotope社のRXやその他スペクトラム補正ツールなどに音声分離のツールは内蔵されていました。例えば、RXにはMusic Rebalanceという機能があり、これは音楽をボーカルやベース、パーカッション、その他の楽器といったステムに分離してくれるツールです。
このような分離ツールはあったものの、精度はそこまで高くはなく、アーティフィシャルノイズが入ってしまったり、ボーカルのステムにドラムが漏れてしまっていたりといったことがありました。これまでの音声分離ツールは、音声を分離してそこから何かに応用できる、活用できるというものではなかったのです。
AI音声分離ツールの登場
AIの技術が向上したことにより、短期間で多くの音声分離ツールが登場しました。中でも、AI学習を専門とする人たちによって立ち上げられた、LALAL.AIという会社の音声分離ツールは、これまでの音声分離ツールを遥かに凌ぐクオリティでステムを分離できるようになりました。
iZotope RXを超えた？LALAL.AIのボーカル分離技術がすごい – スタジオ翁
単に、高解像度でステムを分離できるだけでなく、LALAL.AIでは、ドラム、ベース、ボーカル、エレキギター、アコギ、ピアノ、シンセサイザー、ストリングス、ウィンドブラスなど、あらゆる楽器を特定し、ステムとして書き出すことができる優れた機能を持ち合わせたものでした。
また、MOISESという音声分離ツールでは、ドラムをキックドラム、スネア、タム、ハイハット、シンバルなどの細かいステムに分けられ、さらにはBPMやキーの特定、BPMの揺らぎを補正する機能などが加わることで、これまで以上にアーティストにとってステム分離が活用しやすい環境が整いました。
また、最新のLogic Proにも、ステム分離機能が加わり、Logic Proのユーザーは気軽にステム分離を利用できるようになりました。精度は、先ほどの2つに比べれば少し低いですが、用途によっては十分使えますし、何よりもLogic Proユーザーは無料で使えます。
では、これらのツールを使って何ができるのかについてお話ししていきましょう。
楽曲解析に活用する
音声分離ツールの精度が飛躍的に上がったことで、様々な活用法が生まれました。
まず一番目の活用方法は、楽曲解析です。
特に音楽を始めたばかりの頃は、音楽がどのように構成されているのか、どんな楽器でどんなフレーズが弾かれているのか、といったことが曲全体からは見えにくいと思います。ここで、AI音声分離ツールを使い、楽器ごとにステムとして分離することで、それぞれの楽器がどのようなリズムでどのようなメロディーを奏でているのかを簡単に知ることができます。
ボーカルを抜くだけでも、その音楽がどのように構成されているのか、どんなリズムでどんなフレーズを奏でているのかを知ることが容易になります。どうやってこういった音楽を作ればいいのか、といったイメージがかなり湧きやすくなります。
ギターやシンセのメロディーラインなどは、曲全体で聴いてもわかりやすいと思いますが、例えばベースがどのような旋律になっているかは、曲全体を聴いていては、なかなか理解しづらいと思います。ましてや低音が出ないスピーカーだったり、低解像度のヘッドホンならなおさらです。ステムとして分離することでベースのような帯域までしっかりと聴き取ることができるようになりますが、それでもベースラインが見えにくい場合は、ステム分離したベースラインを1オクターブ上げれば、音程がとても聞き取りやすくなるでしょう。
音声分離はまず、このように楽曲解析を容易にし、音楽制作へのハードルを下げることになりました。
新しいサンプリングの形
次に、音声分離の活用法として挙げるのは、サンプリングです。
サンプリングとは、既存の楽曲から自分の好みのフレーズやリズムを抜き出し、それを加工処理して自分の楽曲に取り入れる手法で、主にヒップホップや電子音楽で幅広く用いられています。
例えば、これまで自分の好きな曲のビートをサンプリングする場合は、曲のイントロやアウトロでビートのみ鳴っている部分にフォーカスしてサンプリングをする必要がありました。ところが、音声分離ツールを使えば、ドラムのステムのみを抜き出すことができるので、例えば、曲の真ん中あたりの楽器が混在しているパートであっても、その部分のドラムパートを抜き出してサンプリングすることができます。この要領で、自分の好みの楽器を抽出してサンプリングし、曲に取り入れることができます。
ただし、サンプリングというのは法的にグレーな部分もあり、サンプリングカルチャーが幅広く認められているヒップホップなどで活用する分には問題ないかもしれませんが、有名なアーティストの曲の一部を丸パクリしているとレコードレーベルに訴えられる可能性もあるのでここは自己責任になります。ピッチを変えたり、エフェクトを入れたりして、原型がなくなるまで加工して使うと問題ではなくなるので、このようにインスピレーションの種としてサンプリングを活用するのもアリだと思います。
さて、サンプリングの方法としては、自分の好きな曲を買って、先ほど紹介したLALAL.AIなどの音声分離ツールに突っ込むという形が一般的ではありますが、最近は配信オンリーでリリースされている曲もあり、なかなかこの手法が使えないこともあります。そういった場合は、かなりグレーなテクニックですが、LoopbackやBlackhole等の内部ルーティングソフトを使い、SpotifyやApple MusicなどからAbleton LiveなどのDAWに内部ルーティングを組むことで、ストリーミングサービスから直接サンプリングすることもできます。こうやってサンプリングした音声をLALAL.AIやMOISESなどに入れて、ステムを分離し、サンプリングして使うわけです。
スタジオ翁では電子音楽系の作曲を多く取り上げているので、DJへの活用法もご紹介しておきます。曲のステムを分離すれば、リッチー・ホーティンやルチアーノといった3,4トラックの楽曲を現場で組み合わせるDJのように、自分の好きな曲の好きなステムだけをDJセットに取り入れて、その場で新たな曲を作り出すスタイルでDJができます。
これは何も、曲のステムをLALAL.AIやMOISESなどで事前に書き出しておく必要はなく、AlgoriddimのdjayというDJソフトに内蔵されているAIステム分離を使うことで、これが気軽にできてしまいます。こちらも分離精度はかなり高く、曲をインポートするだけで楽曲のテンポも自動で判別してくれるので、音声分離を使って新たなDJスタイルを模索してみたい人にとってはとても面白いツールになるでしょう。
AI音声分離の進化によって、これから起こること
さてこのように、これまでの音声分離ツールから最新のAI音声分離ツール、それらの活用方法などを見てきましたが、AI音声分離はこれからさらに精度が上がり、進化していくことが予想されます。AI音声分離の精度がさらに上がれば、以下のようなことが起こるでしょう。
- 分離精度の向上による自動作曲AIとの調和
- LipX DAW等のステム分離ツールを使ったリミックス作業の簡易化
まずは自動作曲AIとの調和についてですが、昨今話題となっているSunoAIやUdioといった自動作曲ツールには、ステム書き出しの機能がついていません。なので、これらの自動作曲AIで作った曲は、人間の手で微調整することが全くできないのです。
ステムを書き出す機能は、今後必ず取り入れられるとは思いますが、AI音声分離ツールの機能が向上するのが先かもしれません。これらを使って自動作曲AIで作った曲のステムを分離し、自分の好みのステムだけを作曲に取り入れる、または編集するといったことが可能になります。
今でもこのテクニックは使えるのですが、まだ自動作曲AIで作られた曲とAI音声分離ツールの精度がそこまで高くはないので、AIで作られた曲をAIで音声分離すると、かなりガサついた汚いオーディオファイルとして書き出されてしまいます。なので遊び程度には使えますが、作曲を生業としている人が実践的に使うツールではありません。ただし、AI音声分離の精度がより向上すれば、AIで作った曲をステムとして吐き出し、自分の曲に取り入れるといった使い方主流になり、今後広まっていく可能性が大いにあります。
また、ツール一覧で紹介しませんでしたが、LipX DAWというAppple Vision Proでも使える次世代のリミックス専用DAWが登場しました。これは、楽器ごとにステム分離するという点においては、これまで紹介したツールと変わりはありませんが、これのすごいところは、一音一音をMIDIのようなデータとして解析し表示できることです。
一音一音までサンプリングして解析できるということは、例えば、「メロディーのこの部分だけを1オクターブ高くしたい」「このフレーズの、一音だけピッチを下げたい」といったことが可能になります。また、音程だけでなく、ステムとして分離された楽器の音色をも変えることもできます。
例えば、ギターステムのメロディーを保ったまま、それをフルートの音色に変えることができます。こうやってLipXの中で特定の音程を変えたり音色を変えたりすることで、簡単にリミックスできるというのがこのツールの大きな特徴でありコンセプトです。
しかし、まだまだ音声分離の技術が未発達なところもあり、このツールで実用的なリミックスができるかと言われれば、今のところそうではありません。ただし、AI音声分離の精度が発達することで、このようなツールがより便利で高精度になり、誰にでも簡単にリミックスができるようになることでしょう。
自動作曲AIで作った音をLipXのようなツールに入れ、音色を自分好みにし、音程や楽器の構成を変え、メロディーを変化させたりすることで、これまで一般的であったAbleton Live、Pro Tools、Logic Pro、CubaseなどのDAWを一切使うことなく音楽を作ることが可能になる未来もやってくるはずです。
DAWを使わない作曲というのは、これまででは考えられなかったと思いますが、こういったAI音声分離の機能などが劇的に向上することにより、将来可能になっていくことと思います。
まとめ
現在、AIは単なる遊びの道具として捉えられがちですが、その精度が向上することで、アーティストや作曲家の生活がどのように変化していくのか、その一端が見えてきたのではないでしょうか。
このようなAIの活用法やテクニックについては、私の著書『AI時代の作曲術』でも詳しく紹介しています。AI時代における新しい作曲の手法に興味をお持ちの方は、ぜひこちらもお読みいただければと思います。
今回も最後までお読みいただきありがとうございました。
