月別: 2023年6月

 

Generative Adversarial Networks

生成AIについて下記でも扱いましたが、今回はもっと掘り下げてドラムトラックの生成をやってみました。

Prompt Engineering

メカニズムについてはGenerative Adversarial Networks(GAN:敵対的生成ネットワーク)というものですが、下記でプログラミンコードを走らせていいます。

https://decode.red/ed/archives/1384

上記では、jupyter notebookをつかって一つずつ作成しましたが、このサイトのもとになっている下記サイトでは、大量に生成できるスクリプトが用意されていますのでこれを実行してみました。(Macの場合cudaは使えませんが、Apple Siliconでmps:Metal Performance Shaders指定するとcpuの倍くらいの速度で生成できます)

https://github.com/allenhung1025/LoopTest

デモサイトで音を聴くこともできます。

https://loopgen.github.io/

下記はJupyter notebook(OSCサーバ)とMAX/MSPを使ったリアルタイムクロスフェード再生のデモ動画です。
https://github.com/naotokui/LoopGAN

私も動かしてみようとしたのですが、MaxとJupyter nodebookは両方ともMacで走らす必要があるため環境面で断念しました。
(私のMaxがつかえるMacが古い。Maxパッチを変更してリモートでWindowsとOSC通信まで動きましたが、ファイル共有もする必要があり、また機会があったらトライします)
ということで波形編集ソフトクロスフェードして雰囲気を味わいました。

通常のドラムトラックのクロスフェードとちがって、元のドラムトラックがGANで生成されていると学習したドラムトラックのバリエーションで生成されるので、クロスフェードのつながりがよいように感じます。
モーフィングのようなイメージか。

下記は、実際のパフォーマンス、とてもクール!
“A performance of “Emergent Rhythm” — a realtime generative DJ set performed by Nao Tokui”
https://www.freethink.com/robots-ai/nao-tokui-and-dadabots-want-to-create-new-music