【探索26-5】AI音樂作曲初探

講者|中央研究院資訊科技創新研究中心副研究員 楊奕軒 
彙整撰文|鄧年芮

在了解AI音樂作曲創作前,我們可以先回顧一下目前已常用的音樂科技。比如說,我們會利用電子吉他、模擬吉他聲,來呈現多元音色、特殊音的變化。又像是音樂軟體Auto-Tune,能協助歌手將走音的部分,調整回到指定音調上,使錄音時間大幅縮短、更有效率地完成歌唱作品。而音樂工作室中,也常用Fruity parametric EQ 2軟體、DAW音樂工作站等,來調整音樂大小、強度對比等。由此可見,在AI音樂發展之前,我們早已使用音樂相關科技技術許久了!

●AI音樂是什麼呢

楊奕軒提到,AI音樂主要可以分為三種層次:演奏什麼(即AI音樂作曲)、如何演奏(即AI如何表達音樂)、用什麼樂器演奏(即音樂聲音技術)。其中,「AI音樂作曲」雖較其他兩者研究起步較晚,卻是目前AI音樂所發展的趨勢之一,就連Spotify、抖音、Amazon都紛紛投入AI原創性音樂創作的研究。

那麼,AI音樂作曲、AI表達音樂又有什麼不同呢?

舉例來說,日本動漫「初音未來」,只有輸入音色、音高等特定條件後,初音未來便能歌唱出來,甚至有虛擬影像、開演唱會呢!不過在這項例子中,我們僅能稱其為AI表達音樂,因為它執行的並非創作作曲,而僅是傳遞複雜音訊訊號。另一例是,若將一首歡樂頌歌曲,藉由AI演算法方式,轉換成爵士風格的歡樂頌歌曲。雖然是對歌曲進行二次創作,但因為風格轉換,使AI需自行決定每個音符的音高、音長,因此能算是AI音樂作曲。

●AI音樂作曲更著重編曲者與AI互動性

2019年時,Google推出AI音樂的人機互動小遊戲「Bach Doodle」,供大眾體驗。遊戲方法是先讓使用者編曲四聲部樂曲的最高音聲部,再透過AI技術,根據使用者編寫的最高音聲部,產生對應的二、三、四聲部音樂。這項人機互動小遊戲,不僅展示了未來透過AI創作作曲的可能性,也讓普羅大眾見識到AI創作樂曲的功力。

這亦是目前AI音樂創作的主要方向。也就是說,當編曲者寫了前面幾小節後,AI可建議編曲者如何往下發展、或是協助編寫好伴奏旋律、鼓聲節奏。這樣與AI互動的功能,將慢慢地進入音樂工作者的工作流程中,使創作者有更多靈感激發、創作更多樣音樂。

●建立AI音樂創作模型的基本概念

那麼究竟AI如何創作音樂呢?目前AI創作音樂上,通常先解構音樂成機器能夠理解的方式,接著簡化成數學問題、機率問題等,好讓機器去學習。最終,AI在知道前一小節的和絃後,便能預測後一小節的和弦為何。然而除了單一、前後小節的關聯外,還有更多要考慮的,包含了:什麼連接方式下,音樂聽起來是流暢合理的?與整個音樂的風格是否相符?而這並不難想像,就像人類在聽音樂時,也會思考、預測後面幾個段落的音樂是什麼、有什麼起承轉合等。因此,AI音樂創作者透過深度學習(deep learning),能更綜觀了解音樂全貌、預測更妥當的音樂。

回到前後小節來看,對應於機率上來說,我們可以想成某個旋律在t-1、t-2、t-3等等的機率,而預測便是讓AI算出該旋律在此一時間點(t)、下一時間點(t+1)所發生的機率。因此,重要的是,要先音樂轉換成合理的機率集合(S, all events),並且正確運算單一音符出現機率。

看到這裡想必你會問,音有高有低、有快有慢,該如何轉換成所有事件集合呢?我們可以回想一下,樂譜或是簡譜中的旋律,有著不同音高、音長、拍數、所在小節等,因此,只要把每一個音都分開來當作一個獨立事件,就可歸類出一筆筆資料,成為總集合。

運算方面,目前則常用以下兩種方式。一是RNN類神經網路,能把過去到現在的經驗,濃縮成一個向量來表示經驗總集,並且設定有輸入層(input gate)、遺忘層(forget gate)等,以擷取重要資訊。二是Transformers,則將過去到現在的每一個經驗,當成一個個獨立事件記憶,當AI要進行預測時,AI自行從資料庫中判斷,預測項目中要填入什麼樣的答案。

以上這些是最基礎的AI音樂作曲模型建立的概念。當然,還有更多複雜情形,如兩手合奏時會同時出現兩個音或多個音,那要怎麼告訴AI呢?目前相關技術努力研究中,相信不久的將來,AI音樂作曲會帶來更多不一樣的突破。

 

(本文為教育部「人工智慧技術及應用人才培育計畫」成果內容)

views