【探索26-5】AI音樂作曲初探
講者｜中央研究院資訊科技創新研究中心副研究員 楊奕軒
彙整撰文｜鄧年芮
在了解AI音樂作曲創作前，我們可以先回顧一下目前已常用的音樂科技。比如說，我們會利用電子吉他、模擬吉他聲，來呈現多元音色、特殊音的變化。又像是音樂軟體Auto-Tune，能協助歌手將走音的部分，調整回到指定音調上，使錄音時間大幅縮短、更有效率地完成歌唱作品。而音樂工作室中，也常用Fruity parametric EQ 2軟體、DAW音樂工作站等，來調整音樂大小、強度對比等。由此可見，在AI音樂發展之前，我們早已使用音樂相關科技技術許久了！
●AI音樂是什麼呢
楊奕軒提到，AI音樂主要可以分為三種層次：演奏什麼（即AI音樂作曲）、如何演奏（即AI如何表達音樂）、用什麼樂器演奏（即音樂聲音技術）。其中，「AI音樂作曲」雖較其他兩者研究起步較晚，卻是目前AI音樂所發展的趨勢之一，就連Spotify、抖音、Amazon都紛紛投入AI原創性音樂創作的研究。
那麼，AI音樂作曲、AI表達音樂又有什麼不同呢？
舉例來說，日本動漫「初音未來」，只有輸入音色、音高等特定條件後，初音未來便能歌唱出來，甚至有虛擬影像、開演唱會呢！不過在這項例子中，我們僅能稱其為AI表達音樂，因為它執行的並非創作作曲，而僅是傳遞複雜音訊訊號。另一例是，若將一首歡樂頌歌曲，藉由AI演算法方式，轉換成爵士風格的歡樂頌歌曲。雖然是對歌曲進行二次創作，但因為風格轉換，使AI需自行決定每個音符的音高、音長，因此能算是AI音樂作曲。
●AI音樂作曲更著重編曲者與AI互動性
2019年時，Google推出AI音樂的人機互動小遊戲「Bach Doodle」，供大眾體驗。遊戲方法是先讓使用者編曲四聲部樂曲的最高音聲部，再透過AI技術，根據使用者編寫的最高音聲部，產生對應的二、三、四聲部音樂。這項人機互動小遊戲，不僅展示了未來透過AI創作作曲的可能性，也讓普羅大眾見識到AI創作樂曲的功力。
這亦是目前AI音樂創作的主要方向。也就是說，當編曲者寫了前面幾小節後，AI可建議編曲者如何往下發展、或是協助編寫好伴奏旋律、鼓聲節奏。這樣與AI互動的功能，將慢慢地進入音樂工作者的工作流程中，使創作者有更多靈感激發、創作更多樣音樂。
●建立AI音樂創作模型的基本概念
那麼究竟AI如何創作音樂呢？目前AI創作音樂上，通常先解構音樂成機器能夠理解的方式，接著簡化成數學問題、機率問題等，好讓機器去學習。最終，AI在知道前一小節的和絃後，便能預測後一小節的和弦為何。然而除了單一、前後小節的關聯外，還有更多要考慮的，包含了：什麼連接方式下，音樂聽起來是流暢合理的？與整個音樂的風格是否相符？而這並不難想像，就像人類在聽音樂時，也會思考、預測後面幾個段落的音樂是什麼、有什麼起承轉合等。因此，AI音樂創作者透過深度學習(deep learning)，能更綜觀了解音樂全貌、預測更妥當的音樂。
回到前後小節來看，對應於機率上來說，我們可以想成某個旋律在t-1、t-2、t-3等等的機率，而預測便是讓AI算出該旋律在此一時間點(t)、下一時間點(t+1)所發生的機率。因此，重要的是，要先音樂轉換成合理的機率集合(S, all events)，並且正確運算單一音符出現機率。
看到這裡想必你會問，音有高有低、有快有慢，該如何轉換成所有事件集合呢？我們可以回想一下，樂譜或是簡譜中的旋律，有著不同音高、音長、拍數、所在小節等，因此，只要把每一個音都分開來當作一個獨立事件，就可歸類出一筆筆資料，成為總集合。
運算方面，目前則常用以下兩種方式。一是RNN類神經網路，能把過去到現在的經驗，濃縮成一個向量來表示經驗總集，並且設定有輸入層(input gate)、遺忘層(forget gate)等，以擷取重要資訊。二是Transformers，則將過去到現在的每一個經驗，當成一個個獨立事件記憶，當AI要進行預測時，AI自行從資料庫中判斷，預測項目中要填入什麼樣的答案。
以上這些是最基礎的AI音樂作曲模型建立的概念。當然，還有更多複雜情形，如兩手合奏時會同時出現兩個音或多個音，那要怎麼告訴AI呢？目前相關技術努力研究中，相信不久的將來，AI音樂作曲會帶來更多不一樣的突破。
(本文為教育部「人工智慧技術及應用人才培育計畫」