【AI嘉年華】人工智慧與音樂科技：分析、理解、與創作

■從音樂檢索到音樂生成，人工智慧的角色由被動化為主動，立足於對音樂規則的理解，持續燃燒作曲魂。

講師｜中研院資訊科技創新研究中心副研究員 楊奕軒
彙整撰文｜吳奕萱

人工智慧眼中的音樂世界呈現什麼樣貌？演講中，楊奕軒老師向我們介紹Music AI Lab目前的四大研究主題，帶領我們認識音樂科技的不同面向以及AI扮演之角色：

(1)AI Listener：音樂賞析

屬於音樂資訊檢索的範疇。AI聆聽樂曲時，具備「理解音樂」的能力，能標記資料庫中樂曲的情緒與曲風屬性，讓使用者更有效率找到他們想聽的音樂。此外，AI也能從音樂中辨識出弦律、樂器、音調，將聲音轉換為樂譜的形式。

(2)AI Composer：音樂創作

除了讓AI自由發揮創意之外，也可輸入個人的「靈感」（例如：洗澡時哼出的一段弦律、喜歡的和弦）作為條件，AI將根據給定的條件產生音樂，以樂譜形式呈現。

(3)AI Performer：音樂演奏

AI讀著樂譜，以特定的表演風格演奏譜上的樂器，展現其對音樂的詮釋。

(4)AI DJ：音樂再造

AI如同DJ（Disc Jockeys），重新混合既有的音樂，藉由包裝與改編賦予樂曲新的價值。

●抽絲剝繭──探討音樂組成成分

AI對音樂的理解（AI Listener），包含曲風分類、音樂轉譜（audio to music score）、聲源分離（source separation）等。演講中楊老師以聲源分離進行展示，亦即將一首歌中的人聲與其他音樂（例如：鼓聲、bass）分成獨立的音軌。從 [Demo] 歌曲清單中選擇一首歌曲，以滑鼠右鍵關閉／開啟任一條音軌，可觀察音訊分離軟體在英文、中文、台語、日文歌上，皆有不錯的表現。

有了獨立的音軌，我們能進一步拼湊不同首歌曲，以A曲的人聲搭配B曲的背景樂，也可以將搖滾樂團中不同樂手的聲音分離，找出每個人的特色。喜歡唱卡拉OK的人，更能方便地產生伴唱帶。

●音樂生成──創作「好聽」的音樂

深度學習技術的進步，讓創作「好聽」的音樂成為可能的任務。從IBM Watson Beats、Google Magenta，到阿里音樂、AI Lab鋼琴師雅婷，音樂生成無疑是各家爭豔的舞台。

目前音樂生成主要有兩種應用情景：作曲輔助與配樂創作。作曲輔助是AI藉由對樂理規則的理解，協助作曲家處理重複性的工作，就像畫動畫時自動補滿兩個圖形中間轉換的影格，提升作品細緻度。而生成配樂的好處，則是利用較低的成本，為廣告或電影產生沒有版權問題的音樂。在此情景下，AI著重的是有條件（conditioned）的生成，例如：給定主旋律、曲風或情感標籤、歌詞、影片……等，產生符合需求的樂曲。

楊老師展示了lead sheet譜生成與混合（Lead Sheet Generation and Interpolation）[Demo] 之研究成果。這是個互動式生成的範例，「生成」根據現有的歌曲進行改編，產生具有不同和弦的變奏版本。「混合」結合了兩首歌曲，讓改編的歌曲從其中一首出發，逐漸偏向另一首的曲風或類型，重點在於理解兩首歌曲的曲調，漸進式變化，而不是將兩首的音訊直接加起來除以二。

多音軌生成（Multi-track Generation） [Demo] 的特色則是具備統合多個聲道的能力，可產生包含五種樂器和弦的音樂。

●AI 音樂路之挑戰與契機

那麼如何評估AI創作出來的音樂「好不好」呢？抑或是怎麼樣才是「好」的音樂？現階段採用的是「感覺指標」，包括弦律和弦、樂曲行進感、驚喜與創新感等定性分析，輔以量化的和弦變化程度、和弦是否使用弦律中的音符……等，作為參考標準。

AI與音樂產業，究竟呈現何種互動關係？以科技的角度來看，AI工具輔助人類創作，可以協助處理比較繁瑣的任務，由人類進行較需要創意的環節。我們預期未來幾年相關領域的研究會著重透過「人機互動」來創作音樂，人與AI緊密合作，而非由AI或人類獨力完成譜曲。類似的改變可能逐漸影響音樂產業創作音樂、發布音樂、乃至培養音樂人的方式。

從音樂檢索到生成，AI的角色由被動化為主動，立足於對音樂規則的理解，朝著產生新作品的方向邁進。期待AI能編出複雜度、完整度愈來愈高的曲子，陪伴人類探索更高深的音樂殿堂。

 

--
本文整理自：107/12/16由楊奕軒老師在臺大思亮館國際會議廳所主講之「人工智慧與音樂科技」演講內容。