【AI嘉年華】人工智慧與音樂科技:分析、理解、與創作

分享至

■從音樂檢索到音樂生成,人工智慧的角色由被動化為主動,立足於對音樂規則的理解,持續燃燒作曲魂。

講師|中研院資訊科技創新研究中心副研究員 楊奕軒
彙整撰文|吳奕萱

人工智慧於音樂科技扮演之角色(圖片來源:楊奕軒)

人工智慧眼中的音樂世界呈現什麼樣貌?演講中,楊奕軒老師向我們介紹Music AI Lab目前的四大研究主題,帶領我們認識音樂科技的不同面向以及AI扮演之角色:

(1)AI Listener:音樂賞析

屬於音樂資訊檢索的範疇。AI聆聽樂曲時,具備「理解音樂」的能力,能標記資料庫中樂曲的情緒與曲風屬性,讓使用者更有效率找到他們想聽的音樂。此外,AI也能從音樂中辨識出弦律、樂器、音調,將聲音轉換為樂譜的形式。

(2)AI Composer:音樂創作

除了讓AI自由發揮創意之外,也可輸入個人的「靈感」(例如:洗澡時哼出的一段弦律、喜歡的和弦)作為條件,AI將根據給定的條件產生音樂,以樂譜形式呈現。

(3)AI Performer:音樂演奏

AI讀著樂譜,以特定的表演風格演奏譜上的樂器,展現其對音樂的詮釋。

(4)AI DJ:音樂再造

AI如同DJ(Disc Jockeys),重新混合既有的音樂,藉由包裝與改編賦予樂曲新的價值。

●抽絲剝繭──探討音樂組成成分

AI對音樂的理解(AI Listener),包含曲風分類、音樂轉譜(audio to music score)、聲源分離(source separation)等。演講中楊老師以聲源分離進行展示,亦即將一首歌中的人聲與其他音樂(例如:鼓聲、bass)分成獨立的音軌。從 [Demo] 歌曲清單中選擇一首歌曲,以滑鼠右鍵關閉/開啟任一條音軌,可觀察音訊分離軟體在英文、中文、台語、日文歌上,皆有不錯的表現。

有了獨立的音軌,我們能進一步拼湊不同首歌曲,以A曲的人聲搭配B曲的背景樂,也可以將搖滾樂團中不同樂手的聲音分離,找出每個人的特色。喜歡唱卡拉OK的人,更能方便地產生伴唱帶。

●音樂生成──創作「好聽」的音樂

深度學習技術的進步,讓創作「好聽」的音樂成為可能的任務。從IBM Watson Beats、Google Magenta,到阿里音樂AI Lab鋼琴師雅婷,音樂生成無疑是各家爭豔的舞台。

目前音樂生成主要有兩種應用情景:作曲輔助與配樂創作。作曲輔助是AI藉由對樂理規則的理解,協助作曲家處理重複性的工作,就像畫動畫時自動補滿兩個圖形中間轉換的影格,提升作品細緻度。而生成配樂的好處,則是利用較低的成本,為廣告或電影產生沒有版權問題的音樂。在此情景下,AI著重的是有條件(conditioned)的生成,例如:給定主旋律、曲風或情感標籤、歌詞、影片……等,產生符合需求的樂曲。

楊老師展示了lead sheet譜生成與混合(Lead Sheet Generation and Interpolation)[Demo] 之研究成果。這是個互動式生成的範例,「生成」根據現有的歌曲進行改編,產生具有不同和弦的變奏版本。「混合」結合了兩首歌曲,讓改編的歌曲從其中一首出發,逐漸偏向另一首的曲風或類型,重點在於理解兩首歌曲的曲調,漸進式變化,而不是將兩首的音訊直接加起來除以二。

多音軌生成(Multi-track Generation) [Demo] 的特色則是具備統合多個聲道的能力,可產生包含五種樂器和弦的音樂。

●AI 音樂路之挑戰與契機

那麼如何評估AI創作出來的音樂「好不好」呢?抑或是怎麼樣才是「好」的音樂?現階段採用的是「感覺指標」,包括弦律和弦、樂曲行進感、驚喜與創新感等定性分析,輔以量化的和弦變化程度、和弦是否使用弦律中的音符……等,作為參考標準。

AI與音樂產業,究竟呈現何種互動關係?以科技的角度來看,AI工具輔助人類創作,可以協助處理比較繁瑣的任務,由人類進行較需要創意的環節。我們預期未來幾年相關領域的研究會著重透過「人機互動」來創作音樂,人與AI緊密合作,而非由AI或人類獨力完成譜曲。類似的改變可能逐漸影響音樂產業創作音樂、發布音樂、乃至培養音樂人的方式。

從音樂檢索到生成,AI的角色由被動化為主動,立足於對音樂規則的理解,朝著產生新作品的方向邁進。期待AI能編出複雜度、完整度愈來愈高的曲子,陪伴人類探索更高深的音樂殿堂。

 

--
本文整理自:107/12/16由楊奕軒老師在臺大思亮館國際會議廳所主講之「人工智慧與音樂科技」演講內容。

 

加入好友

(Visited 199 times, 1 visits today)

分享至
views