聲音視覺化－想像與聯覺

■ 「這鋼琴曲聽起來有一種春天的湖水藍色」是什麼意思？或許不只是文學比喻。有些前衛的藝術家試著用視覺來表達音樂，以下是經過「大珠小珠落玉盤」處理後的德布西。是否注意到它與樂譜看起來不太一樣呢？

撰文｜張譽鐘

讓我們先用一段有趣的德布西〈阿拉貝斯克〉鋼琴曲影片來開頭：

也許你覺得這曲子好像和動畫上滑動的圓圈與連接它們的線段有些關係？是的，其實這就是另一種型式的樂譜。

要簡單的瞭解它的原理，我們可以把這影片想像成進階版的太鼓達人，只不過多出了一個維度，那就是音高（pitch）。每個圓圈在垂直方向的位置決定了它的音高，而連接圓圈的線段仔細檢視，可分成兩種，一種就是連繫最高音頻與最低音頻的圓圈，再來就是連繫其餘的彈奏；而圓圈的大小表示與下一個連接圓圈的間隔、或是圓圈持續的時間，我們看到圓圈的滑動是作者額外加入的效果，讓觀賞起來更有律動感。

這美麗的影片多少得益於原作者德布西的曲子很適合如此呈現，簡約中我們可以看出音階的昇降與綿延活靈活現，對於不擅閱讀琴譜的人來說，似乎又多了一種理解音樂的方法。

據影片作者Stephen Malinowski（他是個作曲家，也是軟體工程師）網站所言，他在上個世紀70年代聆聽巴哈無伴奏小提琴曲時，頓悟到音符就像芭蕾舞者翩翩起舞（這不由得讓人想到畫家康丁斯基能『聽到』色彩------出於他天賦的『聯覺』）。但是當他看到協奏曲的總譜時，他發覺：「很難理解！」 於是，Malinowski開始試著尋找可以表現最初的感動的那種視覺效果。他開始使用電腦計算曲子的節奏變化、視覺表現合弦的變化、音色等等，當然對一般人來講最直觀且具欣賞價值的還是像前述的曲目動畫。

如果你覺得，好像這種概念不是什麼新鮮的事，我們從小看的卡通影片多少就有這種音符與畫面的交互關係，這也沒錯，但其實更早在二次大戰前就有藝術家進行這樣視覺與聽覺的混合實驗了，這位先知是Oskar Fischinger，但他的作品因為時代背景（那時候還沒有電腦），所以是非常仰賴藝術家自己綜合聲音與影像的天賦，並且，可以想像製作過程相當艱難，大概跟做停格動畫差不多，如果大家有興趣可以找找看Fischinger的〈Motion Painting No.1〉這部已被美國國會圖書館列在保存名單上的作品。

前面我們所說到的，是用視覺來呈現既有的音樂，也就是說，用視覺詮釋音樂。那麼，用視覺來創作音樂呢？ 也是在上個世紀70年代，有工程背景的希臘藝術家Iannis Xenakis發明了UPIC，可以想做是有手寫板的音樂創作系統，作曲者可以在手寫板上輸入自己要的音色，再進行譜曲，當然了，我們所說的已經不是十二平均律那種古典的音階系統了，我們可以看看Xenakis用自己的系統創作的〈Mycenae Alpha〉。

（注意，這可能有點刺激！！慎入）

如果你堅持到了最後一個畫面，會看到像是被轟炸過的大樓與天上看起來像鳥的圖案，這似乎已經超出我們熟悉、感到安全的「音樂」定義了是吧？

就像黑格爾三段式辯證，一個前進的看法和不以為然的否定意見，最終會混合成另一種狀態，這就反映在現今電腦輔助的音樂創作上，像許多軟體擷取了視覺化、像Excel工作表格子方塊一般編修音符的方法，而不是用傳統的五線譜，這或許也和數位化後五線譜表記不再是音樂原生的語言有關。

讓我們回到標題，聲音總是環繞在我們四週，並與視覺習習相關。舞蹈或是音樂演出時表演者的姿態，都會伴隨著聲音一同被我們接收，進而化為同一個認知的事物，想想看，如果當我們看到小孩子說話時，如果聽到的是老人家沙啞的話語聲那應是萬分恐怖吧！如果說前述德布西鋼琴曲動畫、Fischinger的音樂動畫是一種以音樂為主體，並以補足音樂所應該伴隨的視覺效果為出發點的作品；而用UPIC創作的作品則是反過來，視覺做為主導，聲音為輔的系統，那麼有沒有相對之下，視覺與聽覺互為主體的觀點呢？

讓我們再用一段影片說明吧！

這是日本聲音－視覺藝術家黑川良一的現場表演，使用了大量的電腦即時運算與聲音、視覺元素的採樣、拼貼處理。在像日本笙的背景音樂中，我們好像看到了電壓不穩時電光的閃爍、像地貌紋路的圖像如海浪一般飄移、無數線段合成的構造物伴隨聲響，忽然間一陣海鳥鳴叫聲劃過，眼前浮現的景致變成像雲朵的模型………

很驚人對吧？ 這標誌著資訊時代後的新審美觀，不用聲音去模擬視覺形象（像維瓦第《四季》裡獅子的步伐），也不試著用視覺再現去追求對音樂的強烈感受，而是這兩者之間關係的混成，不單只從視覺還是聽覺下手，而是表現兩者互為主體交纏的原生意象。

在數位時代，我們經歷了高度抽象化、符號化的過程，我們雖然可能沒實際看過動物園裡的貓熊，但在數位化的資訊上這些形象卻以不同的方式大量流竄。有一種說法，當符號誕生後，就意謂著物的死亡，因為符號已被認同能描述、代表所指稱的物。也許並不盡然，現在符號化的資訊更像是被持續消化的物，雖然有著熟悉的輪廓，但卻又不是同一回事，而黑川的作品無疑描繪了此一過程的不斷流轉，一如作品名稱“Rheo＂（流變）。

（本文作者為電腦工程師／無業藝術家）

延伸閱讀：Stephen Malinowski的音樂視覺化網站－The Music Animation Machine

責任編輯：MissZoe