深度學習怎麼拿來做影像去背?

深度學習怎麼拿來做影像去背?

撰文/黃璽軒(樂達創意科技技術長)

因應COVID-19疫情,整體社會行為被迫改變,我們不再像以前那樣可以隨心所欲到處亂跑,不管是大朋友還是小朋友,想要追星都會害怕群聚感染。AI自動去背讓我們可以快速地合成照片,過過乾癮。

有賴於通訊軟體所帶來的便利,分享生活中的點點滴滴已經成為老幼不分的全民運動。筆者早上收到朋友的求救,說是想要用孩子的照片做個貼圖,於是她用了Power Point裡強大的去背功能。但是東修西修,不是修掉鞋子,就是背後多了根竹竿,總不能符合自己的心意。筆者剛好手頭上有個金屬鍵缺陷檢測的專案在執行,其中恰巧使用到AI來做去背,便隨手做個順水人情。

友人的兒子,同時也是筆者的乾兒子(圖片來源:作者提供)

影像去背

早上起床打開電視,氣象主播後方的預報圖;午休時間打開美國熱門影集《冰與火之歌:權力遊戲》(Game of Thrones)裡,龍母乘龍翱翔於天際;Instagram上刷到朋友套上特殊背景的美圖,以至於自製寶寶貼圖,影像去背(image matting)在現代生活中的需求居高不下。

拍電影時,因為需要一些特殊的造景,經常需要使用綠幕當作背景。演員先在綠幕前表演,然後在後製中將影像去背、替換成其它場景。但為什麼一定要是「綠色」的呢?在選擇背景屏幕顏色時,通常會避免與演員的膚色、衣著,或被攝物的色彩撞色,以降低後製的難度。例如人的膚色介於黃色與紅色之間,採用這兩種顏色就很難做到良好的去背效果。雖然藍色物件出現的機率相對比較小,但由於西方人的虹膜很多都是藍色的,在去背時很容易連眼睛一起去掉,所以實務上多以「綠」幕為主。

影像去背其實是影像處理中一個非常有趣的研究領域,它是將圖像分為前景與背景,並將前景合成到另一個新背景的過程,也是綠幕背後的關鍵技術,廣泛被應用於影片製作、修圖以及其他消費性應用。

筆者在耶路撒冷聖殿山前的獨照(圖片來源:作者提供)

為了更深入瞭解去背這項技術與可能遇到的問題,我們使用上圖當作範例。這張照片的尺寸是500×500,我們可以想像成這幅圖是由250,000個小方格(也就是像素)組成。每個小方格都有明確的位置以及單一的色彩,這些資訊決定了整張圖片的呈現。假設今天希望將耶路撒冷的聖殿山(背景)與筆者的人像(前景)分開,但問題是:圖中前景與背景交融的區塊,例如人像邊緣或髮梢,很難俐落地一分為二。為了解決這個問題,我們可以將圖像中的每個像素看成是前景與背景的組合:

圖片像素 = 前景像素 x 透明度 + 背景像素 x (1-透明度)如此一來,「去背」其實就是在研究:如何光由單一張圖片推算出前景、背景以及透明度三個變數。由於需要預測的東西太多了,傳統的去背需要借助手工建立三色圖(Trimap),劃分出如上圖(中)所示黑(背景)、白(前景)與灰(需要設定透明度的區域)三色區塊。在綠幕前拍攝的好處,就是解決了找出前後景融合程度(設定透明度)的難題,因為前後景已經很明確地被分開了。

這種作法當只有單張圖片需要處理時是可行的,但當用在影片上,手動製作三色圖曠日廢時。華盛頓大學Sengupta等人發表了一篇研究,讓你不用在綠幕前也能完美轉換影片背景──整個世界都是你的綠幕!然而,這麼好的效果其實是有條件的,除了原始的圖片以外,還需要額外拍攝一張沒有人物的純背景圖。即使如此,相較於建立三色圖,還是節省了許多時間,居家視訊會議便是一項可行的應用。

更廣泛的應用

在製造業的案例中,我們常常接到品質控管(例如瑕疵檢測)的需求。即便我們可以利用大數據的優勢來學習各種瑕疵的特徵,但大量且品質良好的數據往往可遇不可求;有些業主則希望能直接在既有的自動生產設備上蒐集資料,但是圖像的背景卻沒有想像中來得乾淨,移除雜亂背景的數據前處理便顯得十分重要。惟有確保所提供的數據都是「乾淨的」,才能在演算法學習產品缺陷特徵時,創造更高的模型精準度。

另外在智慧監控中,AI能夠從影像中找到人、車、動物,也能更進一步判斷性別、是否有戴口罩、是否穿著警察制服,在鎖定這些特徵後,透過移除背景(或前景)凸顯(或隱藏 )畫面中的目標物,提供客戶更好的使用體驗。舉例來說,我們要尋找在案發時間前後出現在捷運站、身穿藍色衣服的男性嫌犯,只要使用上述功能,就能即時地將不符合這些條件的人員從監視錄影器的畫面中移除,提升人工判讀的效率。

回到一開始筆者朋友提出的需求,生活中大大小小的事情都有機會用到去背,從寶寶貼圖、電影裡的綠幕、監控過濾到工廠內缺陷檢測的數據前處理,還有許多你我想像不到的應用躲在生活的角落。了解AI、知道如何使用AI,並留意生活周遭發生的種種,期許正在看文章的你也能發掘另一種影像去背的應用!

 

參考資料

  1. N. Xu, B. Price, S. Cohen, and T. Huang, “Deep Image Matting,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, doi:10.1109/cvpr.2017.41
  2. S. Sengupta, V. Jayaram, B. Curless, S. Seitz, and I. Kemelmacher-Shlizerman, “Background Matting: The World is Your Green Screen,” in 2020 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.

(本文由教育部補助「AI報報─AI科普推廣計畫」執行團隊編譯)

views