深度學習怎麼拿來做影像去背？
撰文／黃璽軒（樂達創意科技技術長）
因應COVID-19疫情，整體社會行為被迫改變，我們不再像以前那樣可以隨心所欲到處亂跑，不管是大朋友還是小朋友，想要追星都會害怕群聚感染。AI自動去背讓我們可以快速地合成照片，過過乾癮。
有賴於通訊軟體所帶來的便利，分享生活中的點點滴滴已經成為老幼不分的全民運動。筆者早上收到朋友的求救，說是想要用孩子的照片做個貼圖，於是她用了Power Point裡強大的去背功能。但是東修西修，不是修掉鞋子，就是背後多了根竹竿，總不能符合自己的心意。筆者剛好手頭上有個金屬鍵缺陷檢測的專案在執行，其中恰巧使用到AI來做去背，便隨手做個順水人情。
友人的兒子，同時也是筆者的乾兒子（圖片來源：作者提供）
影像去背
早上起床打開電視，氣象主播後方的預報圖；午休時間打開美國熱門影集《冰與火之歌：權力遊戲》（Game of Thrones）裡，龍母乘龍翱翔於天際；Instagram上刷到朋友套上特殊背景的美圖，以至於自製寶寶貼圖，影像去背（image matting）在現代生活中的需求居高不下。
拍電影時，因為需要一些特殊的造景，經常需要使用綠幕當作背景。演員先在綠幕前表演，然後在後製中將影像去背、替換成其它場景。但為什麼一定要是「綠色」的呢？在選擇背景屏幕顏色時，通常會避免與演員的膚色、衣著，或被攝物的色彩撞色，以降低後製的難度。例如人的膚色介於黃色與紅色之間，採用這兩種顏色就很難做到良好的去背效果。雖然藍色物件出現的機率相對比較小，但由於西方人的虹膜很多都是藍色的，在去背時很容易連眼睛一起去掉，所以實務上多以「綠」幕為主。
影像去背其實是影像處理中一個非常有趣的研究領域，它是將圖像分為前景與背景，並將前景合成到另一個新背景的過程，也是綠幕背後的關鍵技術，廣泛被應用於影片製作、修圖以及其他消費性應用。
筆者在耶路撒冷聖殿山前的獨照（圖片來源：作者提供）
為了更深入瞭解去背這項技術與可能遇到的問題，我們使用上圖當作範例。這張照片的尺寸是500×500，我們可以想像成這幅圖是由250,000個小方格（也就是像素）組成。每個小方格都有明確的位置以及單一的色彩，這些資訊決定了整張圖片的呈現。假設今天希望將耶路撒冷的聖殿山（背景）與筆者的人像（前景）分開，但問題是：圖中前景與背景交融的區塊，例如人像邊緣或髮梢，很難俐落地一分為二。為了解決這個問題，我們可以將圖像中的每個像素看成是前景與背景的組合：
圖片像素 = 前景像素 x 透明度 + 背景像素 x (1-透明度)如此一來，「去背」其實就是在研究：如何光由單一張圖片推算出前景、背景以及透明度三個變數。由於需要預測的東西太多了，傳統的去背需要借助手工建立三色圖（Trimap），劃分出如上圖（中）所示黑（背景）、白（前景）與灰（需要設定透明度的區域）三色區塊。在綠幕前拍攝的好處，就是解決了找出前後景融合程度（設定透明度）的難題，因為前後景已經很明確地被分開了。
這種作法當只有單張圖片需要處理時是可行的，但當用在影片上，手動製作三色圖曠日廢時。華盛頓大學Sengupta等人發表了一篇研究，讓你不用在綠幕前也能完美轉換影片背景──整個世界都是你的綠幕！然而，這麼好的效果其實是有條件的，除了原始的圖片以外，還需要額外拍攝一張沒有人物的純背景圖。即使如此，相較於建立三色圖，還是節省了許多時間，居家視訊會議便是一項可行的應用。
更廣泛的應用
在製造業的案例中，我們常常接到品質控管（例如瑕疵檢測）的需求。即便我們可以利用大數據的優勢來學習各種瑕疵的特徵，但大量且品質良好的數據往往可遇不可求；有些業主則希望能直接在既有的自動生產設備上蒐集資料，但是圖像的背景卻沒有想像中來得乾淨，移除雜亂背景的數據前處理便顯得十分重要。惟有確保所提供的數據都是「乾淨的」，才能在演算法學習產品缺陷特徵時，創造更高的模型精準度。
另外在智慧監控中，AI能夠從影像中找到人、車、動物，也能更進一步判斷性別、是否有戴口罩、是否穿著警察制服，在鎖定這些特徵後，透過移除背景（或前景）凸顯（或隱藏 ）畫面中的目標物，提供客戶更好的使用體驗。舉例來說，我們要尋找在案發時間前後出現在捷運站、身穿藍色衣服的男性嫌犯，只要使用上述功能，就能即時地將不符合這些條件的人員從監視錄影器的畫面中移除，提升人工判讀的效率。
回到一開始筆者朋友提出的需求，生活中大大小小的事情都有機會用到去背，從寶寶貼圖、電影裡的綠幕、監控過濾到工廠內缺陷檢測的數據前處理，還有許多你我想像不到的應用躲在生活的角落。了解AI、知道如何使用AI，並留意生活周遭發生的種種，期許正在看文章的你也能發掘另一種影像去背的應用！
參考資料
- N. Xu, B. Price, S. Cohen, and T. Huang, “Deep Image Matting,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, doi:10.1109/cvpr.2017.41
- S. Sengupta, V. Jayaram, B. Curless, S. Seitz, and I. Kemelmacher-Shlizerman, “Background Matting: The World is Your Green Screen,” in 2020 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
(本文由教育部補助「AI報報─AI科普推廣計畫」執行團隊編譯)