透過貝葉斯式深度學習建構三維影像模型

透過貝葉斯式深度學習建構三維影像模型

台大電機系 陳明佑 編譯

貝葉斯式深度學習

日本大阪大學一研究團隊想到一種方法:運用既有的圖像到圖像翻譯(image-to-image translation)註一,加上機率論架構,令AI能「推測」出被遮蔽的植物結構。

機器學習可分為兩種途徑:一是決定論式,另一為貝葉斯式 ( Bayesian ) 。前者指的是一般常見的分類器,用於判別物體屬於哪一類別。之所以稱為決定論式,是因為這樣的模型不考慮不確定性,因此做出的判斷非此即彼。以手寫數字的辨識來說,機器會明確告訴你圖像屬於零至九中的哪一個。

貝葉斯模型則因考量不確定性,給出的不是準確的答案,而是依據已知資訊所做出各種推測的可靠程度。以前述枝葉交疊的植物為例,每個視角中皆可見到部分為葉片覆蓋的結構。此時的已知條件,便是明顯可見的分枝位置。據此,AI可以衍生出多種對於植物整體結構的推測,而貝葉斯模型則能給出各種猜測的可靠程度。綜合兩者優勢,就能既對植物結構做出判斷,而又保有關於各種判斷的可靠度資訊。

大阪大學團隊於是先將各個視角的原始影像,經由圖像到圖像翻譯,得出一張分枝結構圖,並由貝葉斯模型得出可靠度值。再者,將不同視角的分支結構圖在立體空間中疊合,成為一個3D結構,並同時保有不同視角下的機率資訊。如此一來,只要找出整體機率最高的部分,就是所有視角中預測最吻合的部分,便可知哪一結構最接近實際情形。

此方法比起過往單純使用圖像到圖像翻譯的模型,表現更加優異。並得以運用更少的相機、更少的視角與數據,獲得不錯的預測結果。此外,這個模型也能用來生成各種可能的分枝結構(並非推測真實情況,而是模擬),而被應用於電腦繪圖。

3D重建技術的未來

大阪大學的研究其最大突破在於將3D重建技術的應用,拓展到農業、植物生長管理等領域,擴大了3D重建技術的應用範圍。

近年人工智慧在農業中的應用已日漸普及,農產業革新的呼聲也不小。許多國家都有「農業4.0」的產業發展規畫,嘗試將人工智慧、大數據、雲端計算、區塊鏈等當代資訊科技引入農業。例如運用機器學習技術,由植物影像辨識病蟲害;或搭建智慧溫室,溫室本身便能即時透過田中感測器數據,監控農田狀況,並自動調整環境。

縱使如此,以往若想監控果樹或其它枝葉繁茂的植物,即使有攝影機,在花葉層層覆蓋之下,仍然無法得知果樹的生長情況。大阪大學的研究成果若能普及,相信對於農業發展是有實質助益的。除此之外,3D重建技術亦可擴大應用於藝術品的數位典藏與文化資產保存,為其它型態複雜物體建模。

 

註解

  1. 圖像到圖像翻譯(image-to-image translation):有關「輸入一種圖像,輸出另一種圖像」這類問題都算圖像到圖像翻譯,具體的例子有NVIDIA的開源專案PIX2PIX HD,能將一張簡單標示過的語意圖轉換為一張高解析度的擬真照片。可參考:https://github.com/NVIDIA/pix2pixHD

參考資料

  1. Invisible structures exposed!“, ResOU, 2018.
  2. Isokane, F. Okura, A. Ide, Y. Matsushita and Y. Yagi, “Probabilistic Plant Modeling via Multi-View Image-to-Image Translation“, Arxiv.org, 2018.
views