HPC與深度學習

電影「模仿遊戲」中,盟軍為了破解德軍密碼機,找來專家花了很多時間和心力,終於建造出高效運算機器,幫忙贏得戰爭。同理,為了解決高價值的重要問題,例如:預測氣候變遷、打造人工智慧等,我們需要高效能運算(High-Performance Computing,HPC)機器。HPC的精神是「沒有最好,只有更好」。舉例來說,IBM花了七年打造專門下西洋棋的深藍(Deep Blue),在1996年打敗棋王。這台機器很貴,是由30台電腦組成,並加裝480顆加速重要運算的晶片。由此可見,晶片用在刀口上,可以創造價值,把不可能變成可能。但晶片要如何達到高效能計算呢?首先要對軟體有充分了解,然後找到軟體瓶頸,依此設計加速器,而且還要優化軟體,達到軟硬整合。

Read more