Project Details
Description
本計畫將發展壓縮神經網路模型的演算法,藉由對原始具有龐大參數量的冗餘網路進行壓縮,以達到計算加速的效果。目前神經網路在很多領域上都有優秀的成果,例如影像辨識、物件偵測、語義分割等。其中卷積神經網路更是近年發展迅速且被廣泛重視的高效辨識方法,為目前深度神經網路發展的主要方向。然而為了追求更高的準確率,模型越加龐大且層數加深,這些伴隨而來更多的參數量與計算時間。雖然目前主流研究的演算法可以透過圖形顯示卡進行平行運算,減少運算時間,但在邊緣運算的環境下,會受到記憶體與能耗的限制,導致機器學習無法在生活中被廣泛的應用。我們將多方面研究最新穎的神經網路壓縮研究,針對卷積神經網路開發模型壓縮的演算法以達到運算加速。本計畫預計執行一年,我們將以貝葉斯深度學習的方法訓練網路,以機率分佈的參數來模擬學習中的不確定性,能更合理的壓縮網路,避免造成壓縮中不可逆的錯誤,我們初步將實現(1)變分推斷的網路剪枝、(2) 變分推斷的網路量化、(3)學習稀疏性約束的演算法開發,整合通用於各種常見模型的網路訓練方式。
Status | Finished |
---|---|
Effective start/end date | 20-08-01 → 21-07-31 |