深度卷積網路之逐層定點數量化方法與實作YOLOv3推論引擎

  • 曾 微中

Student thesis: Master's Thesis

Abstract

先進的深度卷積神經網絡在?多領域取得巨大的成?,但由於其通常需要龐大的運算資源,而無法應用於終端移動設備。例如在Raspberry Pi 3上使用Tensorflow執行SSD_Mobilenet-專為終端裝置優化的物件辨識網路,辨識單張圖片需要大約25秒。而對於更多層的DNN模型例如Resnet101 Faster RCNN光是權重就需要接近600Mbyte ,由於所需記憶體過大甚至無法在Raspberry Pi 3上執行。 為了符合有限的硬體資源,以及達到較低的計算延遲,優化網路結構、量化網路運算等方法皆在嘗試解決以上問題。優化網路結構透過修改網路架構降低模型運算量並縮小模型尺寸如Mobilenet、Squeezenet。量化網路運算則縮小模型權重並加速DNN運算,但通常需要特殊硬體以支援相對應的量化儲存格式以及量化計算行為如EIE、EYERISS。 本論文提出一種網路量化方法以及硬體前期設計架構MDFI(Micro Darknet For Inference)。MDFI作為純C語言構成的前向傳導DNN框架,主要支援物件辨識網路模型,不使用動態函式庫例如Protocol-buffer以及保持不到280kByte的執行檔大小,適合為終端移動設備所使用。由於不使用動態函式庫,其運算行為可作為硬體設計的參照,作為ESL的前期描述模型。 量化方案使DNN網路得以定點數進行前向傳播(Inference),比起通用的浮點數更有效率,亦可以消除原模型中的過度擬合現象,所以在AlexNet-Imagenet-Top1及Top5的測試中分別可以提升0 5%及0 1%的準確度。並估計採用本方法的硬體加速單元相較於浮點數可節省高達90%以上的?率消耗。
Date of Award2019
Original languageChinese
SupervisorChung-Ho Chen (Supervisor)

Cite this

深度卷積網路之逐層定點數量化方法與實作YOLOv3推論引擎
微中, 曾. (Author). 2019

Student thesis: Master's Thesis