Attention Network Block Module Drives Deep Neural Network and Their Applications

論文翻譯標題: 藉由注意力網路區塊模組驅動深度類神經網路與其應用
  • 王 麒詳

學生論文: Doctoral Thesis

摘要

近年來,深度類神經網路成?應用在?多領用上,像是影像處理任務、自然語 言處理、推薦系統。為了提升深度類神經模型的特徵擷取能力與預測效能,網路架 構的設計自然成為了決定性的重要關鍵。一般研究中大致從三個面向來分析並嘗試 強化類神經網路,包含:(1)搭建更深與更廣的網路架構、(2)網路架構的自動搜尋及 (3)藉由注意機制的模組強化特徵。而其中(3)藉由注意力機制模組強化的方式擁有相 對較低的開發成本,並能有效地應用在各種現有著名的網路架構上。 因此本研究著重在探討與建置創新的注意力網路模組來強化既有的現有的類神 經網路架構,分別針對推薦系統與影像上設計不同類型的注意力網路模組,來強化 模型的效能與加強特徵擷取。在推薦系統上,我們主要發展兩種不同的注意力網路 模組,來強化模型在擷取使用者喜好上,以此加強模型預測的效能。另一方面,我 們同時也設計了新穎的 Uncertainty Attention (UA) 注意力模組應用在電腦視覺的任 務上,讓模型除了關注原先特徵圖上重要的資訊外,同時也讓模型考量其他不確定 性的資訊,藉此發掘具有潛在資訊的區域,以此提升模型預測效能。 我們將所設計的注意力網路模組分別應用在推薦系統與醫學影像的任務上。在 不同資料集的實驗結果中,我們發現在我們所設計的注意力網路模組下,與原始模 型及其他的注意力模組有更顯著的效能提升。由實驗結果所示,更加呈現注意力網 路模組可以在最小的改動下加強模型的特徵擷取能力與效能。
獎項日期2020
原文English
監督員Jung-Hsien Chiang (Supervisor)

引用此

'