行動裝置上之手語翻譯系統

Abstract

手語為聽障朋友常用的溝通語言，透過雙手的手形、動作、位置等資訊來建構語意及語句，然而一般大眾對於手語的學習並不多，與聽障朋友較難以直接進行溝通，隨著資訊科技之進步，尤其是影像處理及行動通訊裝置之進步，要設計建置一套隨身手語翻譯系統以讓聽障朋友與一般大眾容易進行溝通，應該是可行的。 本研究設計一套能讓一般民眾與聽障朋友進行手語溝通的手語翻譯系統。研究採用行動裝置做為運算中心，以其相機擷取手語影像，先透過人臉偵測取得膚色樣本以進行膚色偵測，再運用影像處理方法擷取出同膚色的雙手手掌，並計算手部運動資訊來組成手語語意。運動資訊包括手形、移動方向及位置三種資訊，手形是使用Features from Accelerated Segment Test (FAST)偵測特徵點與Binary Robust Independent Elementary Features (BRIEF)特徵描述演算法及計算Hamming距離以和影像庫比較最相似手形；移動方向則以手部重心點運動軌跡之兩相鄰點來計算角度得到移動方向；並比較雙手手部位置與所設定之門檻的高低以決定正確之手部位置。本系統目前手形辨識率可達91 1%，而每張影像運算時間為90 59(ms)，經過實際場景測試，已經可以讓一般民眾與聽障朋友互相順利溝通，且語意資料庫建可以隨時擴充各種單字，包括單詞與複合詞。

Date of Award	2016 Aug 24
Original language	Chinese
Supervisor	Tzone-I Wang (Supervisor)