3D Object Model Aided RGBD-CNN Object Orientation Justification and Convolutional Autoencoder Grasping Points Generation Method

摘要

本論文透過建立物品的3D點雲圖模型，輔助估測物品的姿態，以及抓取點生成，讓機器人可以建立物品座標系，規劃抓取點，抓取與?正物品。為了估測物品的姿態，首先透過物件辨識方法，獲得物品的位置以及邊界框，以此濾除背景，並進行正規化。正規化的彩度與深度影像，作為深度影像卷積神經網路的輸入，訓練物品旋轉角度的類別。取得角度類別後，將物品模型旋轉平移，並取出推估可觀測範圍的點雲圖，再利用迭代最近點法，比對物品模型可觀測點雲圖與實際觀測的點雲圖，推估物品的旋轉矩陣，得出物品的姿態。如此，便可建立物品座標系，並將模型轉換至三維空間中，補足未觀測到的部分。接著，本論文進一步提出卷積自動編碼器網路，學習物品可抓取的範圍。首先建立物品的法向量圖及深度圖，並定義夾爪抓取的矩形範圍，在物品圖上分別採樣每個抓取矩形的正規化影像，標註是否為可抓取點。接著透過卷積自動編碼器網路，將影像編碼至三維表徵空間，讓抓取點群聚在此空間當中。因此，驗證時即可利用三維KD樹比對事先建立的抓取點資料庫，評估此點抓取的可行性。實驗結果展示了本論文所提出的方法，可以有效地推估物品的旋轉角度，並建立物品坐標系，利用推估的坐標系，規劃物品抓取點，以及?放方位，將物品?正至定義之面向。

獎項日期	2020
原文	English
監督員	Tzuu-Hseng S. Li (Supervisor)