Facet Segmentation and Normal Direction Estimation for a Pile of Objects Grasping System Using Depth-Based Mask R-CNN

摘要

在機器人領域，物體的切割 (Segmentation)和夾取是一個很經典的問題。要精確地夾取一個物體必須將之先從所有物體分割出來，判斷出物體所在位置、計算出夾取角度才可操控機器手臂去做夾取。過去幾年所提出的方法都是將每個物體個別切出後去計算夾角，但這種方式有可能會夾到不易夾取之堆疊物體區域。為解決上述問題，本文基於深度卷積神經網路切割出堆疊物體的每個面，如此就能確保夾到的是物體的一個面，而不是尖端或難以夾取之區域。隨後利用PCA (Principle Component Analysis)找出物體面之中心點、主軸、次軸以及法向量，如此就能控制機器手臂沿著物體面之法向量做夾取的動作。其中，為了訓練深度卷積神經網路，我們在每個資料集上約花50個小時收集與標記物體的每個面，神經網路訓練時間耗時約27小時。我們選擇將深度影像 (depth image)做為深度卷積神經網路之輸入，並用深度影像訓練，如此一來神經網路可學習到一個面應當有連續地、平滑地深度值變化，若有深度不連續或深度值變化劇烈的情形，則可能為背景或另一個面，利用此方式可達到高精確度之物體面切割。

獎項日期	2019
原文	English
監督員	Shu-Mei Guo (Supervisor)