以自動編碼器及生成對抗網路系統建置高解析三維點雲模型

Translated title of the thesis: Reconstruction of high resolution 3D point cloud models based on Auto-encoder and Generative Adversarial Networks System
  • 陳 致佑

Student thesis: Master's Thesis

Abstract

隨著機器人、智慧城市、無人駕駛及擴增實境、虛擬實境等相關領域蓬勃發展，真實世界中有效獲得三維空間的訊息是各領域都在努力探討的部分，使用視覺或Lidar的方式掃描物體重建時常遭遇到被遮蔽以及破洞問題，當掃描的點雲較為稀少時，稀疏點雲特徵將無法有效地重建三維物體，必須耗費更多的時間成本才能獲得較多的點雲資料填滿整個物體完成較高解析度的重建。 本論文中提出3D生成系統，使用端對端的自動編碼器(Autoencoder)及生成對抗網路(GANs)系統將三維稀疏點雲重建至高解析的三維稠密點雲，展示了本架構在三維點雲上的無監督式學習過程以及如何生成資料，其網路架構的關鍵想法是藉由自動編碼器以及循環生成對抗網路(CycleGANs)共同訓練而成，輸入的稀疏點雲是源自於真實點雲中亂數取樣一千點，其訓練轉換的過程中兩者間的關聯性相當重要，使用樣本配對訓練的方式能有效地學習彼此間轉換的資訊，目的是將稀疏點雲學習到稠密風格轉換並重建至高解析的稠密點雲。 最後驗證此系統的結果，證明本網路架構藉由循環生成對抗的方式學習到真實三維點雲的分布轉換，亦能夠透過單一類別訓練學習稠密風格的轉換，未訓練之類別重建皆有不錯的效果，透過IoU驗證指標證明其訓練的網路非常具有高適用性，最重要的是當輸入一千點的三維稀疏點雲即可恢復破碎的表面以及細節，有效地重建至高解析的三維稠密點雲。
Date of Award2018 Jun 20
Original languageChinese
SupervisorYueh-Min Huang (Supervisor)

Cite this

'