三維智能內容生成與觸感互動之混合虛實學習整合系統(二)-總計畫暨子計畫一：智慧虛實三維場景生成與虛實物件建置系統開發(二)

本整合型計畫「三維智能內容生成與觸感互動之混合虛實學習整合系統(二)」以開發3D與360影像智能內容生成與觸感互動之混合虛實學習系統技術，從智慧虛實場景生成與虛實物件建置系統、虛擬人物之虛實整合暨跨域互動系統，以及具互動及觸覺回饋之智慧型籃球進攻戰術跑位與決策虛擬實境訓練系統。總計畫預期執行三年，規劃三個子計畫含「智慧虛實三維場景生成與虛實物件建置系統開發(二)」、「虛擬人物之虛實整合暨跨域互動系統開發」以及「具觸覺回饋之智慧型籃球進攻戰術跑位與決策虛擬實境訓練系統開發」。本總計畫除了以最困難的籃球訓練應用為主目標，每年均有技術整合展示的次目標，第一年先行完成可以應於電影製作之智慧整合MR多媒體廣播串流系統。第二年完成可用於醫療手術訓練之智慧3D及360影片之MR多媒體串流服務系統。第三年最後完成可以應用於籃球訓練之互動且有觸感之智慧3D及360影片之MR多媒體串流服務及接收系統。最後，總計畫將展示以電腦為傳送及結合行動邊緣計算(MediaTek Helio P90接收智慧裝置之智慧3D及360之MR多媒體串流雲端服務系統。本子計畫「三維智慧虛實場景生成與虛實物件建置系統開發(二)」以開發智慧型混合實境、3D串流平台與智慧物件及場景建模核心技術為主，共規劃二年執行期間，並研製至少三套混合實境智慧生活為應用系統。第一年擬完成深度學習式快速深度估測、基礎內容置換、與智慧物件建模，建立智慧3D MR電影串流服務系統。並使用聯發科Helio P90智慧AI手機晶片置入CTDP解碼及簡易DIBR功能已完成觀賞裝置，以完成智慧3D MR內容廣播系統。第二年擬完成深度學習式真實內容之擬真實物件置換、智慧擴增實境應用與3D與360影像串流平台建立。同時，結合物件偵測和風格轉換，完成物件替換技術、提供彈性置入性行銷達到商業廣告。同時開發3D 360 MR醫療手術及教學系統，並廣播於3D與360影像智慧MR串流平台系統。第三年擬完成深度學習式結合深度計算與物件辨識，完成3D場景建模與邊緣智慧計算應用之生活應用，使虛擬與現實場景更加契合，以完成3D與360影像 智慧MR內容廣播系統。第三年擬利用邊緣智慧計算應用，配合多視角實境3D建模系統，以提高深度估計及辨識的運算速度，使之能運行智慧Helio P90手機晶片，整合深度估算與語意切割，完成互動且觸覺回饋式3D與360 MR籃球訓練系統