近年來擴增實境技術發展迅速,整合智慧型感測裝置,產生許多創新性的產業應用。Google Glass™即是最知名的例子,儘管產品本身並未非常成功,但已帶起結合實體與虛擬數位內容的風潮,全球科技龍頭紛紛投入研發。國內企業或無法主導相關軟硬體的發展,但致力於擴增實境的加值化應用,帶動產品與服務的創新,應是相當可行的做法。
為滿足此項需求,本聯盟將凝聚產學研資源,針對高擬真擴增實境的應用開發,建立並推廣其關鍵性技術,提高虛實結合數位內容的互動性。整合電腦視覺、擬真繪圖、人機介面、使用者經驗、雲端計算與深度感測等不同領域,分析行銷、設計、製造與維修等不同產品生命週期,以及文創、娛樂、教育、商品展示、工具機與醫療產業的使用情境,發展對應之前瞻性功能。並透過成果發表、課程訓練、技術諮詢與專案委託的方式,形成緊密的知識分享社群,縮短使用需求與技術提供兩端的距離,協助聯盟會員建立競爭優勢,在整合虛實數位內容的應用軟體技術上,開創另一個成功的藍海策略。
擴增實境的優勢在於結合真實與虛擬內容,但若無法正確判斷、顯示兩者的空間關係,將嚴重降低應用的互動性,甚至干擾使用者的資訊判斷力,如何有效處理虛實間的遮蔽問題,便是本聯盟的核心技術。
擴增實境中整合深度感測裝置,本團隊已有多年的開發經驗,除了控制程式操控深度感測裝置,亦熟悉不同深度感測裝置,包括Kinect™ 1.0、Kinect™ 2.0、Leap Motion™與Structure Sensor™,個別的操作限制與參數調校,並嘗試透過實驗分析,實際建構誤差校正機制,提高應用面的準確性。
除了單一感測器的使用外,亦具備於同一場景中,同時整合多個深度感測器的能力。透過多台攝影機進行標記校正,定位出場景基準位置後,將各個攝影機取得的場景深度點群,轉至相同座標系統中,結合不同視角取得之深度資訊,得到更完整的場景物件。
深度攝影機擷取到深度資訊,可作為感知真實場景的智慧,進而促成許多創新性的應用。其中以真實物件的追縱、定位與辨識,為最常需要的功能,深度資訊的加入,大幅提高影像辨識的效能,也開啟眾多以往不可能實現的技術。本團隊基於擴增實境概念,成功實現虛擬試穿互動技術,同時驗證以 RGB-D 資料,進行即時性三維定位的效能。
虛擬模型與真實場景同時存在,可能發生相互遮蔽的問題,若無法正確判斷前後關係,去除應隱藏的內容,呈現的視覺化結果變得不自然,可能影響應用的使用性。另一方面,因成像原理與硬體的限制,造成 Kinect™等平價裝置的深度資訊品質不佳,常有資料雜訊與破損的情形,而影響物件追蹤與定位效果。此外,若場景深度資訊不穩定,可能引起遮蔽邊緣的不平整,降低數位內容的視覺化品質,影響應用的準確性。
針對上述問題,本研究團隊已提出可行的解答方案,分為三維資訊修復與虛實互動改善兩大部分。針對攝影機的雜訊與缺漏,三維資訊修復模組改善其引發的問題。虛實互動改善模組包括兩部份:遮蔽干涉計算部份,根據場景資訊與虛擬模型,使用者可透過介面,將虛擬模型擺置於場景中選擇的位置,進行前後景遮蔽的計算。
透過科技部產學合作計畫補助,本研究團隊成功結合雲端技術,以分散式系統架構,以鞋類虛擬試穿為使用情境,驗證適合大量佈署的擴增實境應用。採用最新的行動式深度感測裝置 Structure™ Sensor,較不受場域限制,可大量取得試穿者的足部運動影像,即時將影像資料傳回雲端。利用後端的平行處理能力,快速辨識影像中的足部位置,完成鞋類模型的定位,最後對應產生的試穿過程,透過網路展示於使用者端。透過此項應用性服務的佈署,可促進大量個人化設計的普及,開創穿戴類產品嶄新的設計模式。雲端架構整合運算伺服平台以及三維資訊傳輸、儲存技術,開發包括資料儲存、虛擬試穿戴計算與結果評估服務等不同功能模組,實現分散式擴增實境概念。
本聯盟對參與會員提供多項服務,包含全球產業趨勢訊息分享、技術發表會、軟硬體課程訓練、專業技術諮詢、產學合作專案、政府相關專案申請協助與人才招募協助等。
將積極運用新興社群網路,提供聯盟訊息、產業最新發展、相關技術報導、商業案例與人力資源等內容,並定期寄送給會員參考,透過常態性資訊分享,協助掌握全球產業脈動。
針對擴增實境互動功能之相關軟硬體技術、關鍵性技術原理或是創新性使用情境展示,每年辦理大規模的「技術觀摩說明會」,廣邀產官學研各方,聯盟會員與非會員參加,廣泛進行技術交流,增加與會者技術、人資與創新資源網絡。
不定期開設短期技術訓練課程,以實作訓練為目的,提高參與學員的開發能力,課程內容包括無標記追蹤方法、高擬真繪圖渲染、擴增實境程式開發、多台深度感測器整合與第三方開放函式庫教學等。
提供會員設計系統規格、診斷技術問題、原理說明與商業模式創新的建議。
發揮執行團隊的研發能量,接受會員企業委託技術開發、深度諮詢、演算法設計或新產品企劃,期望降低企業會員的研發成本,達成產學相互支援的目標。此外,可輔導會員申請各式政府研發專案,協助計畫書撰寫與執行。
政府相關專案申請協助,例如文件撰寫、技術教導等。
積極發揮媒合的功能,將會員或外部的專案研發需求,適當轉介給聯盟成員,或是進行專案聯合開發。此外因應會員人才需求,媒合就業或學生實習。