日前，韓國實感交互人體感應解決方案研究中心(??????????????)的研究人員日前為操縱虛擬對象提出了一種成本高效的三指外骨骼手部動捕設備，以及一種基于物理引擎的手部交互模塊。

設備能通過獨特的傘齒輪結構，以及六個3D磁傳感器來提供12個自由度的手指運動數據。研究結果表明，兩個指尖之間的相對距離誤差小于2毫米，而且系統在實時處理復雜的關節數據時能夠支持用戶再現精確的手部運動。研究人員將手部動作與基于物理引擎的交互框架(包括一個抓握解釋器和多模態反饋操作)進行同步，從而最小化手部穿過對象的情況。這款系統能夠實現虛擬環境中的對象操作可行性。

1. 介紹

為了增強虛擬環境中的真實感，用戶和虛擬內容之間的真實交互十分重要。到目前為止，許多研究人員都專注于使用RGB-d傳感器，線性或旋轉電位器，或IMU來測量手指運動。

諸如Leap Motion或微軟HoloLens所采用的圖像傳感器或紅外傳感器屬于非接觸式傳感器，因此具有易于使用的優點，但它們本身受限于手部的自我遮擋，所以需要特定的環境才能正常工作，包括能見度，光照條件。

基于線性或旋轉電位器的動捕方法涉及某種類型的可穿戴機制，而這種方法缺乏準確性，因為它為每個手指分配1-2個自由度，并假設手指與測量值之間存在線性關系。有人則在外骨骼的關節處使用旋轉電位器，但由于這種機械裝置無法覆蓋手指的工作空間和缺乏自由度，所以它們不可避免地存在缺點。

韓國實感交互人體感應解決方案研究中心的研究人員提出了一種新穎的手部動作捕捉可穿戴設備，利用3D磁性非接觸式傳感器來捕捉手指的全4自由度運動。

與早期嘗試實現手部交互的解決方案相比，他們的設備存在幾個優點：第一，它忽略了運動追蹤期間自我遮擋的存在，因為系統是從磁傳感器讀取數據;第二，機械裝置完全覆蓋了手指的運動范圍，從而能提供準確的手指運動數據;第三，研究人員的其中一個設計目標是，以低成本提供準確的手部交互方法。設備采用了簡單的磁位置傳感器，而每個元件的成本約為1美元，因此整個機械裝置的制造成本預計低于200美元。

接下來，這支韓國團隊研發了一個基于物理的虛擬交互模塊，它能夠校正因缺乏觸覺反饋而導致的真實手與虛擬手不匹配。Kim等人于2016提出了一種采用物理粒子的對象向狀態管理，但它主要是控制虛擬對象的姿態，沒有考慮運動學上的手部運動，從而有可能導致操縱錯誤，例如手部穿透對象。研究團隊提出了一種算法，其能夠在考慮物理可行性的情況下重建虛擬手勢，并提供多感官反饋以支持自然的感覺交互。

2. 系統描述

這種外骨骼是一款三指機械裝置，總共能提供12個自由度。每個手指的裝置能隨手指實現外展和內收，基座處搭載了偏轉關節，而一個中間關節則用于支撐手指的彎曲和伸展，如圖2所示。

兩個3D磁傳感器位于第一和第四關節處。當手指移動時，完成初始校準步驟后的系統將能以100Hz的速度下確定機械裝置的末端執行器(指尖)的姿勢(位置和方向)。對象的真實長度與兩指尖距離的誤差平均不足2毫米。優化過程和逆運動學可以提供虛擬手指的配置以重新生成虛擬手部。設備搭載的Vive追蹤器則能帶來手部的全局定位與方向。

研究人員已經根據所述機械裝置提供的數據，并利用渲染的手部運動來執行物理模擬。特別地，為了提供觸摸感，振動致動器將附接到設備的每個指尖位置，并且每當關聯對象檢測到碰撞時就產生觸覺反饋。研究人員使用Bullet Physics來進行碰撞檢測，并在與對象接觸的手部表面上構建一組粒子碰撞器以計算效率。他們通過求解一系列優化問題來減少由于運動學運動而引起的手與對象重疊，從而生成無穿透的手部姿勢。時間一致性同時幫助提供了穩定的手部姿勢。

3. 展望未來

如圖3所示，研究人員設置了一個專注于需要對齊和平衡的對象的場景，而這需要精確的手部動作。在未來，這支團隊計劃整合新的觸覺致動器和渲染引擎，從而實現更逼真的模擬。

來源：yivian