來源：量子位

你是否也有過這樣的時候。

廚具清潔正水聲大作，手機突然響了起來。這時你滿手泡沫水漬，大腦瞬間空白：

sad。

那，語音控制？

Siri 表示周圍水聲太大我好像不明白你在說什么。

至于手勢控制……我手要空著還會有這個問題嗎！

那有沒有更 nice 的一種方式呢？

這個可以有——牙齒控制了解一下。

通過牙齒動作 *（teeth gestures）* 來代替常規(guī)輸入方式。

這就是來自康奈爾大學 SciFi 實驗室的一項新研究——TeethTap。

效果展示

TeethTap 是一種可穿戴系統(tǒng)，主要由耳后佩戴的 IMU 和接觸式麥克風組成。

已經(jīng)可以通過捕捉并識別耳朵周圍不同的牙齒動作來實現(xiàn)一些簡單功能。

而在最終的用戶測試階段里，TeethTap 成功識別了 11 位參與者的 1382 個牙齒動作中的 1256 個，平均準確度達 90.9％。

如果能將這套系統(tǒng)集成到相關(guān)設(shè)備，那么既不用動手，也不用顧忌環(huán)境噪音的設(shè)備控制方式，或許就真的未來可期了。

那么，它到底是怎么實現(xiàn)的呢？

13 種基礎(chǔ)牙齒動作

好，現(xiàn)在，先咬個牙。

注意到了嗎，你在活動牙齒時，你的舌頭、下頜骨，以及口腔肌肉都會隨之運動。

而研究人員在設(shè)計基本牙齒動作時，便是受此啟發(fā)。

對于牙齒接觸的范圍，以舌頭朝向（引申到下頜方向）為 y 軸，以側(cè)面運動方向為 x 軸，這里 x-y 平面的四個極限點就可以描述為現(xiàn)實動作里的前、后、左、右。

對于牙齒接觸的方式，則類比鼠標動作：單擊（快速咬合并釋放）、雙擊（兩次快速咬合并釋放）、長按（保持咬合，延遲釋放）。

通過以上兩個維度，共設(shè)計了 13 種基礎(chǔ)的 " 牙齒動作 "（teeth gestures）。

就像 26 個英語字母可以組成無數(shù)單詞一樣，這 13 個 " 基本動作 " 也可以組合成為各種生活中的常用指令。

" 動聲結(jié)合 " 的硬件設(shè)備

在動作（語音）與指令交互時，現(xiàn)有手段大多通過人體特定部位的復雜傳感器（如眼動儀）來識別手勢，主要有運動感測（如 IMU）和聲音感測（如麥克風）兩個方向。

而 TeethTap 則采用運動感測與聲音感測相結(jié)合的硬件設(shè)備，來探索面部手勢識別的可能性。

TeethTap 主要由兩個接觸式麥克風（BU-30179-000）和兩個慣性測量單元（IMU）組成。看外形有點像造型奇怪，設(shè)備繁多的運動耳機。

自然彎曲的 PLA 燈絲將 IMU 傳感器壓在耳朵下方的下頜骨處，并將麥克風固定到耳后的顳骨上，而麥克風則連接到可以放大和過濾聲音信號的定制 PCB 板上。

在運動時，來自麥克風（聲傳感器）的濾波數(shù)據(jù)和來自 IMU 的陀螺儀數(shù)據(jù)，分別通過板載 12 位的 ADC 和 I2C 通信發(fā)送到微控制器（HUZZAH32）。

最后，HUZZAH32 將數(shù)據(jù)發(fā)送到計算機以使用 WiFi 進行處理。

從去躁到識別

那么上述的數(shù)據(jù)分析及傳輸算法具體是怎么實現(xiàn)的呢？

流程圖是這樣：

首先從連續(xù)數(shù)據(jù)流中劃分一個以 2s 為單位的滑動窗口，隨著數(shù)據(jù)不斷流入流出，滑動窗口也進行 20 次 /s 的移動。

當檢查到音頻數(shù)據(jù)出現(xiàn)足夠的尖峰時，再檢查陀螺儀的 y 軸絕對最大值是否超過預定的能量閾值，以此來判定是否有動作發(fā)生。

而對于咀嚼或說話等可行為能產(chǎn)生的噪聲干擾，研究人員也實現(xiàn)了帶有線性核的 SVM 模型分類器，對接收數(shù)據(jù)里的噪聲段和動作段進行了區(qū)分。

在對數(shù)據(jù)進行分割并過濾掉噪聲之后，再使用 K 近鄰算法（k = 1）對手勢進行分類。

再使用 DTW 距離函數(shù)在每次迭代中輸出一個值，最終將具有最小距離值的手勢確定為預測動作。

團隊介紹

SciFi 是位于康奈爾大學計算機與信息科學系的跨學科實驗室。

目前已在活動識別，健康感測和自然用戶界面等多個領(lǐng)域上進行了新應(yīng)用的開發(fā)。

而對于現(xiàn)在的這款 TeethTap，作者也坦然承認只是概念性的展示，所以不管是在外表美觀程度還是功能性上都還有所欠缺。

而未來的整體思路是以足夠小的電子元件，將整個系統(tǒng)集成在耳機、聽筒，甚至是一副眼鏡框架上。

等等？