2.3 ?勢(shì)識(shí)別
NUI 的挑戰(zhàn)：“Simple is hard.Easy is harder.Invisible is hardest.”——Jean-LouisGassée
2.3.1 ?勢(shì)的圖形?戶(hù)界?
未來(lái)的?機(jī)交互將是?然?戶(hù)界?(Natural User Interface),當(dāng)然這個(gè)界?還很模糊。隨著便宜?可靠的多點(diǎn)觸摸硬件的不斷發(fā)展，我們相信，在不久的未來(lái)，多點(diǎn)觸摸設(shè)備不僅僅是在實(shí)驗(yàn)室?了，?是遍布在學(xué)習(xí)室，繪圖室甚?是廚房?，?限可能。
?標(biāo)和圖形?戶(hù)界??直是電腦可以在社會(huì)上?規(guī)模普及的重要原因。然?，傳統(tǒng)的?機(jī)交互是間接的和需要識(shí)別的?種?法。建?在多點(diǎn)觸摸上的?機(jī)?然交互是直觀(guān)的，流暢的和令?回味的。基于?勢(shì)的GUI 界?將進(jìn)?步使計(jì)算機(jī)成為我們?活中的不可或缺的?部分。
從?義上說(shuō)，“?勢(shì)的概念涵蓋很?泛，只要是為了讓交流的?的更明確，更引?矚??采?的?切?體動(dòng)作，都可以稱(chēng)作?勢(shì)。”通過(guò)?勢(shì)交流是?類(lèi)發(fā)展歷程中最古?的形式，當(dāng)然，這超出了我們的討論范圍。GUI 系統(tǒng)是利??們以往的閱歷和認(rèn)知來(lái)熟悉應(yīng)?程序，?NUI 的界?充分利?了?們的設(shè)想和合乎情理的結(jié)論從?提出了?個(gè)直觀(guān)的、基于?勢(shì)的內(nèi)容界?。這樣?個(gè)基于?勢(shì)的界?是社會(huì)化，任務(wù)協(xié)作，以及藝術(shù)性觸摸的最佳候選?案。這個(gè)界?是符合?然規(guī)律的、更直觀(guān)的?戶(hù)界?。
然?，現(xiàn)在多點(diǎn)觸摸硬件上所使?的?勢(shì)是很少的，仍然存在很?的發(fā)展空間，當(dāng)然也少不了繼續(xù)探尋?些?勢(shì)的可應(yīng)?性。多點(diǎn)觸摸界?需要?個(gè)全新的?案，?不是?GUI 或者WIMP 的?法來(lái)實(shí)現(xiàn)它。?勢(shì)的類(lèi)型決定了不管是多觸摸?戶(hù)還是單觸摸多?戶(hù)都能進(jìn)?互動(dòng)。我們將討論需要的新?勢(shì)，發(fā)展?勢(shì)識(shí)別模塊和?持框架能夠充分利?多點(diǎn)觸摸設(shè)備的潛?，?持可定制開(kāi)發(fā)和易于使?的復(fù)雜的多點(diǎn)觸摸應(yīng)?。
2.3.2 ?勢(shì)Widgets
NUI 的多點(diǎn)觸摸?案提供了?套強(qiáng)?的?勢(shì)界?平臺(tái)，?且是基于對(duì)象的(?不是WIMP)，從?消除了現(xiàn)實(shí)世界與應(yīng)?程序之間的抽象化。界?的?的在于讓?們能夠直接操縱、更好的沉浸式體驗(yàn)和容納界?上的低精度操作。流?的?勢(shì)諸如?兩個(gè)?指將圖?縮放、旋轉(zhuǎn)，這被稱(chēng)之為“操控?勢(shì)”，也是?然?勢(shì)的?個(gè)很好的例?。
圖1：多點(diǎn)觸摸程序中的?勢(shì)范例
新類(lèi)型的?勢(shì)widgets[圖2]對(duì)對(duì)象的直接操控要有?個(gè)全?的概念(在NUI的概念中，?切都是對(duì)象)，有?個(gè)流暢且具有喚起性(evocative)的環(huán)境，不僅僅是模擬?標(biāo)。
圖2
Gesture Widgets 應(yīng)該具有創(chuàng)造性思維，能夠存儲(chǔ)?戶(hù)的反饋并進(jìn)?處理。那么這些Gesture Widgets 就可以被擴(kuò)展來(lái)設(shè)計(jì)開(kāi)發(fā)更復(fù)雜的應(yīng)?，它們還應(yīng)該?持?定義?勢(shì)。
2.3.3 ?勢(shì)識(shí)別
?勢(shì)識(shí)別研究的主要?的是建??個(gè)能夠識(shí)別?的特定的?勢(shì)然后發(fā)送這些信息或者直接控制設(shè)備的系統(tǒng)。為了確保能夠?較準(zhǔn)確的識(shí)別?勢(shì)和呈現(xiàn)?個(gè)直觀(guān)的界?，在這個(gè)系統(tǒng)模型上會(huì)做?些限制。多點(diǎn)觸摸設(shè)備應(yīng)該提供?個(gè)以上的?戶(hù)獨(dú)??作或者協(xié)同?作的能?，然后讓多點(diǎn)觸摸應(yīng)?和多種多點(diǎn)觸摸設(shè)置模式在?起?作。
圖3：?勢(shì)?例
?勢(shì)(Gesture)?詞被定義為起點(diǎn)和終點(diǎn)在?個(gè)范圍內(nèi)，?且在兩點(diǎn)之間有動(dòng)作。在多點(diǎn)觸摸輸?的時(shí)候，系統(tǒng)應(yīng)該能夠識(shí)別在空間和時(shí)間內(nèi)有意義的?勢(shì)。?勢(shì)識(shí)別程序可分為三個(gè)漸進(jìn)的過(guò)程。
檢測(cè)意圖：?勢(shì)僅需要在?戶(hù)操控應(yīng)?程序窗?的時(shí)候解析，X 延展輸?協(xié)議以及即將到來(lái)的X12 會(huì)通過(guò)X 服務(wù)器來(lái)?yè)?dān)當(dāng)繼續(xù)地轉(zhuǎn)述觸摸事件的責(zé)任，通過(guò)軟件的執(zhí)?正確地反饋給應(yīng)?界?。
?勢(shì)區(qū)分：在同?個(gè)應(yīng)?程序操作觸摸事件的時(shí)候會(huì)有同樣的?套動(dòng)作，因此，觸摸事件需要基于對(duì)象意向情況下被重新定義，這些被重新定義的數(shù)據(jù)會(huì)被發(fā)送給?勢(shì)識(shí)別模塊。
?勢(shì)分類(lèi)：?勢(shì)識(shí)別模塊會(huì)將被定義的數(shù)據(jù)映射到相對(duì)應(yīng)的命令中，這會(huì)有各種?勢(shì)識(shí)別能夠?到，可以是單獨(dú)的或者像Markov Models, Artifcial NeuralNetworks, Finite State Machine 等那樣整合起來(lái)的。
其中最重要的技術(shù)是隱形馬爾科夫模型(Hidden Markov Models,HMM)。它是根據(jù)歷史數(shù)據(jù)，預(yù)測(cè)等時(shí)間間隔點(diǎn)上的各類(lèi)對(duì)象分布狀況。此?法的基本思想是根據(jù)過(guò)去對(duì)象變動(dòng)的規(guī)律，推測(cè)未來(lái)對(duì)象變動(dòng)的趨勢(shì)。
?個(gè)仿真的神經(jīng)?絡(luò)(artificial neural network，ANN)，通常只叫做NN(neuralnetwork)，它是?個(gè)建?在?物神經(jīng)?絡(luò)理論上的計(jì)算機(jī)模型[圖4]，它在多變的環(huán)境中?常靈活。新的?法可以同時(shí)使?HMM 和較為常見(jiàn)的ANN 來(lái)識(shí)別對(duì)象。
?勢(shì)識(shí)別模塊還應(yīng)提供聯(lián)機(jī)和脫機(jī)識(shí)別功能，以及shot 和progressive 的?勢(shì)。依照現(xiàn)在的觀(guān)點(diǎn)，可以表?為：
圖4：在離線(xiàn)模式下，觸點(diǎn)追蹤和?勢(shì)識(shí)別的框架
從客戶(hù)端架構(gòu)分離的?勢(shì)識(shí)別模塊本?就可以構(gòu)成MVC 架構(gòu)，這樣有助于稍后講到的語(yǔ)?識(shí)別模塊和其它的?勢(shì)識(shí)別模塊以適當(dāng)?shù)男问接成涞浇?控制器，然后更新視圖和模型，使之成為更強(qiáng)?的界?。
2.3.4 開(kāi)發(fā)框架
現(xiàn)在有?些框架已經(jīng)發(fā)布了，它們正在制定幫助多點(diǎn)觸摸應(yīng)?發(fā)展的觸摸事件界?管理?式。然?，現(xiàn)在設(shè)備輸?管理的?式仍然是抽象的，觸摸事件通過(guò)TUIO 發(fā)送（TUIO 是不考慮底層硬件的）。??勢(shì)識(shí)別能真正地挖掘多點(diǎn)觸摸界?的潛?，這也是客戶(hù)端的任務(wù)。現(xiàn)在?些通常的?勢(shì)，特別是那些操控圖?的?勢(shì)已經(jīng)出現(xiàn)了。這些框架不是側(cè)重于?勢(shì)界?，它們更側(cè)重于發(fā)展多點(diǎn)觸摸環(huán)境的GUI 和WIMP 的標(biāo)準(zhǔn)接?。
?勢(shì)和?勢(shì)識(shí)別模塊隨著NUI 界?的推出已經(jīng)有了長(zhǎng)?的發(fā)展。?些重要的框架有：
Sparsh-UI
Sparsh-UI 是?個(gè)發(fā)布在LGPL 許可證下的多點(diǎn)觸摸?勢(shì)識(shí)別框架，貌似也是第?個(gè)關(guān)于?勢(shì)識(shí)別的框架。它可以連接各種硬件設(shè)備，并且可以跨平臺(tái)使?，同時(shí)?持不同的編程語(yǔ)?和UI 框架。觸摸信息從連接裝置捕獲之后會(huì)進(jìn)??勢(shì)的處理和識(shí)別，每?個(gè)在客戶(hù)端的可視化組件都可以被“聯(lián)想”成?組特定的?勢(shì)，然后試圖去識(shí)別它。新的?勢(shì)和識(shí)別算法可以添加到包中設(shè)為默認(rèn)。
Gesture Definition Markup Language
GDML 是基于XML 的?種?來(lái)說(shuō)明在輸?界?上如何建?清晰的?勢(shì)事件的標(biāo)記語(yǔ)?。通過(guò)XML 來(lái)描述?勢(shì)的狀態(tài)，同時(shí)?持在指定的基礎(chǔ)上創(chuàng)造新的?勢(shì)，這也就是說(shuō)，?勢(shì)引擎?持?定義的?勢(shì)。
這個(gè)項(xiàng)?設(shè)想成兩部分：
描述?個(gè)標(biāo)準(zhǔn)的?勢(shì)庫(kù)(Gesturelib)來(lái)滿(mǎn)??部分應(yīng)?的需要。
類(lèi)庫(kù)代碼?持已經(jīng)既定的?勢(shì)，并且可以將?勢(shì)事件發(fā)送給應(yīng)?層。
Grafiti
Grafiti 是?個(gè)建?在TUIO 客戶(hù)端上的C#框架，可以?來(lái)管理桌上界?多點(diǎn)觸摸的交互?為，也?持?些既定的有形物體的觸摸。這個(gè)項(xiàng)?的?的是?持使?第三?模塊來(lái)加強(qiáng)(專(zhuān)業(yè))?勢(shì)識(shí)別算法。當(dāng)然，?些基本的?勢(shì)已經(jīng)包含在??了。
NUIframe
NUIframe 是?個(gè)基于上述討論模式的C++框架(?前正在開(kāi)發(fā)中)。它提供了?個(gè)單獨(dú)的?勢(shì)識(shí)別模塊，除了處理?連串觸摸事件之外，NUIframe 也提供了客戶(hù)端程序。這就可以確保不同的對(duì)象在使?相同?勢(shì)的時(shí)候，可以根據(jù)背景做出不同的運(yùn)算。它還將?持基于?戶(hù)特定的規(guī)格來(lái)?定義?勢(shì)。這套?勢(shì)?具?持圖形化的?動(dòng)調(diào)試所?成的?勢(shì)。
AME Patterns Library
AME Patterns Library 是?個(gè)新的C++模式識(shí)別庫(kù)，?前的重點(diǎn)是實(shí)時(shí)?勢(shì)識(shí)別(real-time gesture recognition)。它使?基于概念的程序設(shè)計(jì)來(lái)表達(dá)通?的?勢(shì)識(shí)別算法。這個(gè)庫(kù)最近作為AMELiA (the Arts, Media and Engineering LibraryAssortment，?個(gè)開(kāi)源的庫(kù)集)的?部分發(fā)布在了GNU 通?公共許可證下。它同時(shí)實(shí)現(xiàn)了兩個(gè)多點(diǎn)觸摸識(shí)別的隱形馬爾科夫模型，同時(shí)減少了?些參數(shù)模型，簡(jiǎn)化需求條件，改進(jìn)了運(yùn)?時(shí)間性能，同時(shí)保持了良好的識(shí)別效果。
這?也有?勢(shì)識(shí)別軟件在準(zhǔn)確性和實(shí)?性上存在的挑戰(zhàn)：
?勢(shì)識(shí)別中的圖形噪聲
不同的?在同??勢(shì)上存在差異
在給定的區(qū)域?找到普遍性的?勢(shì)?不是去繪制難以記憶的?勢(shì)
包容?勢(shì)的可變性和復(fù)制性
慎重考慮與GUI 系統(tǒng)相?有沖突的地?
Distinguishing intentional gestures from unintentional postural adjustmentsknown as the gesture saliency problem.
懸空?臂式操作（gorilla arm）：?類(lèi)并不習(xí)慣于在操控?為的時(shí)候?qū)?舉在前?，在通過(guò)?段時(shí)間的操控后，?臂回變得酸痛、局促、浮腫等，就像?只?猩猩?樣在觸摸屏上操作著。盡管短時(shí)間的操控沒(méi)有什么問(wèn)題，但從1980 年早期開(kāi)始將垂直式觸摸屏作為主流輸?技術(shù)，卻阻礙了發(fā)展。
可以進(jìn)?步改善NUI 界?，?如在?勢(shì)識(shí)別模塊上加?壓?感應(yīng)，語(yǔ)?輸?，?部識(shí)別等。
