河(he)南(nan)省科(ke)學院(yuan)新型顯示技(ji)(ji)(ji)術(shu)研究所副所長伍世虔(qian)在2025中(zhong)國(guo)國(guo)際Mini/Micro-LED產業(ye)技(ji)(ji)(ji)術(shu)峰會上發表《人(ren)眼視覺交互(hu)技(ji)(ji)(ji)術(shu)》主題報(bao)告。
眼(yan)睛除(chu)了(le)被(bei)動(dong)接收信(xin)(xin)號(hao)，還可以起(qi)到操控的(de)作(zuo)用。人眼(yan)視(shi)覺很有意義，在所(suo)(suo)有的(de)信(xin)(xin)息(xi)接收里面，視(shi)覺接收的(de)信(xin)(xin)息(xi)占到一(yi)個人所(suo)(suo)能(neng)夠感(gan)知(zhi)信(xin)(xin)息(xi)的(de)80%，所(suo)(suo)以如何(he)利用眼(yan)睛去做一(yi)些交(jiao)互(hu)，捕捉(zhuo)視(shi)覺注意力(li)進而解讀意圖(tu)是很有意義的(de)。
用人眼(yan)(yan)視(shi)(shi)覺進行交互，常(chang)常(chang)用到(dao)的(de)(de)(de)設備叫(jiao)眼(yan)(yan)動(dong)(dong)儀，在(zai)(zai)眼(yan)(yan)動(dong)(dong)儀里面(mian)，通過攝像頭(tou)看(kan)到(dao)眼(yan)(yan)睛(jing)，通過另外一(yi)個(ge)(ge)攝像頭(tou)看(kan)到(dao)場(chang)景，那(nei)么眼(yan)(yan)動(dong)(dong)儀實(shi)際上核心的(de)(de)(de)工作(zuo)是(shi)需要(yao)把眼(yan)(yan)睛(jing)在(zai)(zai)看(kan)場(chang)景的(de)(de)(de)哪個(ge)(ge)點(dian)，這(zhe)個(ge)(ge)關(guan)系建(jian)立(li)起來，這(zhe)是(shi)眼(yan)(yan)動(dong)(dong)儀要(yao)實(shi)現的(de)(de)(de)基(ji)本(ben)的(de)(de)(de)也是(shi)最重要(yao)的(de)(de)(de)功能。這(zhe)樣的(de)(de)(de)技(ji)術(shu)(shu)，它(ta)的(de)(de)(de)關(guan)鍵(jian)模塊(kuai)、關(guan)鍵(jian)技(ji)術(shu)(shu)有哪些？第一(yi)個(ge)(ge)是(shi)要(yao)把眼(yan)(yan)睛(jing)找出(chu)來，也就是(shi)把瞳(tong)孔(kong)找到(dao)。第二(er)步，眼(yan)(yan)睛(jing)看(kan)到(dao)的(de)(de)(de)是(shi)什么，這(zhe)個(ge)(ge)叫(jiao)凝視(shi)(shi)點(dian)估(gu)計。瞳(tong)孔(kong)檢測(ce)，以(yi)(yi)及凝視(shi)(shi)點(dian)估(gu)計，這(zhe)兩個(ge)(ge)合在(zai)(zai)一(yi)起叫(jiao)做(zuo)眼(yan)(yan)動(dong)(dong)追蹤技(ji)術(shu)(shu)。第三，每個(ge)(ge)人的(de)(de)(de)人眼(yan)(yan)，看(kan)東西的(de)(de)(de)習(xi)慣，以(yi)(yi)及長得(de)不一(yi)樣等(deng)因素會導致(zhi)需要(yao)求出(chu)的(de)(de)(de)眼(yan)(yan)睛(jing)跟(gen)凝視(shi)(shi)點(dian)的(de)(de)(de)函數(shu)是(shi)不同的(de)(de)(de)，所以(yi)(yi)，需要(yao)做(zuo)系統標定，當把這(zhe)樣的(de)(de)(de)系統做(zuo)好了以(yi)(yi)后，這(zhe)個(ge)(ge)系統就可以(yi)(yi)進行各種各樣的(de)(de)(de)交互模式(shi)。眼(yan)(yan)動(dong)(dong)交互技(ji)術(shu)(shu)大概(gai)就是(shi)由曈孔(kong)檢測(ce)、凝視(shi)(shi)點(dian)估(gu)計、系統標定、交互模式(shi)這(zhe)幾個(ge)(ge)關(guan)鍵(jian)模塊(kuai)所組成(cheng)。
接下(xia)(xia)來(lai)介紹眼(yan)動(dong)交(jiao)互系統相關(guan)的(de)(de)技術特點和(he)應用(yong)(yong)。一(yi)(yi)(yi)般(ban)來(lai)說，用(yong)(yong)眼(yan)動(dong)去(qu)做一(yi)(yi)(yi)個(ge)(ge)應用(yong)(yong)的(de)(de)時候，這個(ge)(ge)系統往往需(xu)要(yao)有一(yi)(yi)(yi)個(ge)(ge)比較強(qiang)的(de)(de)約束(shu)。因此就需(xu)要(yao)思考(kao)能不能把(ba)這個(ge)(ge)約束(shu)放小，能不能走(zou)到在(zai)一(yi)(yi)(yi)種自(zi)然(ran)(ran)的(de)(de)環境下(xia)(xia)，不管是(shi)(shi)在(zai)室(shi)內還是(shi)(shi)室(shi)外，只要(yao)戴上眼(yan)動(dong)儀就可以(yi)工(gong)作，這是(shi)(shi)我們要(yao)解決(jue)的(de)(de)問題。另外，眼(yan)睛一(yi)(yi)(yi)動(dong)以(yi)后，又要(yao)重(zhong)新標(biao)定(ding)，如果每次用(yong)(yong)一(yi)(yi)(yi)下(xia)(xia)都(dou)要(yao)重(zhong)新標(biao)定(ding)很(hen)(hen)麻煩，所以(yi)如何使(shi)標(biao)定(ding)能夠(gou)顯得(de)很(hen)(hen)自(zi)然(ran)(ran)，在(zai)使(shi)用(yong)(yong)過(guo)程中做到在(zai)線標(biao)定(ding)也是(shi)(shi)很(hen)(hen)重(zhong)要(yao)的(de)(de)工(gong)作，這樣系統才能好用(yong)(yong)。還有，現在(zai)是(shi)(shi)三維空間的(de)(de)交(jiao)互，希(xi)望實(shi)現的(de)(de)是(shi)(shi)，第一(yi)(yi)(yi)希(xi)望在(zai)自(zi)然(ran)(ran)環境下(xia)(xia)的(de)(de)眼(yan)動(dong)交(jiao)互，第二普適(shi)場景下(xia)(xia)的(de)(de)自(zi)標(biao)定(ding)，第三希(xi)望是(shi)(shi)三維情境下(xia)(xia)的(de)(de)大規模意圖表征與推理(li)。
對于(yu)眼動追蹤系統來說，要做到(dao)魯棒(bang)，這(zhe)個難度(du)很大(da)。魯棒(bang)表現在兩(liang)方面，第一是對于(yu)瞳(tong)孔的(de)(de)(de)(de)檢(jian)(jian)測(ce)(ce)，瞳(tong)孔檢(jian)(jian)測(ce)(ce)經常會(hui)遇(yu)到(dao)這(zhe)些(xie)問題：眼睛動，有(you)眉毛的(de)(de)(de)(de)干擾，還(huan)有(you)瞳(tong)孔反光會(hui)有(you)光斑點，這(zhe)些(xie)都(dou)導致(zhi)檢(jian)(jian)測(ce)(ce)的(de)(de)(de)(de)時候不夠魯棒(bang)。我們(men)團隊目前用(yong)到(dao)的(de)(de)(de)(de)方法(fa)是在以前所(suo)做的(de)(de)(de)(de)人臉檢(jian)(jian)測(ce)(ce)工作(zuo)的(de)(de)(de)(de)基礎上，再(zai)結合(he)人眼自身的(de)(de)(de)(de)特(te)點提出的(de)(de)(de)(de)一套(tao)方法(fa)。
如(ru)何把(ba)凝視(shi)的視(shi)線(xian)估計準？第一(yi)是做到在3D環境下(xia)，而不是2D；第二是要(yao)把(ba)瞳孔(kong)估計得好，用瞳孔(kong)中心-反(fan)光(guang)點向(xiang)量作為輸入特(te)征，減少設(she)備滑移影響；在這個基(ji)礎上，第三(san)是基(ji)于真實瞳孔(kong)軸線(xian)方法來進(jin)一(yi)步提高精度，現在能夠達到的精度是1度左右。
自(zi)標(biao)定方面，函(han)(han)數G = F (E ; λ)的估計存在(zai)一個問題，人眼(yan)的特(te)征（E）可以知道(dao)，凝視點（G）也(ye)(ye)知道(dao)，但是(shi)λ不知道(dao)，這個λ意味著(zhu)頭戴(dai)設備的滑動也(ye)(ye)會變好(hao)，所以需要做(zuo)一個標(biao)定。技(ji)術(shu)怎(zen)么(me)做(zuo)到(dao)？因(yin)為F是(shi)非線(xian)(xian)(xian)性(xing)函(han)(han)數，要求λ 很難，那么(me)，可以構(gou)建新的眼(yan)動特(te)征，使其(qi)與(yu)凝視點存在(zai)線(xian)(xian)(xian)性(xing)關系，即(ji)使眼(yan)鏡(jing)有滑移也(ye)(ye)沒關系，戴(dai)著(zhu)眼(yan)鏡(jing)看(kan)到(dao)的場景就是(shi)標(biao)定的過程，因(yin)此可以做(zuo)到(dao)在(zai)線(xian)(xian)(xian)自(zi)標(biao)定。
這(zhe)個(ge)(ge)工(gong)作目(mu)前的(de)應用，一是可(ke)(ke)以(yi)(yi)用眼(yan)動(dong)做(zuo)成眼(yan)動(dong)鍵盤；二(er)是做(zuo)成眼(yan)動(dong)鼠(shu)標，不(bu)(bu)用鼠(shu)標，通過眼(yan)動(dong)來(lai)控(kong)制；還有(you)眼(yan)控(kong)相(xiang)機，眼(yan)睛看(kan)到哪里，相(xiang)機可(ke)(ke)以(yi)(yi)跟著；還有(you)手眼(yan)協(xie)調操(cao)控(kong)，鍵盤、鼠(shu)標完(wan)全(quan)不(bu)(bu)需(xu)要，眼(yan)鏡的(de)操(cao)控(kong)能力還差一點，通過眼(yan)鏡再(zai)加(jia)上手就(jiu)(jiu)可(ke)(ke)以(yi)(yi)完(wan)成復雜(za)的(de)功能。可(ke)(ke)以(yi)(yi)做(zuo)到文(wen)本閱(yue)讀(du)(du)與翻譯，即人在(zai)閱(yue)讀(du)(du)的(de)時候，只要看(kan)到一個(ge)(ge)文(wen)字停(ting)在(zai)那里以(yi)(yi)后，系統(tong)就(jiu)(jiu)可(ke)(ke)以(yi)(yi)給(gei)出翻譯。還有(you)就(jiu)(jiu)是模擬(ni)一個(ge)(ge)博(bo)物館(guan)，只要眼(yan)睛一看(kan)到某個(ge)(ge)東(dong)西(xi)，系統(tong)就(jiu)(jiu)可(ke)(ke)以(yi)(yi)介紹這(zhe)樣東(dong)西(xi)。
老人(ren)(ren)的(de)語言功能(neng)(neng)差了以后(hou)，想看什么眼睛一(yi)定會動，我(wo)們團隊的(de)工作研究(jiu)通過追蹤(zong)眼睛理(li)(li)解人(ren)(ren)的(de)意(yi)圖，然后(hou)由機器人(ren)(ren)來幫人(ren)(ren)完成。目前(qian)也(ye)在跟一(yi)家公(gong)司合作，研究(jiu)是否能(neng)(neng)通過眼動儀來檢(jian)測(ce)一(yi)個人(ren)(ren)的(de)生(sheng)理(li)(li)健康(kang)和(he)心(xin)理(li)(li)健康(kang)。還有人(ren)(ren)和(he)機器結合的(de)老年人(ren)(ren)服務系(xi)統，團隊也(ye)發表了一(yi)些文章和(he)申請專利。
關注我們
公眾號：china_tp
微信名稱：亞威資訊
顯示行業頂級新媒體
掃一掃即可關注我們
