自計(jì)算機(jī)誕生以來(lái),人機(jī)輸入技術(shù)始終在「便攜性、帶寬與普適性」之間艱難權(quán)衡:鍵盤、鼠標(biāo) 與觸控雖已成熟,卻都離不開實(shí)體設(shè)備;視覺(jué)或慣性手勢(shì)雖可擺脫器件,但對(duì)光照、遮擋極為敏感。腦?機(jī)接口曾被寄望解決這一困境,卻長(zhǎng)期局限于侵入式電極、專人專模的昂貴路線。
鑒于此,腦機(jī)接口初創(chuàng)公司 CTRL-Labs聯(lián)合創(chuàng)始人Patrick Kaifosh與Thomas Reardon提出了一種可穿戴、干電極、腕帶式表面肌電(sEMG)接口。通過(guò)在成千上萬(wàn)名志愿者身上采集高質(zhì)量訓(xùn)練數(shù)據(jù),研究者訓(xùn)練出可跨人群通用的解碼模型,使用戶在零校準(zhǔn)狀態(tài)下即可完成連貫手勢(shì)導(dǎo)航(0.66 次目標(biāo)獲取·s?1)、離散指令(0.88 次檢測(cè)·s?1)和手寫輸入(20.9 詞·min?1),若再用20 min個(gè)性化數(shù)據(jù)微調(diào),手寫錯(cuò)誤率還能再降16%。相關(guān)研究成果以題為“A generic non-invasive neuromotor interface for human-computer interaction”發(fā)表在最新一期《nature》上。 全文作者達(dá)到247人。
值得一提的是, CTRL-labs 由Thomas Reardon和Patrick Kaifosh創(chuàng)立,他們兩位都獲得了哥倫比亞大學(xué)的神經(jīng)科學(xué)博士學(xué)位。在這其中,年僅 49 歲的雷登是擔(dān)任 CTRL-labs 公司 CEO 職位。2019年,F(xiàn)acebook AR / VR 副總裁安德魯·博茲·博斯沃思(Andrew "Boz" Bosworth)在他的個(gè)人 Facebook 帖子上宣布收購(gòu)腦機(jī)接口初創(chuàng)公司 CTRL-Labs。這是 Facebook 公司在過(guò)去五年中完成的最大收購(gòu)案,自 2014 年以 20 億美元收購(gòu)虛擬現(xiàn)實(shí)公司 Oculus VR 以來(lái),這筆交易價(jià)值約為 10 億美元。下圖是CTRL-labs 的作者詳細(xì)名單。
【 可擴(kuò)展的 sEMG 記錄平臺(tái)】
作者展示了整套硬件與數(shù)據(jù)平臺(tái)(圖1)。腕帶內(nèi)置48 電極,構(gòu)成16 雙極通道,2 kHz 采樣,噪聲僅2.46 μVrms;四種尺寸可在幾秒內(nèi)佩戴完成(圖1a、1b)。研究者為162–6 627 名參與者設(shè)計(jì)了三類采集任務(wù):一維光標(biāo)追蹤、九類手勢(shì)以及無(wú)筆手寫(圖1c)。原始信號(hào)揭示出手指屈伸肌群的精細(xì)放電模式(圖1d、1e),為監(jiān)督學(xué)習(xí)提供了豐富樣本。
圖 1. 用于腕部 sEMG 高通量記錄和實(shí)時(shí)解碼的硬件和軟件平臺(tái)
【 單一參與者模型不具有普遍性】
作者進(jìn)一步闡釋了模型泛化(圖2)。單人模型跨會(huì)話尚可依賴增量數(shù)據(jù)降低漏檢率,但跨用戶誤差依舊居高不下;相反,多人通用模型在樣本量參數(shù)量呈冪律擴(kuò)張時(shí),腕角速度誤差可低至≈8° s?1 ,手寫字符錯(cuò)誤率約10%,手勢(shì)分類誤差≈20%(圖2e–g),證實(shí)了大規(guī)模數(shù)據(jù)對(duì)非侵入式接口的決定性價(jià)值。
圖 2 . 單參與者和多參與者模型的泛化性能
【 通用模型的在線評(píng)估】
圖3聚焦閉環(huán)性能。17 名新人在連續(xù)光標(biāo)任務(wù)中平均1.51 s命中目標(biāo);24 名新人以拇指滑動(dòng)、食中指長(zhǎng)按等動(dòng)作在離散網(wǎng)格中達(dá)成0.88 指令·s?1;20 名新人在文本輸入中取得20.9 WPM,字符錯(cuò)誤率自練習(xí)到正式評(píng)測(cè)階段持續(xù)下降。相較傳統(tǒng)觸控板(0.68 s)、JoyCon 手柄(1.45 指令·s?1)及無(wú)筆手寫(25.1 WPM),腕帶性 能雖略遜,卻無(wú)需占用雙手,且始終可用。
圖 3 . 通用 sEMG 解碼模型能夠在不同的 交互中 實(shí)現(xiàn)閉環(huán)控制
【 離散手勢(shì)模型學(xué)習(xí)到的表示】
作者深入解讀了解碼網(wǎng)絡(luò)的“生理基底”(圖4) 。首層 Conv1d 卷積核在時(shí)空上自發(fā)形成與單個(gè)運(yùn)動(dòng)單位動(dòng)作電位(MUAP)高度相似的基函數(shù)(圖4b–4e);隨后三層 LSTM 逐層拉開不同手勢(shì)的表征距離,同時(shí)壓縮參與者身份、腕帶位置及肌電功率等干擾維度(圖4f–4i),最終實(shí)現(xiàn)對(duì)“意圖”而非“噪聲”的穩(wěn)健編碼。
圖 4 . 離散手勢(shì)解碼器學(xué)習(xí)基于生理學(xué)的表征
【 個(gè)性化手寫模型可提高性能】
作者還說(shuō)明了個(gè)性化微調(diào)的收益與邊界(圖5):在6 400 人通用模型基礎(chǔ)上,僅20 min 個(gè)人數(shù)據(jù)即可將手寫 CER 再降16%,相當(dāng)于再收集約14000 min 外部數(shù)據(jù);但預(yù)訓(xùn)練人群越大,個(gè)性化收益呈遞減趨勢(shì),且過(guò)擬合會(huì)降低跨人適用性 ,提示未來(lái)需在泛化與?;g動(dòng)態(tài)權(quán)衡。
圖 5. 通用 sEMG 手寫模型的個(gè)性化提高了性能
【總結(jié) 與展望】
該腕帶式 sEMG 接口突破了非侵入式帶寬瓶頸,實(shí)現(xiàn)了無(wú)需校準(zhǔn)的跨人群即插即用,從而為移動(dòng)計(jì)算、增強(qiáng)現(xiàn)實(shí)乃至神經(jīng)康復(fù)打開新篇章。作者預(yù)言,借助更靈敏的硬件、多自由度映射及多模態(tài)傳感,肌電信號(hào)不僅可用于檢測(cè)指尖用力,還能探索肌動(dòng)空間中的全新交互方式;對(duì)行動(dòng)受限人群,這種“微努力”輸入亦有望成為普惠技術(shù)。未來(lái),持續(xù)擴(kuò)充多樣化數(shù)據(jù)集、結(jié)合 IMU 或其他生物信號(hào),并在臨床群體中驗(yàn)證通用模型,將是推動(dòng)這一路線走向真實(shí)應(yīng)用的關(guān)鍵 。
來(lái)源:高分子科學(xué)前沿
聲明:僅代表作者個(gè)人觀點(diǎn),作者水平有限,如有不科學(xué)之處,請(qǐng)?jiān)谙路搅粞灾刚?/p>
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.