科技改变生活:脑机接口与智能家居系统研究进展

|
2021年04月07日 09:13:25
|
376 浏览
|
科技改变生活,本文从脑机接口的基本概念引出其与智能家居系统的结合点,详细介绍了融合脑机接口技术的智能家居系统的基本构成、发展历程及评价指标,并综述了基于不同脑电图刺激范式的脑机接口智能家居系统。在此基础上对脑机接口智能家居系统进行发展方向了一定的预测和展望,期以构建更加和谐的人——家居交互新范式。

  1.引言

  脑机接口(Brain-Computer Interface,BCI)是一种不借助肌肉组织或外周神经等常规脑信息输出途径而实现大脑与电子设备信息交换的新型人机交互技术[1],它可以作为大脑思维正常但运动功能残障的患者与外界沟通的有效方式。BCI技术通常服务于肢体康复[2]、意识障碍[3]、缓解疼痛[4]等恢复医疗及护理医疗领域,旨在使用大脑意念对外界信息进行感知和操控。根据接口端与大脑端的连接方式,它可以分为侵入式BCI、非侵入式BCI和半侵入式BCI[5]。其中,基于脑电图(electroencephalogram,EEG)的非侵入式BCI是目前最具有商业化前景的BCI技术,而智能家居系统正是这种BCI技术产业化落地的良好载体。最近,随着信息技术的蓬勃发展,各种基于无线通信传感器的智能家居系统应运而生,智能家居以互联网或物联网为媒介将各种家庭设备有效连结,为用户提供如家电控制、环境检测、红外转发等多种家居服务。

  近年来,随着基于EEG的BCI技术与智能家居系统不断融合,面向残障用户的人机交互新范式逐渐成为新的研究热点。本文系统性地回顾了BCI技术在智能家居系统中的应用及研究现状,讨论了其优势和挑战。

  2. BCI-智能家居系统的构成

  传统的BCI系统和智能家居系统是两部分独立的系统,它们通过各种通信协议进行通信协作。BCI系统由刺激范式模块、脑电信号采集模块、脑电信号特征提取与分析模块、指令输出模块等部分构成。智能家居系统由家居网络、家居布线、家居软件、智能电器等部分构成。本征的智能家居是基于现实世界设计的,但由于其研制成本较高、建立位于体外的原位条件较为困难[6]等实际因素,因此也产生了许多基于三维环境仿真的虚拟现实(Virtual Reality,VR)技术而建立的智能家居系统。下图所示为通常情况下基于EEG的BCI-智能家居系统的结构组成。

  当使用基于EEG的BCI-智能家居系统时,用户需要在配合用于激发特定脑电波的实验范式的同时穿戴具有阵列式脑电极布局的脑电帽。脑电帽后端连接着各种如信号放大器、信号滤波器等精密复杂的电子器件,以进实现多通道、高质量的不同脑区细胞群自发性、节律性电位活动的高质量记录。被记录的脑电信号经过人工智能算法处理分析可用于识别用户的脑思维意图,并输出相应的控制信号,从而通过各种通信协议以信号传递的方式触发智能家居中的场景事件。

  BCI-智能家居系统诞生至今的时间并不长,2008年Hoffmann等以电视、电话、灯等6部家居设备的图像作为示例,基于BCI技术设计了一套基础性智能家居控制范式,并满足了严重残疾被试者们的某些需要[7]。2009年Holzner等成功使用了具有上百个指令的BCI范式对虚拟现实智能家居场景中的灯光、收音机等电器设备进行操纵[8]。2010年 Carabalona等建立了可通过BCI控制的真实智能家居环境[9]。2014年Hu和Mu通过分析用户注视自己物品的照片而触发的视觉诱发电位,实现了智能家居门禁系统对户主的身份识别[10]。2018年,Gao等提出了一种新的BCI落地方案,他们将基于局域网的供电(Power over Ethernet)系统与BCI技术相结合,拓展了有源以太网的功能多样化,为智能家居系统提供了新视角[11]。

  3. 评价指标

  BCI-智能家居的性能通常通过准确率、单次耗时、可提供命令数和信息传输率等指标评定,下面的章节中将对这些指标进行详细的介绍。

  3.1 准确率

  准确率是评价BCI-智能家居系统可靠性时最基本的指标,它是根据用户的思维意图与其脑电信号分析的结果对照而得到的。BCI准确率可分为在线准确率和离线准确率,二者均根据用户产生系统所能够解释的脑电信号而计算的。当使用在线BCI系统时,系统可以实时把完成分析的信号转化为控制命令,并且用户能及时收到反馈以便其确定下一步需要进行的思维想法。当使用离线BCI系统时,系统会先将采集到的脑电信号进行储存,之后再将这些信号作为样本数据导入各种人工智能算法模型中进行处理分析。在对BCI-智能家居系统的测试中,在线准确率通常被用来评估系统的实时闭环性能,而离线准确率常被用来验证或优化脑电分析算法。研究表明,BCI系统的指令集准确率在70%以上才能满足它基本的功能需求[37]。

  3.2 单次耗时

  单次耗时是评价BCI-智能家居系统工作效率及处理速度时的重要指标。在BCI实验中,系统通常会以十字符号或蜂鸣震动作为信号,之后显示设备会进行随机命令提示,被试用户接收到命令提示后立即执行提示的命令并以此控制BCI系统。以随机命令提示作为开始计时时间节点,以BCI系统执行相应动作结束为计时结束节点,计时时间即单次耗时。单次耗时越少则说明系统处理速度越快。

  3.3 可提供命令数

  可提供控制命令数是评价BCI-智能家居系统复杂程度的重要指标。通常情况下,可提供命令数越多,BCI-智能家居系统的操作自由度就越高,场景控制功能就越加丰富。最基本的智能家居设备应具备遥控开关的功能,以满足日常家居生活的基本需求。

  3.4 信息传输速率

  传统的信息传输速率用于定量评估通信通信系统的计算速率,2004年这一概念被引入脑机接口领域[38]。在BCI-智能家居系统中信息传输速率是一个综合了准确率、单次耗时和可提供命令数的客观公正的指标,用来评估单位时间内系统传输的信息量,其单位通常为bits/min。

  4. BCI-智能家居系统的控制范式

  BCI范式是在BCI研究领域中普遍被研究者们所接受的固定流程与程序。在下文中将回顾应用于智能家居系统的三种BCI控制范式,即P300范式、稳态视觉诱发电位(Steady-StateVisual Evoked Potential, SSVEP)范式和运动想象(MI,Motor Imagery)范式。

  4.1 基于P300范式的BCI-智能家居系统

  P300范式因被试者接受到视觉刺激后300毫秒左右会产生大小为5到10微伏的正向脑电波而得名[12]。典型的P300范式是基于怪球范式(oddball)设计的,即在大概率呈现的刺激序列中出现新异的小概率刺激,从而激发被试者对于这一刺激的P300脑电信号。这种脑电信号是事件相关电位(ERP,event-related potentials)的一种,在Pz,Cz和 Fz电极位置(国际10-20脑电帽系统)对应的脑区中幅度较为明显。

  P300范式的重要优点是,大多数用户在训练较少的情况下就可以实现高精度的使用效果,并可以在几分钟内对其进行校准[13]。因此,基于P300范式的BCI-智能家居系统相关研究启动较早,并且这一研究方向也得到了许多研究者们的青睐。

  早在2003年,Bayless就已经使用P300组件在VR环境对虚拟公寓中的几个对象和组件进行控制。研究表明,沉浸在VR中的用户和紧盯计算机显示器的用户之间的P300信号没有明显差异[14]。随着计算机技术的发展及日益精细化的场景渲染,2009年,Guger Technologies公司与加泰罗尼亚理工大学的研究人员们使用P300范式在XVR(extreme VR, University of Pisa)系统智能家居实例中合作开发了一种新型人机交互界面。他们分别使用基于怪球范式的字符拼写器和图标拼写器实现了如位置移动、开关门窗、播放音乐、拨打电话等上百种家居控制命令输出。研究表明,VR系统与BCI系统的结合是一种测试家居环境的经济且高效的方法,同时VR环境有助于提升BCI系统的自由度和信息传输率[15]。之后,Carabalona等使用类似范式,以残障人士作为被试用户在真实场景下实现了对灯光、收音机、铃铛的控制,验证了P300-BCI-智能家居的现实可行性。研究发现,图标拼写器较字符拼写器效果较差,这可能是由于使用图标时用户需进行更多的认知努力而导致的[16-17]。2011年,Edlinger等在在XVR系统中将SSVEP范式作为拨动开关对P300范式进行启动和停止的操控,进一步的提高了P300-BCI-智能家居的可靠性[18]。2014年Kthner等基于P300范式设计了一种可以在娱乐功能和智能家居控制之间切换控制的多应用BCI系统[19]。同年,Corralej等设计了一种拥有113个命令的P300-BCI-智能家居系统用以管理家庭中常见的八个真实设备,参与实验的15名残障受试者中有8人达到了95%以上的控制精度,这及大的增加了残障人士的生活自主权和生活独立性[20]。2019年,Zhao等将自适应贝叶斯线性判别(SA-BLDA,Self Adaptive Bayes Linear Discriminant Analysis)算法融入VR-P300-BCI-智能家居的信号分析系统中,实现了96.77%平均判定精度,并根美国航空航天局任务负荷指数(NASA RLX)量表对被试人员精神状态进行评估,结果表明这是一套高效、安全的系统[21]。

  4.2 基于SSVEP范式的BCI-智能家居系统

  日常生活中,人们的脑神经网络无时不刻地在散发杂乱无章的自发性脑电波。但当施加一个恒定频率(1~100Hz)的外界视觉闪烁刺激时,中央视网膜上接收到的刺激就会与脑神经网络产生谐振,从而出现一定模式的明显脑电位变化,这就是SSVEP信号[22]。

  SSVEP范式是一种可在无训练的情况下使用的范式,此外,SSVEP频率可以比ERP更可靠地被分类。但是,持续闪烁的刺激可能会导致用户迅速疲劳,这一现象主要集中在使用较低的闪烁频率被使用时[23]。

  2014年,赵丽等设计了以单片机作为控制模块,LED灯光作为刺激器,单片射频收发器作为信号传输装置、继电器作为家居开关控件的SSVEP-BCI-智能家居系统,成功实现了对台灯等智能家电的控制,其单条指令响应时间5秒以内,正确率可达100%,传输控制距离可达50米,表明了基于SSVEP范式的BCI-智能家居的实时性与实用性[24]。2017年,Virdi等也基于离线SSVEP数据进行了类似的试验[25]。Saboor等将SSVEP视觉刺激嵌入增强现实(AR,Augmented Reality)眼镜中,并通过二维码识别BCI要控制的设备,成功实现了电灯开关、电梯选层、咖啡机选择等常见生活情景指令[26]。2019年,Park等在AR系统中测试了模式反转棋盘刺激(PRCS,pattern-reversal checkerboard stimulus),闪烁刺激(FS,flicker stimulus)和生长收缩刺激(GSS,grow and shrink stimulus)三种类型的SSVEP刺激研究发现,相较于传统的PRCS刺激和FS刺激,能以恒定频率闪烁的同时将图片以相同频率从小(变大)变大(变小)的GSS刺激能更好的激发用户的诱发电位。并基于这种刺激设计了以眨眼信号作为BCI开关的性能优异的BCI-智能家居系统,信息传输速率可达37.4bits/min[27]。Puteze等则在AR系统中SSVEP的闪烁按键集成了功能文字描述等相关元素,设计了更容易被用户接受的界面[28]。以上这些SSVEP-BCI-智能家居系统的测试用户均为健康人,但其设计初衷是为了方便残障人士的生活。为了使BCI技术更好的走向产业化和集成化,多电生理信号控制的混合范式逐渐走入人们的视野。2020年,Chai等将来自颞肌单通道的几种特定的咬合肌电图(EMG)信号与SSVEP集成以缓解视觉压力,设计了一种含32个命令按钮的智能家居系统,其中SSVEP用于识别预期命令选择,EMG用来确定所选功能。对于五位瘫痪者用户的实验,其平均目标选择准群率和确定选择准群率分别达到83.6%和96.9%,二者结合实际控制准确性可达100%[29]。Zhang等开发了一种面向智能家庭服务的多传感器融合机器人系统,用户可以通过SSVEP范式控制机器人完成目标抓取的工作,并通过紧握牙齿产生的EMG信号控制机器人进行定点自主导航[30],提高了残障用户对BCI-智能家居使用的无障碍程度,对其生活品质升级具有建设性指导意义。Yang等通过眨眼和SSVEP范式,仅使用单通道电极实现了准确率达96.92%的家庭自动化控制,信息传输速率达到了惊人的146.67bits/min,极大的扩展了BCI设备的便携性[40]。

  4.3 基于MI范式的BCI-智能家居系统

  当人们通过大脑幻想自我肢体运动但没有实输出实际运动时,C3和C4电极位置(国际10-20脑电帽系统)对应的脑区会产生较为明显的事件相关去同步(ERD,event-related desynchronization)和事件相关同步(ERS,eventrelated synchronization)电位[31]。这种基于ERD/ERS的特征模式解读被试者意图的实验范式被称MI范式。

  MI信号分类指令通常基于手部、脚部动作的想象运动,因此其分类指令集较少[32],且与其他BCI范式相比信号分类准确率较低[33]。在BCI-智能家居系统中通常与其他范式配合使用。Su等基于MI-P300混合范式设计了一套虚拟智能家居系统,用户可以通过左右手与脚部动作的MI控制虚拟现实场景中导航系统的旋转与前进,并通过P300范式控制电视频道的切换与立体音响播放歌曲的选择。与单一范式的BCI-智能家居系统相比,用户可以在虚拟环境中通过类似的混合范式完成更复杂的任务[34]。2018年,范恩胜等通过左右方向想象的MI范式与Zigbee网络传输成功控制了以电灯、 窗帘、 电扇为代表的智能家居电器的开关状态,并得到了5秒左右的单次耗时和90%以上的操作正确率,这验证了基于单一MI范式的BCI-智能家居系统方案的可行性和稳定性[35]。随后李逸轩等在2020年也得到了类似的结果[36]。

  5. 总结与展望

  近年来,BCI技术的迅猛发展使人们实现可以通过意念控制周围环境的梦想。BCI-智能家居系统的设计初衷是使行动困难的老人或残障患者在日常起居中具有独立生活的能力,其出现在提高残疾人生活质量的同时也丰富了普通民众生活方式。

  但时至今日,BCI-智能家居距离投入到实际家居生活运作的商业化水平仍有一定差距。造成这一现象主要由于整体系统架构集成度较差、智能家居智能程度欠缺、脑电信号识别准确率浮动较大等原因造成的。

  目前,BCI-智能家居系统通常是由独立的BCI系统和智能家居系统组成的验证性原型样机,为提高其处理效率和便捷性,设计开发集成化嵌入式BCI-智能家居处理设备尤其重要。

  已报道的BCI-智能家居系统的智能家居功能大多仅限于开关控制或导航移动等家庭自动化业务。未来,BCI-智能家居系统可融合多传感器技术,对家居室内温度、湿度、光强、烟雾浓度及BCI用户习惯等相关数据进行分析处理,实现对室内环境的自我调配、反馈和进化,对提高BCI-智能家居系统的人工智能等级具有重大意义。

  当不同被试用户使用同一BCI-智能家居系统时,得到的准确率往往不同。其中一个重要的原因是,不同被试用户对同一实验刺激范式的应激反应程度不同[27]。经过专业算法分析及定制化服务,对不同用户使用特定适宜的刺激范式,对BCI-智能家居系统的稳定性有极大的帮助。

  此外,现有的BCI-智能家居系统均基于独立的虚拟现实场景或实际现实场景。近年来,随着数字孪生(DW,Digital Twin)的概念被提出[39],通过产品物理模型、多传感器融合、产品运行状态及历史等数据将现实产品映射在虚拟场景中以反映实体产品的全生命周期过程的信息镜像模型逐渐成为工业领域中新的研究热点。将数字孪生技术与BCI-智能家居系统相结合,使用户能够通过虚拟场景映射实时获得整个智能家居系统中各设备的状态,并据此进行下一步指令。这一新颖的领域和概念有望成为BCI-智能家居系统扩展便捷度及自由度的新方向。

  相信随着人类对大脑机理的不断探索,在不久的将来,BCI-智能家居系统可以真正的走入大众的日常生活,人与家居的关系也会更加和谐健康。


声明:本文版权归原作者所有且仅代表原作者观点。凡注明来源为“铝加网”的文章,版权均属铝加网所有,未经授权不得转载。如需转载,必须与铝加网(电话:18925956650)联系授权事宜,转载必须注明稿件来源:铝加网。铝加网保留对任何侵权行为和有悖本文原意的引用行为进行追究的权利。

全部评论(0
登录,参与评论前请先登录
暂无评论