脑卒中是威胁人类健康的全球性脑血管疾病之一，大多数幸存者由于神经传递通路受损，会留下不同程度的肢体活动障碍，严重影响其正常生活。幸运的是，长期和重复的运动被认为是一种有效的策略，可以通过逐渐加强偏瘫区域的肌肉活动来改善病情，从而使患者最终康复。而传统的被动康复方法需要训练有素的医务人员，费用昂贵且供不应求，特别是在COVID-19大流行期间。因此，人们提出了各种外骨骼康复机器人来辅助患者进行重复性运动，与手动模式相比，可以更好地保证在长期康复训练中对每次重复性运动的频率和强度进行精确控制，从而在医院得到广泛应用。然而，被动康复的效果较差，因为无法形成从意图到执行的封闭神经回路。近年来，主动康复策略被提出，将康复机器人与先进的人机交互(HMI)技术相结合，通过预先获取患者的运动意图，使患者主动参与康复训练。对于主动康复，其基础是通过精确和灵活的传感器实时采集人体肌肉运动信号。
研究人员已经证明，通过将表皮电极应用于特定身体部位的表皮，肌电图(EMG)和脑电图(EEG)等电生理信号可用于识别人体运动意图。与EEG相比，EMG信号更容易采集和处理，更适合用于主动康复。而基于EMG信号的人体运动意图识别还存在两个主要挑战。一是由于运动伪影的存在，高信噪比的表面EMG信号的采集很困难。用于采集EMG信号的表皮电极需要高导电性，并与皮肤紧密保形接触，以实现低电极-皮肤界面阻抗，这是获取高质量EMG信号的关键。二是从单通道EMG信号中提取的特征变量不足以有效区分多个动作，导致识别准确率较低。而又因为EMG在体表以电信号的形式传播，故而多通道的EMG人机交互系统的不同通道之间的信号存在较大冗余，故而提高通道数量对于准确率的提升有限。除了EMG信号外，肌力图(FMG)是另一种重要的肌肉活动信号，是比EMG信号更平稳的信号。集成来自同一肌肉区域的EMG信号和FMG信号的人机界面有可能提高人机交互的效率和准确性。
具有三维网络结构的富水凝胶具有类似皮肤的机械性能、导电性、生物相容性、低成本和多刺激响应性，使其成为人机界面中有希望的柔性传感材料。在制备表皮电极时，尤其需要对水凝胶的粘附性能进行优化，以期在发生出汗的情况下，也能在水凝胶与生物皮肤之间构建一个无缝、适形、长期稳定的界面。一般来说，可以通过在网络中引入粘合成分和官能团来增强水凝胶的自粘性。受水生生物的启发，在水凝胶中引入富含儿茶酚基团的物质将是在水环境中实现粘附的有效策略，并且水凝胶有望长时间粘附在皮肤表面。此外，用一般的水凝胶监测微小的FMG信号是极具挑战性的。这是由于在没有其他机制参与的情况下，固体水凝胶在小变形下离子传输途径的变化可以忽略不计，从而导致压力响应性差。因此迫切需要进一步开发更高性能的水凝胶压力传感器。同时，对于人机界面的信号处理和传输模块，还需要设计一种小尺寸、低功耗的柔性印刷电路板(FPCB)，将包括传感器在内的各种电子元件集成在柔性基板上，以保证整个人机交互系统的可穿戴性。
为了解决这些挑战，中山大学吴进团队和西北工业大学陶凯团队在前期水凝胶柔性智能传感器的系列研究工作的基础上（Nature Communication 2023, 14, 5221; Advanced Functional Materials 2023, 33，2300046； Advanced Functional Materials 2023, 2308280；ACS Nano 2023, 17，16160；Nano-Micro Letters 2022, 14, 52；Nano-Micro Letters 2022, 14，183；Advanced Science 2022, 9，2104168；Nano-Micro Letters 2023, 15, 136；Advanced Science 2023, 10, 2205632；SmartMat 2023，4，e1141；SmartMat 2023, 4, e1147），合作开发出一种智能康复HMI系统，该系统结合了多模态传感模块和人工智能(AI)算法，实现了高精度的动作意图解码，以驱动机器人的操作。该多模态传感模块由高导电性、可拉伸性、自粘性和生物相容性的单宁酸(TA)改性聚丙烯酰胺(PAM)水凝胶基表皮电极和基于大孔水凝胶结构(Foam-PAM)的高灵敏度压力传感器组成。同时，设计了灵活、小尺寸、轻量化的FPCB，用于后续的信号调理、处理和无线传输，与传感器模块形成理想的可穿戴HMI接口，并将数据传输至服务器。服务器对信号进行分割、特征提取、AI算法分类识别，提取运动意图，形成相应的控制命令。与传统的多通道EMG信号相比，基于EMG信号和FMG信号联合的多模态人机交互方法通过增加交互信号的信息熵，显著提高了人机交互效率。对于不同手势，单通道交互信号的解码准确率达到91.28%，远高于Double-EMG模型的解码准确率(48.89%)。进一步应用开发的智能人机界面系统控制机器人手套，实现人类主动运动意图参与的主动康复训练，验证了系统的可行性。此外，还演示了该系统对机械手、智能汽车、无人机等其他遥感平台的手势控制。本工为下一代多模态自然人机交互系统的设计提出了一种新的、简单的策略，实现了一种更加智能、高效、便捷的交互方式。相关工作以“High-Performance Hydrogel Sensors Enabled Multimodal and Accurate Human–Machine Interaction System for Active Rehabilitation”为题发表在Advanced Materials上。通讯作者为中山大学吴进副教授和西北工业大学陶凯副教授。第一作者为中山大学电子与信息工程学院博士生王浩和丁琼玲。
图1. 可穿戴人机交互界面设计。(a)基于水凝胶的EMG和压力传感器支持的可穿戴HMI界面和相应的AI辅助智能主动康复机器人系统示意图，在人机应用中具有广泛的应用前景。(b)自行设计的FPCB多层结构示意图。(c)显示FPCB与人体皮肤弯曲和保形接触的照片(i)HMI的正面图(ii)和传感器在HMI上的分布(iii)。(d) NaCl-TA-PAM水凝胶和(e) Foam-PAM水凝胶的制备策略示意图。
图2. 水凝胶传感材料的表征。(a)上图:剥离力试验示意图;下图为PAM、TA-PAM和NaCl-TA-PAM水凝胶在不同基质上粘附时的剥离力与位移曲线。(b)上图:照片显示NaCl-TA-PAM水凝胶(用红色圆圈标出)牢固地粘附在各种材料上:金属、塑料和玻璃。下图为NaCl-TA-PAM水凝胶在不同基质上的粘附强度。(c) NaCl-TA-PAM水凝胶的水下粘附。(d) NaCl-TA-PAM水凝胶粘附在人皮肤和湿润的猪皮上的照片，以及NaCl-TA-PAM水凝胶与猪皮无缝共形接触的显微镜照片。(e) TA-PAM水凝胶、NaCl-TA-PAM水凝胶和商用电极的阻抗比较。(f) Form-PAM水凝胶的照片和光学显微镜图像。(g)原始PAM(左)和Form-PAM(右)水凝胶的SEM图像。
图3. NaCl-TA-PAM水凝胶和Foam-PAM的传感性能表征。(a) ECG、EMG、EOG检测的电极附着位置。NaCl-TA-PAM水凝胶采集的(b)EMG信号和(c)EOG信号波形。(d)商用电极和NaCl-TA-PAM水凝胶采集的心电信号波形。(e)商用电极与NaCl-TA-PAM水凝胶获得的心电信号的峰峰值和信噪比比较。(f)实时阻力随细微压力的变化而变化。(g)阻力对压力的响应。(h) Foam-PAM水凝胶压力传感器的传感机理示意图，包括施加压力后由于孔隙逐渐闭合导致的导电路径缩短和导电通道增加。(i)加压前(左)和加压后(右) Foam-PAM水凝胶的光学显微图像。(j)传感器响应和恢复时间快。(k)传感器在不同频率(0.2、0.4、0.8、1.6 Hz)下对285 Pa压力的电阻响应。(l) 300 Pa压力下300次循环的动态电阻变化。(m)最先进的基于水凝胶的压力传感器在灵敏度、响应/恢复时间和LOD方面的能力雷达图。
图4. 人工智能辅助的行为意图识别。(a)不同动作意图(手势拳、ok、一、三、五从上到下)下的EMG和FMG信号。(b)动作意图解码精度算法流程图。使用各种算法对从人机界面传输的数据进行分割、特征提取、分类和识别。(c)EMG模型与EMG-FMG模型PCA图比较。(d)EMG模型与Double-EMG模型PCA图比较。(e) )EMG模型与EMG-FMG模型动作意图解码预测概率分布的比较。(f) EMG模型与Double-EMG模型解码的动作意图预测概率分布的比较。(g) EMG模型、EMG-FMG模型、Double-EMG模型动作意图解码准确率的比较。
图5. 主动康复等应用人机交互系统建设与示范。(a)用于主动康复或其他HMI应用的闭环可穿戴HMI系统工作流程图。(b)照片显示，所使用的康复手套可以辅助手在人类动作意图的驱动下进行相应的动作，表明该系统在主动康复中的可行性。(c) EMG-PP与握力的关系。(d)示范远程监测运动信号。HMI接口采集的信号可以直接上传到云端，让医生远程诊断，并为患者下一步的康复治疗提供建议。
论文信息：H. Wang, Q. Ding, Y. Luo, Z. Wu, J. Yu, H. Chen, Y. Zhou, H. Zhang, K. Tao*, X. Chen, J. Fu, J. Wu*, High-Performance Hydrogel Sensors Enabled Multimodal and Accurate Human-Machine Interaction System for Active Rehabilitation. Adv. Mater. 2023,2309868.
原文链接：https://doi.org/10.1002/adma.202309868
下载：High-Performance Hydrogel Sensors Enabled Multimodal and Accurate Human-Machine Interaction System for Active Rehabilitation
