多模态触觉感知通过模拟人类皮肤的多元感知功能，使智能系统能够准确解析复杂环境信息，在仿生假肢、可穿戴健康监测和人机交互等领域发挥着关键作用。虽然当前多模态触觉系统在检测模态多样化（温度、形变、压力、接近度等）和功能特性增强（自修复、自供能等）等方面取得重要进展，但现有系统仍面临解耦范围不足的问题，这主要受限于两大关键因素：1）传感器件的感知性能不足；2）传感器件的解耦策略局限。

  针对上述问题，浙江大学机械工程学院杨赓课题组提出了一种机器学习增强的模块化离子皮肤，通过传感材料和解耦策略的协同优化实现了宽谱多模态解耦。国际知名学术期刊《Advanced Materials》以“Machine Learning-Enhanced Modular Ionic Skin for Broad-Spectrum Multimodal Discriminability in Bidirectional Human–Robot Interaction”为题报道了该项成果。杨倩倩博士为论文第一作者，杨赓研究员和徐凯臣研究员为论文通讯作者，均来自杨华勇院士团队。本研究工作得到中国电子学会-腾讯RoboticsX犀牛鸟专项研究计划、东方电气集团-浙江大学联合创新研究院的资助，国家自然科学基金(No. 52375031, 52475610)、浙江省自然科学基金(LDQ24E050001)、浙江省科技厅“尖兵”“领雁”研发攻关计划（No. 2023C01045, 2023C03007）、浙江省科技厅“尖兵领雁+X”研发攻关计划（No. 2024C04057(CSJ)）的支持。

1.研究背景及意义

  多模态触觉感知通过模拟人类皮肤的多元感知功能，为智能系统解析复杂环境信号提供了关键技术支持。虽然当前多模态触觉系统在模态数量与功能集成方面取得显著进展，但其解耦感知范围受限仍是亟待突破的瓶颈问题。现有拓宽解耦范围的研究主要沿两个独立方向展开：感知性能提升与解耦策略开发。在感知性能增强方面，主流方法包括：（1）新型功能材料开发；（2）表面微结构工程。尽管这些方法可显著改善器件性能，但复杂的制备工艺及较差的机械/界面稳定性制约了其实际应用。相比之下，通过材料组分调控实现多模态性能优化的策略虽具有工艺简便、参数可调等优势，却鲜见系统研究。解耦策略研究主要聚焦三类方法：（1）选择性传感材料设计；（2）抗干扰器件架构；（3）数学建模解耦。然而，这些方法通常仅适用于特定信号关系或有限传感范围，难以实现广谱解耦。与基于先验条件的传统解耦方法相比，数据驱动策略更能适应模态间的复杂非线性耦合，展现出显著优势。值得注意的是，拓宽解耦范围本质上需要感知性能与解耦策略的系统级协同优化，但现有研究尚未建立有效的协同优化机制。

  针对这一研究空白，本研究开发了基于机器学习增强的多模态模块化离子皮肤系统。通过传感材料与解耦算法的协同优化，系统实现了宽谱多模态信号的高效解耦。如图1a所示，该系统具有优异的可配置性，可模块化集成于手势识别可穿戴手部套件和机器人触觉感知夹爪套件。系统架构（图1b）包含三类优化设计的离子导体模块：温度感知模块（TSC）、应变感知模块（SSC）和压力感知模块（PSC），展现出卓越的三模态感知性能。为解决传统离子皮肤的热耦合难题，他们采用长短期记忆（LSTM）网络算法，通过定制化多模态耦合数据集训练，创新性地构建了高效的数据驱动解耦模型（图1c）。这种模块化离子皮肤与数据驱动解耦模型的有机结合，形成了一套完整的器件-算法协同优化方案（图1d）。为量化评估系统性能，本研究首次提出"解耦感知长度"评价指标（图1e）。实验结果表明，该指标较15种现有多模态系统提升显著，充分验证了协同优化策略在拓展多模态解耦范围方面的独特优势。

图1. 机器学习增强的模块化离子皮肤实现人机交互的宽谱多模态解耦

2. 讨论

2.1. 一维、二维和三维离子导体的制备与优化

  图2展示了一维离子导体（1D-IC）、二维离子导体（2D-IC）和三维离子导体（3D-IC）的制备与表征结果。图2a展示了通过磁力搅拌制备均质离子凝胶溶液，并采用三种不同工艺获得相应导体：热固化制备的1D-IC呈现硬段聚集相结构；热固化结合双向拉伸制备的2D-IC显示硬段断裂特征；湿化工艺制备的3D-IC则实现硬段消除结构。图2b展示了三类导体的实物形貌对比。微观结构表征显示，3D-IC的SEM图像（图2c）证实溶剂含量对其形貌的调控作用。力学性能测试表明，2D-IC展现出优异的拉伸性能（图2d），而3D-IC则表现出良好的压缩特性（图2e）。拉曼光谱分析（图2f）在2800-3800 cm?1范围内观察到C-H和N-H伸缩振动峰强度从一维离子导体到三维离子导体逐渐降低。功能测试结果显示，不同原料配比的1D-IC在10-160℃范围内表现出温度响应特性（图2g），其分段线性温度系数在10-20℃范围呈现最低值（图2h）；2D-IC通过双向拉伸处理提升了应变系数（图2i），且应变感知性能可通过配比优化（图2j）；3D-IC的压容响应能力与溶剂含量密切相关（图2k），同时展现出良好的机械耐久性（图2l）。

图2. 一维、二维及三维离子导体的制备与优化

2.2. 三模态感知模块的设计与表征

  TSC、SSC和PSC分别基于1D-IC、2D-IC和3D-IC材料构建，其TPU:IL:DMAC配比分别为1:3:4、1:1:4和1:1:7。图3a展示了三模态感知模块的结构设计。图3b详细阐明了TSC、SSC和PSC三种模块的工作原理。针对PSC模块，图3c通过力学仿真验证了蛇形网络电极结构的优势。性能测试结果显示：TSC模块在10-160°C范围内表现出稳定的电阻响应（图3d），并在14-116°C温度循环17小时后仍保持正常工作（图3e）；SSC模块的五个样品在0-50%应变范围内呈现高度一致的电阻响应（图3f）；PSC模块在0-1300kPa范围内展现出良好的电容变化特性（图3g），并在动态循环加载下保持稳定响应（图3h）。此外，图3i证实PSC模块的蛇形网络电极设计不仅提升了机械耐久性，还具备优异的损伤容错能力。

图3. 三模态感知模块的设计与表征

2.3. 模块化离子皮肤的数据驱动解耦策略

  图4展示了多模态感知中的热耦合现象及其解耦方案。图4a揭示了SSC和PSC模块存在的热耦合效应：SSC模块电阻随温度升高而降低，而PSC模块电容则随之增大。为消除温度干扰，本研究设计了专用解耦模型并构建了多模态训练数据集（图4b-4d）。提出的数据驱动解耦模型（图4e）包含三个独立子模型，分别针对TSC、SSC和PSC模块。性能评估显示：1）解耦范围方面，相比15项现有研究，本方案实现了更优的温度解耦范围（ΔT=100°C）和压力解耦范围（ΔP=400kPa），以及中等的应变解耦范围（Δε=30%）（图4f）；2）预测精度方面，模型对温度、应变和压力的相对预测误差分别小于5.8%、15.0%和7.0%（图4g）；3）实时性能方面，325秒连续测试中温度预测误差<1°C，应变和压力预测值与实测值高度吻合（图4h-4j）。此外，图4k-4m展示了三个子模型的算法优选过程。

图4. 基于多刺激数据集和LSTM算法的数据驱动解耦策略

2.4. 模块化离子皮肤应用于健康监测

  图5展示了基于离子导体的多模态生理信号监测系统。1D-IC、2D-IC和3D-IC分别实现了对温度、应变和压力的灵敏响应（图5a），成功应用于表皮温度、腕部角度和脉搏速率监测。具体而言：2D-IC应变传感器可准确识别不同腕部弯曲角度（图5b）；3D-IC压力传感器能可靠检测脉搏信号并计算脉搏频率（图5c）；1D-IC温度传感器不仅能监测环境气流引起的皮肤温度变化（图5d），还可追踪受试者运动状态（骑行/静息）下的体温波动（图5e），同时展现出优异的抗弯曲干扰能力（图5f）。此外，开发的集成化双模态腕带（图5g-5i）结合TSC和SSC模块，在解耦模型辅助下实现了手腕温度和角度的实时同步监测。

图5. 一维二维/三维离子导体应用于人体健康监测

2.5. 模块化离子皮肤应用于机器人控制

  图6展示了模块化离子皮肤在机器人控制中的应用。基于可穿戴手部套件的系统（图6a）成功实现了变温环境下的机器人鸡蛋抓取任务，图6b详细展示了操作过程中的关键步骤以及五个关键检测量的实时输出数据。解耦模型效能验证实验表明：在无解耦模型条件下（图6c），手腕弯曲预测值受温度降低干扰，导致机器人出现抓取力过大和释放开合度不足的问题；而采用数据驱动解耦模型后（图6d），系统能有效抑制温度干扰，实现精确的抓取力控制。对比实验证实了解耦模型在复杂环境中的稳定性优势。

图6. 机器学习辅助的可穿戴手部套件应用于机器人控制

2.6. 模块化离子皮肤应用于机器人感知反馈

  图7展示了基于模块化离子皮肤的机器人夹爪感知系统。为评估系统精度，将模型预测值与商用传感器进行对比（图7a）。实时监测数据显示（图7b）：温度预测均值23.6℃（实测22.2℃），压力预测峰值分别为10.2kPa、20.3kPa、44.7kPa和82.6kPa（对应实测值7.6kPa、23.1kPa、46.9kPa和77.7kPa），表明系统具有可靠的双模态预测能力。集成演示中（图7c），配备温度/压力感知模块的机械夹爪成功完成倒水任务（图7d），执行过程中各传感参数变化曲线（图7e）准确反映了机器人与环境的交互状态，验证了该感知系统的实用价值。

图7. 机器学习增强的机器人夹爪套件应用于机器人感知

3. 总结

  本研究提出了一种基于机器学习增强的模块化离子皮肤系统，通过材料与算法的协同优化实现了宽谱多模态信号解耦。在材料设计方面，通过精准调控聚合物硬段结构，成功开发了三种功能化离子导体：1D-IC具有-4.00%·℃?1（10-160℃）的超低温度系数，2D-IC展现2.95（0-100%）的线性应变响应，3D-IC则实现80.5 kPa?1（0-1.3 MPa）的高压力灵敏度。基于这三种离子导体构建的多模态感知模块展现出卓越的传感性能。在算法层面，创新的数据驱动解耦模型有效建立了多模态刺激与响应间的非线性映射，实现了温度与压力信号的最大解耦范围（预测误差≤7.0%），同时保持应变检测的抗温度干扰能力。系统性能评价表明，以"解耦感知长度"为指标，本方案较现有15种系统提升显著。实际应用验证包括：1）健康监测（表皮温度、腕部角度和脉搏信号检测）；2）人机交互（可穿戴手部控制套件和机器人夹爪系统）。这些成果充分展示了该系统在智能感知领域的应用潜力。

  原文链接（可免费下载）：https://advanced.onlinelibrary.wiley.com/doi/10.1002/adma.202508795