江南·体育北理工团队探索了双上肢不同协同运动方式下的神经活动规律以及运动解码双上肢协同对基于EEG信号发展自然场景下的运动脑机接口具有重要意义，涵盖了双侧手臂康复训练、日常生活辅助的双手协同以及实现BCI的度控制等方面。对于相同的双手运动任务目标，并行和序列的双手运动是两种不同的双手协同方式。规划和执行运动序列运动是人类的基本能力，且在许多复杂的任务中，执行序列运动比并行运动要更自然。然而，迄今为止，对于这两种相同的任务目标下的不同双手协同方式，其神经活动的差异以及运动判别的可行性尚未得到探索。在本研究中，我们的目的是基于一个运动到达的实验任务探讨以上提到的这两个问题。最终，从运动相关的皮层电位、事件相关频谱扰动和源成像结果来看，序列运动具有独特的神经编码模式。此外，对于相同的双手任务目标，在动作前和动作执行阶段都能成功从脑电信号中区分出并行和序列的双手运动任务。本研究揭示了双手序列运动的神经编码模式，有助于发展更自然、性能更好的运动脑机接口。

　　对于相同的双侧上肢的目标任务，双上肢协同存在并行运动和序列运动两种不同的协同方式。例如，对于两只手各自分别抓取桌面上不同位置的水壶与杯子的任务，人可以两只手同时完成抓取也可以选择一只手先完成一个抓取目标、另一只手随后完成另一个抓取目标。对于绝大部分的运动任务来说，相较于并行运动，序列运动是一种更高级、更复杂的运动行为。在许多复杂的任务中，执行序列运动比执行并行运动更加自然。例如，如果患者想把水倒进杯子里喝，他们会依次完成倒水、举杯、喝水的动作，而不是同时完成全部运动任务。规划和执行序列运动是人类的一个基本的运动技能，这项技能要求精细地组织连续有序的运动元素。

　　图1 (a)不同运动任务的实验范式和手部运动轨迹， (b)时间线设置，(c)脑电通道位置，(d)运动持续时间和(e)运动元素间隔时间的行为分析。

　　假设为两只手各自设定一个可到达的目标，一个人可以选择双上肢同时性地或序列性地协同运动以完成这个任务。然而，到目前为止，尚未有研究对并行运动和序列运动这两个同一运动任务目标下的不同双上肢协同运动模式的神经活动规律和运动解码进行研究。此外，考虑到大脑对序列运动的规划是在运动启动前完成并存储在工作记忆中的，那么能否从工作记忆中将已经规划好的双上肢运动解码出来还需要进一步探索。本研究对双上肢协同运动的另一种协同方式，即双上肢序列运动，进行脑电神经表征与解码的研究，包括从运动相关皮层电位、事件相关频谱扰动、源分析等角度表征双上肢序列运动的神经激活模式、尝试在运动启始前解码不同的双上肢协同运动方式、探索序列运动中运动集合和元素间的编解码关系等研究内容。

　　九名健康受试者（女4名，男5名；平均年龄24岁）参加了本次双上肢序列运动研究的实验，所有受试者均为右利手。通过神经表征的分析结果，可以发现双上肢并行运动和序列运动不同的神经活动模式。对于双上肢并行运动，在大脑双侧半球可以观察到对称性的激活，而对于双上肢序列运动，大脑双侧半球的激活是非对称的。双上肢序列运动出现的对侧激活与每个序列元素是单侧上肢运动相关。在实验中，双上肢序列运动包含两个连续的单侧上肢运动JN SPORTS。相应地，在时频图中，低频处可以观察到两个连续的谱功率增量。在源成像的结果中，可以看到序列运动对应的大脑能量激活持续时间更长。此外，在MRCP波形图中，运动开始后可以观测到两个连续的负向偏移。这种连续的负向偏移仅在第二个序列运动元素的对侧半球上观察到，而这与对侧半球更强的活动有关。对于第二个序列运动元素的同侧半球，可以看到其第二个序列运动元素对应的负向偏移几乎被第一个序列运动元素运动结束后带来的正向回弹所抵消。此外，第二个序列运动元素的负向偏移峰值时间与运动开始时间是一致的，这也表明了物理运动行为与神经激活模式之间的神经生理系。

　　图2 (a)与五种运动类型相关的运动相关皮质电位(MRCP)图。(b)与五种运动类型相关的源空间的平均大脑激活模式

　　神经表征分析表明了双上肢并行与序列运动在神经活动上的差异。此外，考虑到人脑对复杂运动的规划是在运动开始前的准备阶段完成的，并且编码在工作记忆空间中，因此本文还尝试并对比分析了从运动前阶段解码双上肢不同协同方式的运动。本文采用了基于流形学习的方法从EEG信号中解码了双上肢并行与序列运动。在运动前阶段和运动执行阶段，解码性能均优于随机水平，这说明了即使是在真实运动开始前，依然可以从EEG信号中提取出对运动的规划信息用于运动解码。此外，相较于单侧上肢运动的二分类结果，双侧上肢序列运动的二分类解码在运动前阶段和运动执行阶段均表现出了更好的性能，这一现象可能与双侧上肢不同序列运动间的大脑活动差异更明显有关。对于运动前阶段的连续解码，双上肢序列运动的解码表现出良好的性能可能是由于对于序列运动大脑分配了更多的资源用于运动序列的工作记忆编码。对于序列性的动作，一个人会在动作执行之前先将所有动作序列规划好，而不是单独地规划和执行序列中的每个动作元素。运动准备阶段包含了对运动序列进行规划以及将规划好的运动序列编码在工作记忆空间中。而由于运动序列的复杂性，其规划和编码就需要分配和调度更多的大脑活动资源，可能因此序列运动的解码在运动前阶段展示出了更好的性能。

　　图4.解码性能。(a)在动作前和动作执行阶段并行和序列的双手运动的连续解码结果。(b)单手与双手并行运动的解码比较。(c)单手和双手并行运动之间的泛化性能测试。 (d)前两个特征值的投影矩阵子流形映射散点图。(e)投影矩阵的脑地形图。

　　在实验中，双上肢序列运动包含了两个运动元素，即两个单侧上肢运动。已有研究表明，序列运动需要对单个运动元素有序地组织，并将其作为一个集合保存在工作记忆中，而不是单独编码和保存每个单独的运动元素。因此，本文在对双上肢序列运动进行解码时，整个运动序列被视为一个单独的运动集合来分析。为了进一步探讨运动序列集合与其运动元素之间的关系，本文还通过泛化性能测试进行分析。具体地，采用基于双侧上肢序列运动的脑电数据所建立的解码模型来解码单侧上肢运动，或反之。在这种泛化测试中，单侧上肢运动对应于双侧上肢序列运动的第一个运动元素。结果显示无论是运动前阶段还是运动执行阶段，这种泛化测试的性能均高于随机水平，暗示了运动序列的组合与运动元素之间的泛化性，体现出了序列运动元素与集合间的相关性，且符合已有研究中神经元群分区存储运动信息的结论。

　　为了推进脑机接口和脑控机器迈向真实的应用场景，北京理工大学毕路拯教授团队一直致力于自然场景下的脑机接口、脑机混合智能和脑机协同控制的理论、方法和应用研究。在脑机接口方面，该团队关于考虑注意状态的运动意图分层解码模型曾发表于国际期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《》，关于单手和双手协同运动的神经解码成果曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《》，所提出的神经活动驱动的深度学习解码模型曾发表发表于国际期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《》。关于不同注意力状态下运动意图的鲁棒神经解码研究曾发表于生物医学工程领域旗舰期刊《IEEE Transactions on Biomedical Engineering》，参考《》，该论文也获得2022世界机器赛-BCI脑控机器赛一青年论文比赛一等奖（唯一），关于非侵入式神经信号的连续运动解码曾发表于国际期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《》，所创建的自然场景下声音目标探测的听觉脑机接口曾发表发表于国际期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，参考《》。在脑机协同控制方面，该团队所创建的多任务操控的脑机协同控制方法并应用于智能车辆的研究曾发表在被国际期刊《IEEE Transactions on Systems, Man, and Cybernetics: Systems》，参考《》，创建的脑机协同控制框架以及在脑空智能车辆上的应用研究曾发表于国际期刊《IEEE Transactions on Intelligent Transportation Systems》，参考《》，所提出的基于鲁棒非线性模型预测的脑机协同控制方法以及在脑空移动机器人上的应用研究曾发表于国际期刊《IEEE Transactions on Cybernetics》，参考《》。此外，该团队首创的脑控多域多任务机器人系统还曾作为脑机接口领域创新成果在2022年世界机器赛现场进行展示，参考《》。

　　北京理工大学智能人机系统团队隶属于北京理工大学机械与车辆学院机电系统与装备研究所。团队由5名教师和30余名博士后、博士和硕士研究生组成，负责人为毕路拯教授。团队主要研究方向包括脑机接口与脑控智能机器、多机器人协同与多模态智能感知、以及人机智能交互与智能辅助驾驶。团队在国际权威期刊IEEE TCYB, TBME, TITS, TSMCS, TNSRE和THMS等发表论文100余篇（含IEEE Trans 30多篇）。获授权国家发明专利30多项。获教育部自然科学奖二等奖1项，中国电子学会科技进步二等奖1项。获得2022年世界机器会-BCI脑控机器赛-青年论文比赛一等奖（唯一）。获第九届中国国际“互联网+”大学生创新创业大赛金奖；首届“京彩大创”北京大学生创新创业总决赛季军和第八届中国国际“互联网+”大学生创新创业大赛全国铜奖；2023年挑战杯全国二等奖。

　　毕路拯现为北京理工大学机械与车辆学院教授、博士生导师、机电系统与装备研究所所长。担任中国脑机接口产业联盟数据与基础软件工作组、中国计算机学会智能汽车分会专委会委员、中国人工智能学会脑机融合与生物机器智能专委会委员、中国仿真学会交通建模与仿真专业委员会委员、中国仿真学会智能优化与调度专业委员会委员、世界机器赛-BCI脑控机器人专家组成员。