中科院上海微系统与信息技术研究所供图
中科院上海微系统与信息技术研究所供图
汉语语句实时解码。
近日，中国科学院上海微系统与信息技术研究所联合相关团队，在语言脑机接口领域取得突破性进展。
研究人员开发出植入式高通量柔性脑机接口系统和汉语言实时神经网络解码算法，并在国际上首次实现脑机接口实时汉语解码和语句合成。这项研究不仅让中文失语患者有望重新“开口说话”，也为脑机接口在多语言、多场景下的应用打开了新空间。
实现解码任意汉字和语句
语言是人与人之间沟通交流的主要形式。然而，脑卒中、渐冻症、脑外伤等重大脑疾病，常让患者失去语言表达能力，陷入意识清醒却无法开口的困境。
“中国有近800万因各类脑疾病失去语言能力的患者，汉语解码对他们有着很大的意义和应用价值。”中国科学院上海微系统与信息技术研究所研究员周志涛说，近年来，国际上的多个顶尖科研团队在脑机接口英语解码上取得了多项突破性进展，包括英语和西班牙语双语解码，但是使用人数最多、与英语差异很大的汉语解码研究由于起步较晚而进展相对慢。
周志涛说，团队此次研究的核心突破主要有两点，“首次实现了汉语实时解码，以及实现了覆盖汉语几乎全部音节的全谱解码”。
相比于英语，汉语具有其独特性。具体而言，英语是以多音节为主的非声调语言，汉语则是以单音节为主的声调语言。同时，英语词汇量较大，常用英语单词约为2万个，而汉语通过约400个汉语音节加4个声调，可构建出覆盖日常需求的3500多个常用汉字。
汉语的独特性蕴含优势。研究团队从这些汉语音节和声调入手，将其作为稳定的中间解码单元，实现从脑电到文字的“翻译”。英语难以直接解码海量单词，而汉语则可以通过解码这些汉语音节和声调，实现覆盖全部发音组合，进而实现解码任意汉字和语句。
“音节+声调”解码策略
围绕汉语特点，研究团队提出了以“音节+声调”为核心的中间解码单元。
据科研人员介绍，与音素相比，音节是更完整、更充分的发音单位，持续时间更长、神经表征更稳定，更有利于从脑电信号中提取区分特征。同时，通过直接解码音节，可以省去声母、韵母再组合的复杂中间步骤，大幅提升解码效率。
在具体实现上，研究团队通过构建多级实时解码数据流，以50毫秒滑动窗口提取70Hz至170Hz的High-γ频段脑电信号，并对齐脑电信号与发音起始点，驱动双流解码器同步生成音节与声调的概率分布，进而融合语言模型进行最合适的句子组合选择，实现实时汉语语句输出。
这一流程，实现了从“脑电—音节—汉字—语句”的闭环。
研究显示，受试者经过9天的语言解码任务后，394个汉语音节（解码未覆盖音节为生僻音节且受试者不认识）纯神经解码平均准确率达到71.2%，单音节解码延时65ms，实时汉语语句解码速率达到49.6字/分钟。
在此基础上，团队进一步将语言脑机接口与人工智能、具身智能技术相融合，基于自主研发的通用型脑机操作系统，实现了多种全新交互方式。
例如受试者可以通过脑电解码，驱动数字分身进行表达；可以直接与人工智能大模型对话；也可以将解码出的语言转化为控制指令，实时操控灵巧手完成抓握等动作。
拓展“说话”的边界
“语言解码在AI时代，已经不局限于单纯实现‘说话’。”周志涛认为，语言解码还可以增强人本身的能力，让人变成“超人”，并极大地拓展控制和交互的想象力和可能性。“语言脑机接口可以作为一个控制中枢和信息枢纽，通过上述及未来各种新型交互方式的实现，帮助人控制各种先进软硬件并与其高效协作。”
面向临床应用，语言脑机接口依旧面临一些挑战。例如如何长期稳定植入，以及在更长时间内保持高质量脑信号采集，降低组织反应。此外，汉语神经编码机制本身也需进一步探索。
研究团队表示，下一步他们将优先考虑利用团队最新的全无线全植入全功能脑机接口设备，开展长期植入实验，实现实时静默解码，进一步提高实时解码速率和准确性。
东财图解·加点干货
还没有评论，来说两句吧...