AI脑机接口让瘫痪人士重拾语言能力，UCSF华人科学家主导

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

注意看，屏幕上出现了个正在说话的虚拟人。

和一般虚拟人不同的是，它是通过脑机接口来控制的，操纵它的是一位罹患残疾的女士。

为了这个重获新“声”的时刻，她已经足足等了18年。

主人公名叫Ann，不幸罹患残疾的她在科研人员的帮助下重新获得了“说话”能力。

这个虚拟人，就是Ann与外界进行沟通的媒介。

这也是Ann久违地露出如此爽朗的笑容。

还给Ann笑容的这项成果来自UCSF和UCB，由华人科学家Edward Chang教授主导。

目前这项成果的论文已在Nature上发表，FDA也将很快批准人类临床试验。

来自约翰霍普金斯大学的Nathan Crone教授评价称，这项成果是脑机语言传递的一个里程碑。

网友也称赞说，这才是AI该有的样子。

那么，Ann都经历了怎样的艰辛历程呢？

18年终于重获新“声”

30岁时，Ann由于不明原因患上了中风，最终导致了严重瘫痪。

她全身的肌肉都失去了控制，甚至无法呼吸，更不要提说话了。

经过多年的物理治疗，Ann终于能够移动面部肌肉，但距离能说话依旧相去甚远。

后来，Ann的头部也可以移动了，借助一种设备，她终于可以在电脑屏幕上缓慢打字，她写到：

一夜之间，我的一切都被夺走了

我(开始患病时)有一个 13 个月大的女儿、一个 8 岁的继子和一段26个月的婚姻。

尽管效率不是很高，每分钟只能打14个字，但也许就是这一点突破给了Ann生的希望。

事情最大的转机出现在2021年。

Ann读到了一项关于脑科学的研究，了解到科学家正尝试通过一种植入式神经设备帮助一名瘫痪的男子恢复交流功能。

进行这场实验的，正是Chang教授。

这项实验实现了零的突破，但能够“翻译”出的词汇量还比较有限。

Ann看到之后决定报名参加这项研究——为了帮助自己，也为了帮助更多的人。

当我在康复医院时，语言治疗师不知道该拿我做什么。

参与这项研究给了我一种使命感，我觉得我正在为社会做出贡献，感觉就像我又找到了工作。

我能活这么久真是太神奇了；这项研究让我在还“alive”的时候就真正地“live”起来了！

具体来说，Ann帮助研究团队进行了AI模型的训练工作。

最终在Chang教授团队和Ann的共同努力之下，Ann终于重获新“声”。

我们接下来再来聊聊，这项成果是怎么帮助到Ann的。

脑机接口实时转换神经信号

这项成果的核心是捕获神经信号的“脑机接口”。

团队通过将捕获到的神经信号和Ann给出的文本以及唇部动作结合进行分析，训练出了可以将神经信号转换成语音信息的AI模型。

团队使用了一块嵌入了253个ECoG电极的硅片，每个电极都记录着上千个神经元的活动。

与前一代不同的是，这项研究在分析过程中更加注重“音素”而不是“单词”。

识别出的音素会重组成单词，识别速度则达到了每分钟80词，远远超过了之前的14字，词汇量也达到了1024个。

Ann的女儿还提供了一份Ann患病前在婚礼上说话的视频，这使得数字人的声音也能和Ann患病前十分相像。

我们与人交谈的时候，除了说话的内容，面部表情也传递着重要信息，甚至对文字的含义也有影响。

Chang教授的团队也考虑到了这一点。

这项成果在输出声音的同时也在模拟操纵者的表情，使交流更加自然。

未来，团队计划将这一成果便携化，加入无线传输功能，让沟通变得更容易。

Chang教授表示，团队的目标是(为有需要人士)完整地恢复沟通功能。

这是我们与他人交谈的最自然的方式。

One More Thing

此外，马斯克的脑机接口公司Neuralink于本月上旬完成了D轮融资。

此次融资共获得2.8亿美元，由“硅谷风投教父”Peter Thiel的创始人基金(Founders Fund)领投。

论文地址：
https://www.nature.com/articles/s41586-023-06443-4
参考链接：
[1]https://www.ucsf.edu/news/2023/08/425986/how-artificial-intelligence-gave-paralyzed-woman-her-voice-back
[2]https://www.nature.com/articles/d41586-023-02546-0
[3]https://twitter.com/rowancheung/status/1694700935115919536
[4]https://twitter.com/neuralink/status/1688582504196739072