这些电极会截取那些原本将用于控制 Ann 的嘴唇、舌头、下巴、喉咙以及脸部肌肉的脑信号,并传回到计算机里。接下来,计算机会通过 AI 算法分析这些信号背后对应的文字内容。
接下来的好几周时间里,Ann 和研究团队开始对语言模型进行训练 —— 一次又一次地重复「说」 1024 个单词,直至算法能够识别出相关大脑信号。
值得指出的是,研究团队这次让 AI 识别的,并不是单词完整发音的信号,而是去识别更小的语音单位 —— 音素。
譬如,单词「Hello」里就有四个音素:「HH」「AH」 「L」和「OW」。
研究团队表示,以音素为识别单位后,算法只需要学习 39 个音素就可以解析出所有英语单词,并且能提升系统分析的准确率和速度。
有趣的是,就在加州大学团队发论文的同一天,斯坦福大学的研究团队也在《自然》上发布了类似的研究报告。
斯坦福大学项目的参与者是今年 68 岁的 Pat Bennett,她在 2012 年被诊断出渐冻症,目前已经无法用言语清晰地沟通。
Pat 对系统的训练花了将近半年的时间,该算法同样是针对音素来识别,每分钟输出约为 62 个单词。
至于准确率,当总单词数为 50 时,准确率可达到 90%,但当词汇扩大至 1.25 万单词后,准确率则为 76%。
虽然 Ann 采用的技术拥有更高的输出率,但当其词汇量扩展至 1024 个单词时,其准确率的中位数也是约为 76%。
《自然》杂志评论称,这两个研究的参与者能控制其面部肌肉以及在不同程度上发声,因此,不确定这些技术对于完全无法没有剩余肌肉控制能力的患者身上是否可用。
其次,两个项目的设备系统「对于照料者在家使用来说,仍然过于复杂,不能避免大量的训练和维护」。
参与了 Pat 项目的 Jaimie Henderson 博士也认为,在接下里的好些年里,「可植入的,需要通过手术放置的技术」仍会存在,但他认为这是一个可以让患有 ALS 人重新获得沟通能力的重要方式。
从「打字」到「对话」,我们在追求的是什么?
这听起来也许有点难以置信,但 Ann 希望自己未来能成为一位咨询师,用自己康复的经验来帮助类似病人:
我想让这里的病人看到我,明白到她们的生命并没有结束。
我想展示给他们看,残障不一定会阻止我们做想做的事情或者是拖累我们。
虽然 Ann 和 Pat「意念说话」的内容,都是呈现于一个屏幕上,但 Ann 的内容却多了一个能「出声」的数字化身。
这个数字化身,会根据 Ann 尝试说话时产生的脑信号来实时移动五官,呈现表情。
数字化身的合成声音,则是用 Ann 在十多年前婚礼上发言的视频素材来训练的。
这一切,都是为了让整个沟通过程更加自然。对于未来想成为咨询师的 Ann 来说,这对于未来的咨询对象,也是一种舒服的沟通表达方式。
当 Ann 第一次使用这个系统来说和移动数字化身的脸部,我就知道我们做了一些将带来真正改变的东西。
项目中的研究员 Kaylo Littlejohn 说道。
在介绍视频中,Ann 通过这个系统和丈夫 Bill 进行了时隔 18 年来的首次对话,一来一回地闲聊起家常。
- Hi,一切可好?
- Hi Ann,都挺好的。你觉得今天「多伦多蓝鸟」(棒球队)的表现会怎样?
- 一切都有可能。
- 看来你对他们没啥信心啊。
- 是啊。
- 看来我们得看才知道了。
在 Ann 看来,时隔多年,再次听到「自己」的声音,也是一个很奇妙的体验,「 就像听到了一位老朋友」的声音。
测试当天,Ann 已经迫不及待想让自己的女儿听一下这个声音。
当她患病时,女儿才 6 个月大。她印象中的妈妈,一直都是一款落后输入设备中生成的带英式口音的机器女声。
▲ Ann 和女儿的合照
除了能让日常交流更自然外,参与这个项目还让 Ann 重新感受到使命感和意义:
之前在康复医院时,语言治疗师都拿我没辙。
成为这项研究一份子后,我觉得自己是在为社会做贡献。
我觉得自己就像再次拥有了工作。
我能活那么久也是奇迹;这个项目则让我能在活着的时候真正地生活!
好消息是,接下来团队还计划将研究向前推进,把系统做成无线版本,这样的话 Ann 就不用依靠线缆来连接脑机接口系统了:
如果可以让 Ann 这样的患者用这个技术去自由地控制电脑和手机,这将大大提升她们的独立程度和社交互动能力。
的确,无论是用脑机接口来恢复沟通能力还是行动能力,这些技术的最终目的还是去重新建立患者的独立和自主性。
坏消息是,有时候技术越好用,你失去它的时候就越痛。
被强行摘除脑机接口的人