利用深度学习将脑电波进行解码和转换成文字
旧金山加利福尼亚大学的一项新研究让瘫痪的人通过将大脑信号翻译成计算机生成的文字来进行交流。这项研究发表在 新英格兰医学杂志 ，标志着为丧失说话能力的人恢复交流的一个重要里程碑。
“据我们所知，这是第一次成功地从瘫痪不能说话的人的大脑活动中直接解码完整单词的演示，”资深作者、加州大学旧金山分校神经外科主任琼和桑福德·威尔（ joan and sanford weill ）在一份新闻稿中说它显示出通过利用大脑的自然语言机制来恢复交流的强大前景。”
一些有语音限制的人使用辅助设备——比如触摸屏、键盘或语音生成计算机来进行交流。然而，每年都有成千上万的人因为瘫痪或脑损伤而丧失了语言能力，使他们无法使用辅助技术。
这名参与者在 2003 年失去了说话的能力，在一次车祸后因脑卒中瘫痪。研究人员不确定他的大脑是否保留了与语言有关的神经活动。为了追踪他的大脑信号，一个由 ele ctr 节点组成的神经假体被放置在大脑的左侧，跨越了几个已知的语音处理区域。
在大约四个月的时间里，研究小组进行了 50 次培训，参与者被要求说出单个单词、造句或回答显示屏上的问题。在对提示做出反应的同时， ele ctr ode 设备捕捉到了神经活动，并用定制软件将信息传输到计算机。
“我们的模型需要学习复杂的大脑活动模式和预期语言之间的映射。当参与者不能说话时，这就构成了一个重大的挑战。
为了解码他大脑活动的反应，研究小组建立了语音检测和单词分类模型。使用 cudnn – 加速 tensorflow 框架和 32 nvidia v100 张量核 gpu 研究人员对模型进行了训练、微调和评估。
“利用神经网络是获得我们所做的分类和检测性能的关键，我们的最终产品是大量实验的结果，”研究共同负责人肖恩·梅茨格（ sean metzger ）说因为我们的数据集是不断发展和增长的，能够适应我们使用的模型是至关重要的。 gpu 帮助我们进行更改、监控进度并了解数据集。”
该模型的准确率高达 93% ，中位数为 75% ，解码速度高达每分钟 18 次。
“我们希望达到 1000 个单词，最终达到所有单词。这只是一个起点。
这项研究建立在 以前的工作 由 chang 和他的同事开发了一种解码和转换大脑信号的深度学习方法。与目前的研究不同，先前研究的参与者能够说话。
关于作者
michelle horton 是 nvidia 的高级开发人员通信经理，拥有通信经理和科学作家的背景。她在 nvidia 为开发者博客撰文，重点介绍了开发者使用 nvidia 技术的多种方式。
各国政府要求采用汽车安全传感器的法规，中国成重要力量
FPGA发明以来最伟大的技术ACAP解析
澳大利亚研发出可调整生物钟的LED灯眼镜
如何实现DB数据准确、高效地进入数仓
疫情后首位全球半导体公司CEO访华，多家国际大厂加码布局中国市场
利用深度学习将脑电波进行解码和转换成文字
怎样用佳能EOSDSLR录制延时视频
可控硅控制器接线图
电动汽车技术平台轻松打造各种车型
权威研究所实验披露：量子点液晶电视无明显色彩优势
丰田汽车组建仅四人的新团队开发电动汽车
电话光端机的功能特点及应用分析
e络盟新技术发布为设计师拓展知识和技能
份额连跌三星天津厂月底关闭,创新会是手机行业现阶段的救命绳吗？
数字化制造革了谁的命？中小企业如何升级互联工厂
怎样将电子天平或电子秤连接到PC并直接将重量值读取到Excel中
Facebook和Messenger Stories的日活跃用户已合计突破3亿大关
射频前端芯片GC1103在WiFi无线通信模块的应用
计算机视觉在教育机构中的作用
iPhone11成一季度最受欢迎机型 预计销售1950万部
“据我们所知，这是第一次成功地从瘫痪不能说话的人的大脑活动中直接解码完整单词的演示，”资深作者、加州大学旧金山分校神经外科主任琼和桑福德·威尔（ joan and sanford weill ）在一份新闻稿中说它显示出通过利用大脑的自然语言机制来恢复交流的强大前景。”
一些有语音限制的人使用辅助设备——比如触摸屏、键盘或语音生成计算机来进行交流。然而，每年都有成千上万的人因为瘫痪或脑损伤而丧失了语言能力，使他们无法使用辅助技术。
这名参与者在 2003 年失去了说话的能力，在一次车祸后因脑卒中瘫痪。研究人员不确定他的大脑是否保留了与语言有关的神经活动。为了追踪他的大脑信号，一个由 ele ctr 节点组成的神经假体被放置在大脑的左侧，跨越了几个已知的语音处理区域。
在大约四个月的时间里，研究小组进行了 50 次培训，参与者被要求说出单个单词、造句或回答显示屏上的问题。在对提示做出反应的同时， ele ctr ode 设备捕捉到了神经活动，并用定制软件将信息传输到计算机。
“我们的模型需要学习复杂的大脑活动模式和预期语言之间的映射。当参与者不能说话时，这就构成了一个重大的挑战。
为了解码他大脑活动的反应，研究小组建立了语音检测和单词分类模型。使用 cudnn – 加速 tensorflow 框架和 32 nvidia v100 张量核 gpu 研究人员对模型进行了训练、微调和评估。
“利用神经网络是获得我们所做的分类和检测性能的关键，我们的最终产品是大量实验的结果，”研究共同负责人肖恩·梅茨格（ sean metzger ）说因为我们的数据集是不断发展和增长的，能够适应我们使用的模型是至关重要的。 gpu 帮助我们进行更改、监控进度并了解数据集。”
该模型的准确率高达 93% ，中位数为 75% ，解码速度高达每分钟 18 次。
“我们希望达到 1000 个单词，最终达到所有单词。这只是一个起点。
这项研究建立在 以前的工作 由 chang 和他的同事开发了一种解码和转换大脑信号的深度学习方法。与目前的研究不同，先前研究的参与者能够说话。
关于作者
michelle horton 是 nvidia 的高级开发人员通信经理，拥有通信经理和科学作家的背景。她在 nvidia 为开发者博客撰文，重点介绍了开发者使用 nvidia 技术的多种方式。
各国政府要求采用汽车安全传感器的法规，中国成重要力量
FPGA发明以来最伟大的技术ACAP解析
澳大利亚研发出可调整生物钟的LED灯眼镜
如何实现DB数据准确、高效地进入数仓
疫情后首位全球半导体公司CEO访华，多家国际大厂加码布局中国市场
利用深度学习将脑电波进行解码和转换成文字
怎样用佳能EOSDSLR录制延时视频
可控硅控制器接线图
电动汽车技术平台轻松打造各种车型
权威研究所实验披露：量子点液晶电视无明显色彩优势
丰田汽车组建仅四人的新团队开发电动汽车
电话光端机的功能特点及应用分析
e络盟新技术发布为设计师拓展知识和技能
份额连跌三星天津厂月底关闭,创新会是手机行业现阶段的救命绳吗？
数字化制造革了谁的命？中小企业如何升级互联工厂
怎样将电子天平或电子秤连接到PC并直接将重量值读取到Excel中
Facebook和Messenger Stories的日活跃用户已合计突破3亿大关
射频前端芯片GC1103在WiFi无线通信模块的应用
计算机视觉在教育机构中的作用
iPhone11成一季度最受欢迎机型 预计销售1950万部