BERT是一种用于自然语言处理的先进神经网络方法
在一篇新论文中，frankle及其同事发现了潜伏在bert中的此类子网，bert是一种用于自然语言处理（nlp）的先进神经网络方法。作为人工智能的一个分支，nlp旨在通过预测文本生成或在线聊天机器人等应用程序来解密和分析人类语言。在计算方面，bert体积庞大，通常需要大多数用户无法获得的超级计算能力。从而可能使更多用户在智能手机上开发有效的nlp工具。
弗兰克勒说：“我们正在达到必须使这些模型更精简，更高效的地步。”他补充说，这一进步有一天可能会“减少nlp的准入门槛”。
麻省理工学院计算机科学与人工智能实验室的迈克尔·卡宾小组的博士生frankle是该研究的共同作者，该研究将于下个月在神经信息处理系统会议上发表。德克萨斯大学奥斯汀分校的陈天龙是该论文的主要作者，其中包括得克萨斯州a&m的合作者wang zhangyang wang，以及所有mit-ibm watson ai lab的常石宇，刘思佳和张扬。
您今天可能已经与bert网络进行了互动。这是google搜索引擎的基础技术之一，自google于2018年发布bert以来，它一直引起研究人员的兴奋。bert是一种创建神经网络的方法-使用分层节点或“神经元”的算法来学习执行通过培训大量实例来完成一项任务。
bert是通过反复尝试填写写作段落中遗漏的单词来进行训练的，它的功能在于此初始训练数据集的庞大大小。然后，用户可以将bert的神经网络微调至特定任务，例如构建客户服务聊天机器人。但是争吵的bert需要大量的处理能力。
弗兰克尔说：“如今，标准的bert模型-园林品种-具有3.4亿个参数，”他补充说，这个数字可以达到10亿。对如此庞大的网络进行微调可能需要一台超级计算机。“这简直太贵了。这远远超出了您或我的计算能力。”
为了削减计算成本，chen和他的同事试图找出隐藏在bert中的较小模型。他们通过迭代修剪整个bert网络的参数进行了实验，然后将新子网的性能与原始bert模型的性能进行了比较。他们对一系列nlp任务进行了此比较，从回答问题到填充句子中的空白词。
毫米波雷达的上帝视角，老人跌倒报警的最优解
上料重叠检测方案丨阿童木金属双张检测器在手机芯片导热材料上料双张检测的应用
从传统建材入局智能家居，鸿雁全屋智能江西经销商给我们打了个样
在“智慧农场”里，机器人和远程控制技术逐步取代传统的人工田间劳作
你也可以懂的质能方程E=mc²
BERT是一种用于自然语言处理的先进神经网络方法
为什么要重视vocs的监测
ccfl冷阴极萤光灯管背光灯和lcd背光灯有区别吗
汽车智能座舱反季节测试
浅谈FeRAM存储器市场情况
Verizon将可以借助IAB技术将5G发射器安装在仅有电力而没有光纤的地方
如何制作自己的CD刻录
黄金纳米网状材料让未来电子产品任意拉伸变形
加湿器水箱透气膜将助力实现水箱气压平衡
Intel两年内将投入2.5亿美元研发自动驾驶汽车
多级LC放大器中的单级电路
苹果发布修正版iTunes 12.6：移除无用选项
DapuStor推出Haishen3 E1.S form factor 企业级SSD
拜登上位 科技公司悲喜交加 对中国科技企业态度如何？
旋转编码器的分类简述
弗兰克勒说：“我们正在达到必须使这些模型更精简，更高效的地步。”他补充说，这一进步有一天可能会“减少nlp的准入门槛”。
麻省理工学院计算机科学与人工智能实验室的迈克尔·卡宾小组的博士生frankle是该研究的共同作者，该研究将于下个月在神经信息处理系统会议上发表。德克萨斯大学奥斯汀分校的陈天龙是该论文的主要作者，其中包括得克萨斯州a&m的合作者wang zhangyang wang，以及所有mit-ibm watson ai lab的常石宇，刘思佳和张扬。
您今天可能已经与bert网络进行了互动。这是google搜索引擎的基础技术之一，自google于2018年发布bert以来，它一直引起研究人员的兴奋。bert是一种创建神经网络的方法-使用分层节点或“神经元”的算法来学习执行通过培训大量实例来完成一项任务。
bert是通过反复尝试填写写作段落中遗漏的单词来进行训练的，它的功能在于此初始训练数据集的庞大大小。然后，用户可以将bert的神经网络微调至特定任务，例如构建客户服务聊天机器人。但是争吵的bert需要大量的处理能力。
弗兰克尔说：“如今，标准的bert模型-园林品种-具有3.4亿个参数，”他补充说，这个数字可以达到10亿。对如此庞大的网络进行微调可能需要一台超级计算机。“这简直太贵了。这远远超出了您或我的计算能力。”
为了削减计算成本，chen和他的同事试图找出隐藏在bert中的较小模型。他们通过迭代修剪整个bert网络的参数进行了实验，然后将新子网的性能与原始bert模型的性能进行了比较。他们对一系列nlp任务进行了此比较，从回答问题到填充句子中的空白词。
毫米波雷达的上帝视角，老人跌倒报警的最优解
上料重叠检测方案丨阿童木金属双张检测器在手机芯片导热材料上料双张检测的应用
从传统建材入局智能家居，鸿雁全屋智能江西经销商给我们打了个样
在“智慧农场”里，机器人和远程控制技术逐步取代传统的人工田间劳作
你也可以懂的质能方程E=mc²
BERT是一种用于自然语言处理的先进神经网络方法
为什么要重视vocs的监测
ccfl冷阴极萤光灯管背光灯和lcd背光灯有区别吗
汽车智能座舱反季节测试
浅谈FeRAM存储器市场情况
Verizon将可以借助IAB技术将5G发射器安装在仅有电力而没有光纤的地方
如何制作自己的CD刻录
黄金纳米网状材料让未来电子产品任意拉伸变形
加湿器水箱透气膜将助力实现水箱气压平衡
Intel两年内将投入2.5亿美元研发自动驾驶汽车
多级LC放大器中的单级电路
苹果发布修正版iTunes 12.6：移除无用选项
DapuStor推出Haishen3 E1.S form factor 企业级SSD
拜登上位 科技公司悲喜交加 对中国科技企业态度如何？
旋转编码器的分类简述