IBM投资AI硬件，计划10年内将AI性能提升1000倍
（文章来源：千家网）
尽管现今ibm的硬件业务仅限于power和mainframe芯片和系统,但这家技术巨头正在悄悄地建立自己在ai硬件方面的专业知识和能力。所有人都肯会猜测ibm接下来要干嘛,今天我们主要探讨一些关于ibm所做的事情的思考以及对背后原因的猜测。
ibm于2019年初成立了ibm ai硬件研究中心,中心位于纽约州,与纽约州立大学理工学院以及mellanox、samsung和synopsys等技术公司合作进行ai 芯片研究。据介绍,该中心对ai硬件采取整体,端到端的方法,朝着其雄心勃勃的目标努力,即在未来10年内将ai性能提高1000倍。同时,该中心还在开发新的数字和模拟ai内核。
上图是ibm ai硬件研发中心发布的实现ai性能提升1000倍的概念性路线图。该路线图还展示了将采用不同于目前半导体制造使用的全新材料制成新内核的方式。
ibm最近发表了两篇论文,描述了其降低精度的方法,这些方法旨在提高ai处理效率,同时保留预期的准确性。基本上,在nvidia和google的带领下,人工智能研究在过去4-5年中一直在利用降低的精度数字和数学运算。如果“降低精度”听起来好像不是什么好事,但是我们要记住,更高的精度会带来巨大的成本,使用数字的位长的平方也会增加。因此,从32位到16位成本降低了4倍。
google最近提出了一种新的16位格式,称为bfloat,该格式使用的位数更多,指数尾数更少。高于ieee 16位浮点标准。与传统的32位格式相比,这可以在保留精度的同时使用更少的功率和芯片空间。英特尔就是其中之一。但是,研究人员在努力争取8位浮点数下保持准确性。
ibm本周提出了一种“混合8位浮点数”格式,该格式可以提高性能或将成本降低多达4倍。就是说,如果有人(ibm?)生产出可以执行这些计算进行训练的芯片,则该芯片将使用已经“量化”为那些8位格式的dnn。这些操作的“混合”性质来自于前向和后向传播计算所需的不同精度要求。通过将用于指数和尾数的位数调整为向前和向后传递计算,ibm证明了确实可以仅使用8位权重和激活来训练用于视觉、语音和语言处理的神经网络。此外,这些较小的数字可以更有效地在芯片上进行通信,从而将训练时间进一步减少了30-60%。
如果所有这些数学运算听起来很复杂,但其带来的好处非常简单。从理论上讲,这种方法可以让人打造用于训练深度神经网络的芯片,芯片面积仅为原来的四分之一,或者以相同的成本实现4倍的性能提升。
在ai的推理方面,出于相同的原因,芯片公司和模型开发人员正在转向8位。但是,有人还能降得更低吗?迄今为止,使用较低精度的努力未能达到8位模型提供的精度。但是,ibm最近发表了一篇论文,该论文提议使用称为参数化限幅激活(pact)和统计感知权重合并(sawb)的两种技术,当结合使用时,它们已经演示了2位推理处理,可实现与8位相当的准确性。
如果有人在cpu或ai芯片中使用这些技术,答案可能是“所有人”。 ibm的路线图肯定意味着该公司将做到这一点,但是就目前而言,这一切都是在ibm研发而非产品部门完成的。ibm经常有一些研究项目从未变成最终产品。ibm通过ai硬件研究成果获利基本上有三种途径。首先,它可以将该技术授权可给其他半导体公司用于移动、边缘和数据中心应用。其次,ibm可以将该技术应用到ibm power或大型机处理器中,尤其是2位推理处理。第三,ibm可以生产用于数据中心培训和推理处理的加速器,直接与nvidia,intel等竞争。
最后一种途径可能会解决更大的市场需要,但会带来业务问题,如ibm需要建立一个渠道,以覆盖其power和mainframe安装基础之外的数据中心客户。例如,ibm可以通过lenovo出售给正在构建数据中心服务器的odm。当然,这三种途径并不是互相排斥的。
手把手教你无感FOC电机控制
单级功率因数校正（PFC）研究的新进展
基于can总线在汽车控制和通信网络中的应用
乐友新能源投资10亿美元动力电池正极材料的项目竣工
中国汽车电子产业未来之路在何方？
IBM投资AI硬件，计划10年内将AI性能提升1000倍
saas云报修工单管理系统如何实现企业信息化？
航智论文《基于H桥的磁通门电流传感器》入选国际电子技术大会ICET
荣耀9什么时候上市?最新消息:华为荣耀9发布会明天就来,配置+价格+代言人曝光,海报预热来一波，有蓝胖子?
一加5什么时候上市？全球首款8GB运存手机：一加5新机首发，2499极致性价比
资产通证化的优缺点和可行性探索
poe交换机的连接方法_poe交换机哪几芯供电
Sallen-Key低通滤波器的设计
你在进行LED驱动电源设计时，碰过这些问题吗
浅谈接线端子市场的六大消费趋势
FT-27声振动传感器构成的敲击式电子狗电路
推动半导体产业及驱动IC的国产化迫在眉睫
科创板福光股份财务总监刘笑生介绍、履历信息
AI制药初创公司Engine宣布完成了4300万美元A轮融资
苹果初代电脑AppleI用户说明手册参与竞拍 最终成交价格约合人民币近7万元
尽管现今ibm的硬件业务仅限于power和mainframe芯片和系统,但这家技术巨头正在悄悄地建立自己在ai硬件方面的专业知识和能力。所有人都肯会猜测ibm接下来要干嘛,今天我们主要探讨一些关于ibm所做的事情的思考以及对背后原因的猜测。
ibm于2019年初成立了ibm ai硬件研究中心,中心位于纽约州,与纽约州立大学理工学院以及mellanox、samsung和synopsys等技术公司合作进行ai 芯片研究。据介绍,该中心对ai硬件采取整体,端到端的方法,朝着其雄心勃勃的目标努力,即在未来10年内将ai性能提高1000倍。同时,该中心还在开发新的数字和模拟ai内核。
上图是ibm ai硬件研发中心发布的实现ai性能提升1000倍的概念性路线图。该路线图还展示了将采用不同于目前半导体制造使用的全新材料制成新内核的方式。
ibm最近发表了两篇论文,描述了其降低精度的方法,这些方法旨在提高ai处理效率,同时保留预期的准确性。基本上,在nvidia和google的带领下,人工智能研究在过去4-5年中一直在利用降低的精度数字和数学运算。如果“降低精度”听起来好像不是什么好事,但是我们要记住,更高的精度会带来巨大的成本,使用数字的位长的平方也会增加。因此,从32位到16位成本降低了4倍。
google最近提出了一种新的16位格式,称为bfloat,该格式使用的位数更多,指数尾数更少。高于ieee 16位浮点标准。与传统的32位格式相比,这可以在保留精度的同时使用更少的功率和芯片空间。英特尔就是其中之一。但是,研究人员在努力争取8位浮点数下保持准确性。
ibm本周提出了一种“混合8位浮点数”格式,该格式可以提高性能或将成本降低多达4倍。就是说,如果有人(ibm?)生产出可以执行这些计算进行训练的芯片,则该芯片将使用已经“量化”为那些8位格式的dnn。这些操作的“混合”性质来自于前向和后向传播计算所需的不同精度要求。通过将用于指数和尾数的位数调整为向前和向后传递计算,ibm证明了确实可以仅使用8位权重和激活来训练用于视觉、语音和语言处理的神经网络。此外,这些较小的数字可以更有效地在芯片上进行通信,从而将训练时间进一步减少了30-60%。
如果所有这些数学运算听起来很复杂,但其带来的好处非常简单。从理论上讲,这种方法可以让人打造用于训练深度神经网络的芯片,芯片面积仅为原来的四分之一,或者以相同的成本实现4倍的性能提升。
在ai的推理方面,出于相同的原因,芯片公司和模型开发人员正在转向8位。但是,有人还能降得更低吗?迄今为止,使用较低精度的努力未能达到8位模型提供的精度。但是,ibm最近发表了一篇论文,该论文提议使用称为参数化限幅激活(pact)和统计感知权重合并(sawb)的两种技术,当结合使用时,它们已经演示了2位推理处理,可实现与8位相当的准确性。
如果有人在cpu或ai芯片中使用这些技术,答案可能是“所有人”。 ibm的路线图肯定意味着该公司将做到这一点,但是就目前而言,这一切都是在ibm研发而非产品部门完成的。ibm经常有一些研究项目从未变成最终产品。ibm通过ai硬件研究成果获利基本上有三种途径。首先,它可以将该技术授权可给其他半导体公司用于移动、边缘和数据中心应用。其次,ibm可以将该技术应用到ibm power或大型机处理器中,尤其是2位推理处理。第三,ibm可以生产用于数据中心培训和推理处理的加速器,直接与nvidia,intel等竞争。
最后一种途径可能会解决更大的市场需要,但会带来业务问题,如ibm需要建立一个渠道,以覆盖其power和mainframe安装基础之外的数据中心客户。例如,ibm可以通过lenovo出售给正在构建数据中心服务器的odm。当然,这三种途径并不是互相排斥的。
手把手教你无感FOC电机控制
单级功率因数校正（PFC）研究的新进展
基于can总线在汽车控制和通信网络中的应用
乐友新能源投资10亿美元动力电池正极材料的项目竣工
中国汽车电子产业未来之路在何方？
IBM投资AI硬件，计划10年内将AI性能提升1000倍
saas云报修工单管理系统如何实现企业信息化？
航智论文《基于H桥的磁通门电流传感器》入选国际电子技术大会ICET
荣耀9什么时候上市?最新消息:华为荣耀9发布会明天就来,配置+价格+代言人曝光,海报预热来一波，有蓝胖子?
一加5什么时候上市？全球首款8GB运存手机：一加5新机首发，2499极致性价比
资产通证化的优缺点和可行性探索
poe交换机的连接方法_poe交换机哪几芯供电
Sallen-Key低通滤波器的设计
你在进行LED驱动电源设计时，碰过这些问题吗
浅谈接线端子市场的六大消费趋势
FT-27声振动传感器构成的敲击式电子狗电路
推动半导体产业及驱动IC的国产化迫在眉睫
科创板福光股份财务总监刘笑生介绍、履历信息
AI制药初创公司Engine宣布完成了4300万美元A轮融资
苹果初代电脑AppleI用户说明手册参与竞拍 最终成交价格约合人民币近7万元