解析谷歌大脑的深度学习及TensorFlow的前世今生

编者网按:本文是google brain负责人jeff dean在硅谷人工智能前沿论坛ai frontiers的演讲。
在深度学习的历史上,神经网络的方法在1980-1990年之后开始明显地发挥效力,在数据量、计算力的推动下,用深度学习神经网络的方法使得我们在研究和开发上获得了比其它方法更高的准确率(在图像、语音等领域)。在2011年之前,深度学习的方法能达到的图像误识率都是26%,而在今天这个数字超过了人类的误识率(5%),达到了3%。在google今天的产品线中深度学习的方法使用非常广泛,包括android平台、各类app中、药物研究、gmail等等。
google brain团队目前有什么样的成果:
在研究方面,有27个paper在各种顶级会议中发表;
推动google搜索、广告、相册、翻译、gmail等产品线的整合优化;
发布tensorflow等在社区中高度流行的开源工具。
谈到tensorflow的开发,我们最初的出发点是需要创建一个合适的深度学习工具。
这个工具需要满足下面的几个条件:
1. 适合于机器学习思考和算法的表达;
2. 运行效率高,能够快速地试验想法;
3. 兼容性好,实验能在不同平台上运行;
4. 可在不同环境下分享和重现研究的问题;
5. 适合产品化:能很快从研究阶段过渡到产品应用阶段;
总结一下tf的目标就是建立一个针对机器学习方面的思考快速实验的通用系统,并且确保这个系统既是针对研究也是对产品化最好的系统。最后,这个系统不仅是google的,而且开源的,属于平台上每一个人。
在2015年11月9日,我们发布了tensorflow的最初版本,而目前我们已经取得了这样的成果:
1. tf当前有500+的代码贡献者;
2. 从发布至今,一共有12000次+的代码提交;
3. 100万以上的代码库下载;
4. 大量的学校和商业机构将他们的研究和开发工作搭建在tf之上(伯克利、斯坦福、openai、snapchat)。
我们在软硬件平台的支持上也不断更新。数据显示,我们已经是github上最受到欢迎的深度学习工具。
深度学习在google产生了哪些重要的影响?
在语音识别上,我们推动词语识别的错误率降低了至少30%;
深度卷积神经网络使得直接对未标记的照片进行搜索成为可能;
我们用深度学习的方法,在街景照片中抓取识别文字;
同样用深度学习的方法,在卫星俯瞰图中检索太阳能的屋顶;
在医疗影像中,使用视网膜影像进行糖尿病的诊断;
机器人们现在能通过机器学习的方法进行环境和语义理解;
rankbrian甚至被用于google搜索中的排名优化;
在inbox中,我们通过语义分析自动化地推荐可能的回复结果,当前inbox中10%的回复都是通过推荐生成发送的;
在机器学习的其它方面:
在过去很的的模型都是从零开始训练获得的,这是非常低效的。我们专门针对深度学习设计的硬件的tpu,将在未来20个月后进入大规模量产的阶段。
在我们的设想里,未来的搜索请求可能是这样的:请帮我查找所有关于深度学习和机器人的文献,并用德文总结出来。
我认为未来3 - 5年内,通过语音识别、语义理解的发展,机器人/自动驾驶汽车将会变得产业内非常重要的领域。
ps:附ppt+文字版本。
在深度学习的历史上,神经网络的方法在1980-1990年之后开始明显地发挥效力,在数据量、计算力的推动下,用深度学习神经网络的方法使得我们在研究和开发上获得了比其它方法更高的准确率(在图像、语音等领域)。
在2011年之前,深度学习的方法能达到的图像误识率都是26%,而在今天这个数字超过了人类的误识率(5%),达到了3%。
google brain团队目前有什么样的成果:
在研究方面,有27个paper在各种顶级会议中发表;
推动google搜索、广告、相册、翻译、gmail等产品线的整合优化;
发布tensorflow等在社区中高度流行的开源工具。谈到tensorflow的开发,我们最初的出发点是需要创建一个合适的深度学习工具。
这个工具需要满足下面的几个条件:
适合于机器学习思考和算法的表达;
运行效率高,能够快速地试验想法;
兼容性好,实验能在不同平台上运行;
可在不同环境下分享和重现研究的问题;
适合产品化:能很快从研究阶段过渡到产品应用阶段;
总结一下tf的目标就是建立一个针对机器学习方面的思考快速实验的通用系统,并且确保这个系统既是针对研究也是对产品化最好的系统。最后,这个系统不仅是google的,而且开源的,属于平台上每一个人。
在2015年11月9日,我们发布了tensorflow的最初版本,而目前我们已经取得了这样的成果:
tf当前有500+的代码贡献者;
从发布至今,一共有12000次+的代码提交;
100万以上的代码库下载;
大量的学校和商业机构将他们的研究和开发工作搭建在tf之上(伯克利、斯坦福、openai、snapchat)。
我们在软硬件平台的支持上也不断更新。数据显示,我们已经是github上最受到欢迎的深度学习工具。
深度学习在google产生了哪些重要的影响?
在语音识别上,我们推动词语识别的错误率降低了至少30%;
深度卷积神经网络使得直接对未标记的照片进行搜索成为可能;
我们用深度学习的方法,在街景照片中抓取识别文字;
同样用深度学习的方法,在卫星俯瞰图中检索太阳能的屋顶;
在医疗影像中,使用视网膜影像进行糖尿病的诊断;
机器人们现在能通过机器学习的方法进行环境和语义理解;rankbrian甚至被用于google搜索中的排名优化;
在inbox中,我们通过语义分析自动化地推荐可能的回复结果,当前inbox中10%的回复都是通过推荐生成发送的;
在机器学习的其它方面:
在过去很的的模型都是从零开始训练获得的,这是非常低效的。我们希望通过xxx的方法来解决这个问题;我们的tpu将在,20个月之后进入大规模量产的阶段。
在我们的设想里,未来的搜索请求可能是这样的:请帮我查找所有关于深度学习和机器人的文献,并用德文总结出来。
我认为未来3 - 5年内,通过语音识别、语义理解的发展,机器人/自动驾驶汽车将会变得产业内非常重要的领域。

郭台铭:“不会是卢松青,也不是戴正吴”
直流电子负载的优势 直流电子负载的选择指南
湖南将在全省率先实现5G智慧高速公路
LCD面板价格不断下降 厂商大量减少产能
三星成功将OLED智能手机面板商业化,可降低22%能耗
解析谷歌大脑的深度学习及TensorFlow的前世今生
HFSS电磁仿真之硬件配置
西门子与软控股份的合作,助力轮胎制造的发展
浅谈小型PLC发展趋势
映众GTX1660/1660Ti冰龙超级版评测 静音低温能超频高能耗比的就是好显卡
简述STM32系列ID号加密破解方法
中国光模块行业表现亮眼,这家本土企业市场份额全球第一
ABB让用户无需额外布线 就能控制智能家居设备
由省能源局驻村工作队协调帮扶资金购买的两棵光伏树“栽植”到骆驼湾村的公路一侧
电气工程师必须知道的40个知识点问答
高精度土壤重金属检测仪的功能特点
快商通发明单通道电话人声分离技术,拯救呼叫中心单通道语音数据
建立在ARM基础上的ADSL2+测试仪的设计
毫米波雷达的工作原理及发展趋势
核电站设备仿真器中的反射内存应用