高通“AI Engine”:赋能手机终端,拍摄&游戏一马当先
在高通人工智能开放日上，高通与vivo、腾讯王者荣耀和腾讯ai lab共同宣布，四方正利用第四代高通人工智能引擎ai engine，以“想象力工程”为名，通过发挥各方在ai领域的专长，拓展ai生态系统的跨产业合作，同时借助终端侧ai不断提升的算力优势，探索ai能够为终端带来更智能、更高效的体验。
作为“想象力工程”的首个落地项目，四方充分利用骁龙855移动平台上第四代ai engine的异构计算能力，在vivo的iqoo手机上将移动游戏的ai推理能力首次大规模从云端迁移至终端侧，让以《王者荣耀》为代表的多人实时战术竞技（moba）类游戏获得体验的升级和优化。
“借助此次四方的合作，希望能够携手生态系统合作伙伴，探索终端侧创新的ai特性和应用。”高通中国区董事长孟樸表示，高通一直致力于推动人工智能在终端侧的应用和落地，通过高通人工智能引擎ai engine，与ai生态系统合作伙伴共同打造丰富的用例和创新的用户体验。
vivo创新创意领域总经理王友飞表示，从今年3月发布iqoo开始，vivo推出全新的multi-turbo，并打造移动端ai电竞战队supex，希望通过moba类游戏场景的实验环境来不断提升和优化ai电竞战队的实力，为移动电竞带来更好的竞技体验。
腾讯王者荣耀技术总监邓君表示，此次与高通、vivo和腾讯ai lab合作，是王者荣耀在5g和ai技术不断发展的大背景下，积极探索先进技术对娱乐产业突破传统，创新发展的可能。
腾讯ai lab技术总监付强表示，随着5g时代的到来，与高通、vivo和王者荣耀开展合作，将共同推动云端ai向无线边缘和终端侧ai进一步落地。
目前，很多对神经网络的训练和推理都是在云端或者基于服务器完成。当下，随着移动平台性能和算力的不断提升，人工智能正从云端向终端侧迈进。去年底，高通发布第四代多核ai engine，正是骁龙移动平台上加速终端侧ai用户体验的硬件与软件组件的集合。
凭借人工智能引擎ai engine的强势领衔，安卓手机最重要的的芯片供应商之一高通为整个手机行业注入了新鲜的血液，造就了一个又一个“ai推动生态进化”的巨大进步。下面，我们就扒一扒ai engine的底，深挖一下，高通的ai engine是怎样提升手机“产品力”的。
高通人工智能引擎ai engine：骁龙移动平台自带的“主角光环”
高通对于ai基础科学的研究，技术成果集中体现在ai engine上，但最早可以追述到十几年前。ai engine普遍见于骁龙600、骁龙700和骁龙800系列移动平台上，从骁龙820起就一直是骁龙800系列旗舰芯片的标配，目前已经发展到第四代。其基本的原理则是“异构计算”。
以第四代ai engine为例，它采用了异构多核可编程架构，优化提升内核性能，提升ai计算效率与灵活性。骁龙855移动平台的kryo 485 cpu、adreno 640 以及dsp共同构成了第四代ai engine的“三驾马车”。
其中，第四代ai engine的dsp包括两个hexagon向量加速器和一个hexagon张量加速器，可提升20%的算力，并独立完成每一层神经网络计算（其架构设计完全不同）。相应的，adreno 640 gpu算术逻辑单元提升了50% ，进一步加速更高精度神经网络的运行。kryo 485 cpu则新增了点积指令，以便提升ai性能。三者合一，实现了3倍的ai性能提升和可编程的综合ai加速。
而正如绝大多数具有重大意义的商用技术成果一样，ai engine同样需要赋能终端设备和软件生态才能够更充分地发挥作用。现阶段，ai engine可以在框架搭建、操作系统、生态系统和终端设备上发力，带来拍摄、生物识别、游戏等多个层面的新特性。
生态用例——与软件服务商、云服务商的合作
正如高通产品管理高级副总裁keith kressin所说的那样，用例才是高通最为关心的,首先要关注的就是软件生态了。
目前高通的软件合作伙伴包括但不限于拍摄领域的虹软、旷视科技、loom.ai、nalbi、泼辣、创通联达、uncanny vision， 音频与翻译领域的有道、思必驰、大象声科、科大讯飞，手势领域的elliptic labs、qeexo，ar领域的网易、商汤科技和汽车领域的cogent embedded technology、pathpartner technologies、纵目科技等。
它们为手机厂商带来了超级分辨率、美颜和夜拍等强大的ai性能，还与nalbi合作实现了智能人像发色转换、先拍照后虚化、选择多人或物体进行虚化等功能。
①智能人像发色转换
智能的人像发色转换
对于爱美的妹子来讲，染发自然是必不可少的。在智能的人像发色转换功能的加持之下，妹子们就可以在拍摄界面预览自己想要尝试的发色，防止染发“翻车”——这个功能可谓相当贴心，毕竟妹子们的口红都有上百个色号！
②先拍照后虚化&选择多人或物体进行虚化
先拍照后虚化
选择多人或物体进行虚化
在nalbi基于高通人工智能引擎ai engine实现的先拍照后虚化的技术加持下，用户还可以在拍完照片后获得更好的虚化效果以便突出自己，或者在惨遭抢镜后想要挽救照片效果。而在合照之中，如果你想虚化背景突出所有人，或者单纯想获取更强的图片层次感，可以选择多人或物体进行虚化。
当然了，高通在ai智慧生态方面的用例也非常广阔，覆盖了移动终端、ar/vr、iot拍摄等多个领域，参照上图，你会发现，ai engine的行业应用前景是无比广阔的。与此同时，高通还与腾讯、百度、谷歌、微软等企业进行了ai云服务方面的合作。
赋能手机终端：拍摄&游戏一马当先
要说ai engine赋能智能手机终端设备最鲜明的用例，拍照和游戏自然一马当先。在拍照方面，高通在全球率先推出了业界首款计算机视觉isp（cv-isp），这项技术能够让终端处理图形的速度更快，同时功耗也更低，相应的，也带来了诸多强大的ai拍摄特性。
比如iqoo搭载的ai美颜相机，背后就是ai engine的功劳，它自带的瘦身功能可以自动帮你拍出高挑的身材瘦长的大腿，比起换发高级多了；
另外在拍照的时候，身为新手的我们往往控制不好景别，难以突出主题。这次iqoo特意加入了ai裁剪构图，能够在相册里面对图片进行二次智能构图，让你瞬间变身摄影老法师，这背后其实就是ai深度应用的趋势。
当然，这些功能也仅仅是一部分，远非全部。现阶段智慧识屏、智慧识物等几乎成为新近中高端机型的标配，可以进行翻译、识别并跳转购物链接等操作。
而在游戏方面，snapdragon elite gaming目前已经在黑鲨游戏手机2这样的游戏手机上得到了应用，这雨其采用了骁龙855移动平台不无关系。通过面向游戏优化且完整集成于顶级移动平台骁龙855上的一整套软硬件特性，玩家可以获得包括流畅的交互、出色的性能、极快的响应、绝佳的音频以及电影级的图形效果等在内的全新游戏体验。
snapdragon elite gaming本身则具有true hdr游戏渲染及显示、基于物理渲染（pbr）、vulkan 1.1、电影级的后处理等功能。
true hdr可带来更广的色彩范围，让高光区域更清晰，阴影区域更具细节，提升游戏视觉张力；pbr则可保证游戏画面的清晰度与偏于真实的细节；vulkan 1.1赋予了开发者更多自由创作空间；电影级的后处理则让开发者在通过电影级的分级调色、景深效果、电影级色调映射等提升游戏艺术感。
此外，snapdragon elite gaming还可减少游戏卡顿、加速游戏启动时间、降低网络时延，全方位提升游戏体验。长远来看，snapdragon elite gaming在iqoo、黑鲨游戏手机2、小米9等机型上的巨大成功，无疑给了其他厂商更多选择骁龙855系列芯片和ai engine的理由。当然，正如上文所说，拍摄和游戏也仅仅是ai engine用例的冰山一角。
5g时代：云端特性落实到终端设备
而在5g商用的当下，蓬勃发展的ai与5g势必会碰撞出不一样的火花。ai engine强大的算力和5g强大的网络吞吐能力，势必可以使得很多云端处理的ai用例开始向终端迁移。高通方面将会把ai模型的训练放在云端，再将一些ai推理逐渐迁移至如智能手机这样的终端侧，形成一个网状的生态系统，使之具备终端侧在隐私、性能、个性化和可靠性方面的优势。
在5g通讯方面，ai增强的基带与射频前端势必会在未来得到广泛应用，而ai和5g则可以各取所长，共同赋能尖端的xr体验。以这些ai和5g互通的用例点为契机，高通可以逐步开掘5g的全部潜力，推进“ai+5g”战略的实施。
中兴通讯满足5G固网全接入和全融合的核心网解决方案
!租售/回收TDS220 TDS220示波器TDS220.小
世平推出基于瑞芯微、展讯等平台的多个平板电脑参考设计方案
小米12内部结构还原介绍
关于TQIMX6Q_CoreC核心板的简单介绍
高通“AI Engine”:赋能手机终端,拍摄&游戏一马当先
MAX1464的片上温度传感器
OPPO R15首发索尼IMX519传感器 旅行拍照最佳选择
硬件工程师需要学哪些？这些坑必须要避开
DRAM的电容技术发展历程
艾为音频声光同步灯效动态增强专利揭秘
科学家剥离出超级电容器石墨烯复合膜
PLC的编程方法与应用指令的比较
最全NFC芯片技术厂商介绍及应用介绍
物联网助力配电运维智能化管理
泰克推出HDMI 2.0自动一致性测试与调试解决方案
RFID技术与物联网之间是什么关系
土壤水分测试仪电路图解说明
BAT集齐自动驾驶测试牌照 下一步召唤神龙？
交流接触器线圈的好坏判断
作为“想象力工程”的首个落地项目，四方充分利用骁龙855移动平台上第四代ai engine的异构计算能力，在vivo的iqoo手机上将移动游戏的ai推理能力首次大规模从云端迁移至终端侧，让以《王者荣耀》为代表的多人实时战术竞技（moba）类游戏获得体验的升级和优化。
“借助此次四方的合作，希望能够携手生态系统合作伙伴，探索终端侧创新的ai特性和应用。”高通中国区董事长孟樸表示，高通一直致力于推动人工智能在终端侧的应用和落地，通过高通人工智能引擎ai engine，与ai生态系统合作伙伴共同打造丰富的用例和创新的用户体验。
vivo创新创意领域总经理王友飞表示，从今年3月发布iqoo开始，vivo推出全新的multi-turbo，并打造移动端ai电竞战队supex，希望通过moba类游戏场景的实验环境来不断提升和优化ai电竞战队的实力，为移动电竞带来更好的竞技体验。
腾讯王者荣耀技术总监邓君表示，此次与高通、vivo和腾讯ai lab合作，是王者荣耀在5g和ai技术不断发展的大背景下，积极探索先进技术对娱乐产业突破传统，创新发展的可能。
腾讯ai lab技术总监付强表示，随着5g时代的到来，与高通、vivo和王者荣耀开展合作，将共同推动云端ai向无线边缘和终端侧ai进一步落地。
目前，很多对神经网络的训练和推理都是在云端或者基于服务器完成。当下，随着移动平台性能和算力的不断提升，人工智能正从云端向终端侧迈进。去年底，高通发布第四代多核ai engine，正是骁龙移动平台上加速终端侧ai用户体验的硬件与软件组件的集合。
凭借人工智能引擎ai engine的强势领衔，安卓手机最重要的的芯片供应商之一高通为整个手机行业注入了新鲜的血液，造就了一个又一个“ai推动生态进化”的巨大进步。下面，我们就扒一扒ai engine的底，深挖一下，高通的ai engine是怎样提升手机“产品力”的。
高通人工智能引擎ai engine：骁龙移动平台自带的“主角光环”
高通对于ai基础科学的研究，技术成果集中体现在ai engine上，但最早可以追述到十几年前。ai engine普遍见于骁龙600、骁龙700和骁龙800系列移动平台上，从骁龙820起就一直是骁龙800系列旗舰芯片的标配，目前已经发展到第四代。其基本的原理则是“异构计算”。
以第四代ai engine为例，它采用了异构多核可编程架构，优化提升内核性能，提升ai计算效率与灵活性。骁龙855移动平台的kryo 485 cpu、adreno 640 以及dsp共同构成了第四代ai engine的“三驾马车”。
其中，第四代ai engine的dsp包括两个hexagon向量加速器和一个hexagon张量加速器，可提升20%的算力，并独立完成每一层神经网络计算（其架构设计完全不同）。相应的，adreno 640 gpu算术逻辑单元提升了50% ，进一步加速更高精度神经网络的运行。kryo 485 cpu则新增了点积指令，以便提升ai性能。三者合一，实现了3倍的ai性能提升和可编程的综合ai加速。
而正如绝大多数具有重大意义的商用技术成果一样，ai engine同样需要赋能终端设备和软件生态才能够更充分地发挥作用。现阶段，ai engine可以在框架搭建、操作系统、生态系统和终端设备上发力，带来拍摄、生物识别、游戏等多个层面的新特性。
生态用例——与软件服务商、云服务商的合作
正如高通产品管理高级副总裁keith kressin所说的那样，用例才是高通最为关心的,首先要关注的就是软件生态了。
目前高通的软件合作伙伴包括但不限于拍摄领域的虹软、旷视科技、loom.ai、nalbi、泼辣、创通联达、uncanny vision， 音频与翻译领域的有道、思必驰、大象声科、科大讯飞，手势领域的elliptic labs、qeexo，ar领域的网易、商汤科技和汽车领域的cogent embedded technology、pathpartner technologies、纵目科技等。
它们为手机厂商带来了超级分辨率、美颜和夜拍等强大的ai性能，还与nalbi合作实现了智能人像发色转换、先拍照后虚化、选择多人或物体进行虚化等功能。
①智能人像发色转换
智能的人像发色转换
对于爱美的妹子来讲，染发自然是必不可少的。在智能的人像发色转换功能的加持之下，妹子们就可以在拍摄界面预览自己想要尝试的发色，防止染发“翻车”——这个功能可谓相当贴心，毕竟妹子们的口红都有上百个色号！
②先拍照后虚化&选择多人或物体进行虚化
先拍照后虚化
选择多人或物体进行虚化
在nalbi基于高通人工智能引擎ai engine实现的先拍照后虚化的技术加持下，用户还可以在拍完照片后获得更好的虚化效果以便突出自己，或者在惨遭抢镜后想要挽救照片效果。而在合照之中，如果你想虚化背景突出所有人，或者单纯想获取更强的图片层次感，可以选择多人或物体进行虚化。
当然了，高通在ai智慧生态方面的用例也非常广阔，覆盖了移动终端、ar/vr、iot拍摄等多个领域，参照上图，你会发现，ai engine的行业应用前景是无比广阔的。与此同时，高通还与腾讯、百度、谷歌、微软等企业进行了ai云服务方面的合作。
赋能手机终端：拍摄&游戏一马当先
要说ai engine赋能智能手机终端设备最鲜明的用例，拍照和游戏自然一马当先。在拍照方面，高通在全球率先推出了业界首款计算机视觉isp（cv-isp），这项技术能够让终端处理图形的速度更快，同时功耗也更低，相应的，也带来了诸多强大的ai拍摄特性。
比如iqoo搭载的ai美颜相机，背后就是ai engine的功劳，它自带的瘦身功能可以自动帮你拍出高挑的身材瘦长的大腿，比起换发高级多了；
另外在拍照的时候，身为新手的我们往往控制不好景别，难以突出主题。这次iqoo特意加入了ai裁剪构图，能够在相册里面对图片进行二次智能构图，让你瞬间变身摄影老法师，这背后其实就是ai深度应用的趋势。
当然，这些功能也仅仅是一部分，远非全部。现阶段智慧识屏、智慧识物等几乎成为新近中高端机型的标配，可以进行翻译、识别并跳转购物链接等操作。
而在游戏方面，snapdragon elite gaming目前已经在黑鲨游戏手机2这样的游戏手机上得到了应用，这雨其采用了骁龙855移动平台不无关系。通过面向游戏优化且完整集成于顶级移动平台骁龙855上的一整套软硬件特性，玩家可以获得包括流畅的交互、出色的性能、极快的响应、绝佳的音频以及电影级的图形效果等在内的全新游戏体验。
snapdragon elite gaming本身则具有true hdr游戏渲染及显示、基于物理渲染（pbr）、vulkan 1.1、电影级的后处理等功能。
true hdr可带来更广的色彩范围，让高光区域更清晰，阴影区域更具细节，提升游戏视觉张力；pbr则可保证游戏画面的清晰度与偏于真实的细节；vulkan 1.1赋予了开发者更多自由创作空间；电影级的后处理则让开发者在通过电影级的分级调色、景深效果、电影级色调映射等提升游戏艺术感。
此外，snapdragon elite gaming还可减少游戏卡顿、加速游戏启动时间、降低网络时延，全方位提升游戏体验。长远来看，snapdragon elite gaming在iqoo、黑鲨游戏手机2、小米9等机型上的巨大成功，无疑给了其他厂商更多选择骁龙855系列芯片和ai engine的理由。当然，正如上文所说，拍摄和游戏也仅仅是ai engine用例的冰山一角。
5g时代：云端特性落实到终端设备
而在5g商用的当下，蓬勃发展的ai与5g势必会碰撞出不一样的火花。ai engine强大的算力和5g强大的网络吞吐能力，势必可以使得很多云端处理的ai用例开始向终端迁移。高通方面将会把ai模型的训练放在云端，再将一些ai推理逐渐迁移至如智能手机这样的终端侧，形成一个网状的生态系统，使之具备终端侧在隐私、性能、个性化和可靠性方面的优势。
在5g通讯方面，ai增强的基带与射频前端势必会在未来得到广泛应用，而ai和5g则可以各取所长，共同赋能尖端的xr体验。以这些ai和5g互通的用例点为契机，高通可以逐步开掘5g的全部潜力，推进“ai+5g”战略的实施。
中兴通讯满足5G固网全接入和全融合的核心网解决方案
!租售/回收TDS220 TDS220示波器TDS220.小
世平推出基于瑞芯微、展讯等平台的多个平板电脑参考设计方案
小米12内部结构还原介绍
关于TQIMX6Q_CoreC核心板的简单介绍
高通“AI Engine”:赋能手机终端,拍摄&游戏一马当先
MAX1464的片上温度传感器
OPPO R15首发索尼IMX519传感器 旅行拍照最佳选择
硬件工程师需要学哪些？这些坑必须要避开
DRAM的电容技术发展历程
艾为音频声光同步灯效动态增强专利揭秘
科学家剥离出超级电容器石墨烯复合膜
PLC的编程方法与应用指令的比较
最全NFC芯片技术厂商介绍及应用介绍
物联网助力配电运维智能化管理
泰克推出HDMI 2.0自动一致性测试与调试解决方案
RFID技术与物联网之间是什么关系
土壤水分测试仪电路图解说明
BAT集齐自动驾驶测试牌照 下一步召唤神龙？
交流接触器线圈的好坏判断