爱芯元智AX650N成端侧、边缘侧Transformer最佳落地平台
近来，chatgpt成为社会各界关注的焦点。从技术领域看，chatgpt的爆发是深度学习领域演进、发展和突破的结果，其背后代表着transformer结构下的大模型技术的飞速进展。因此，如何在端侧、边缘侧高效部署transformer也成为用户选择平台的核心考量。
2023年3月，爱芯元智推出了第三代高算力、高能效比的soc芯片——ax650n，依托其在高性能、高精度、易部署、低功耗等方面的优异表现，ax650n受到越来越多有大模型部署需求用户的青睐，并且先人一步成为transformer端侧、边缘侧落地平台。
transformer是当前各种大模型所采用的主要结构，而chatgpt的火爆让人们逐渐意识到人工智能有着更高的上限，并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用gpu部署transformer大模型，在边缘侧、端侧部署transformer最大的挑战则来自功耗，这也使得爱芯元智兼具高性能和低功耗特质的混合精度npu，成为端侧和边缘侧部署transformer的首选平台，而其优越性能则决定了transformer的运行效果。
作为人工智能视觉感知芯片研发及基础算力平台公司，爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的transformer网络swint，在爱芯元智ax650n平台表现出色：361 fps的高性能、80.45%的高精度、199 fps/w的低功耗以及原版模型且ptq量化的极易部署能力，都让ax650n在transformer的落地中有着领先的优势地位。
具体来看，361帧的高性能，可媲美汽车自动驾驶领域基于gpu的高端域控soc；而80.45%的高精度成绩同样高于市面平均水平；199 fps/w的速度则充分体现出低功耗的特点，对比于目前基于gpu的高端域控soc，有着数倍的优势；更为重要的，ax650n部署方便，github上的原版模型可以在爱芯元智的平台上高效运行，不需要对模型做修改，亦无需qat重新训练。与此同时，ax650n支持低比特混合精度，用户如果采用int4，可以极大地减少内存和带宽占用率，达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了ax650n作为人工智能算力平台，最终落地效果更好用、更易用，且大幅提升了用户效率。
目前，ax650n已适配包括vit/deit、swin/swinv2、detr在内的transformer模型，在dinov2也已达到30帧以上的运行结果，这也更便于用户在下游进行检测、分类、分割等操作。基于ax650n的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。
接下来，爱芯元智ax650n将会针对transformer结构进行持续优化，并且探索更多的transformer大模型，例如多模态大模型，不断让transformer在爱芯元智平台上得到更好的落地效果。值得一提的是，爱芯元智还将推出相应开发板，满足开发者对transformer深度研究的需求，探寻更丰富的产品应用。
“爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台，让智能落实到生活的真实场景，最终实现普惠ai造就美好生活的企业愿景”，爱芯元智创始人、ceo仇肖莘女士表示。未来，爱芯元智将在成为人工智能算力平台型公司的道路上继续探索，加速基于transformer的大模型在端侧、边缘侧落地的节奏，让普惠智能真正落地生根，开花结果。
尊享!有一种爱叫“咬耳朵”——南卡T1真无线蓝牙耳机体验
40%的Android设备将不再从谷歌获得更新
东京大学制造纸质微针贴片 可测量患者血糖水平
开源软件生态发展座谈会顺利举办
高玩超频提升性能的同时，散热的选择也至关重要
爱芯元智AX650N成端侧、边缘侧Transformer最佳落地平台
LED分选方式：芯片与封装
基于INtime的雷达实时操控显示终端设计
雷军持续耍猴，小米6标准版需抢购
矩阵键盘的检测和独立按键有很大的区别
工控机箱计算机助力工业自动化发展
红米Note4X情人节首发999元起 多彩金属机身 超长续航
锤子坚果Pro 2真机拆解评测
三基色LED照明灯的电路设计
经历十年发展，4K电视才算见到了阳光
机器人走向行业应用 5G催生机器人产业新机遇
怎样的区块链落地才是真正的落地
持续创新 艾德克斯领跑汽车和新能源测试解决方案
有哪些PCB布局需要注意的事项
PID控制作用是什么
2023年3月，爱芯元智推出了第三代高算力、高能效比的soc芯片——ax650n，依托其在高性能、高精度、易部署、低功耗等方面的优异表现，ax650n受到越来越多有大模型部署需求用户的青睐，并且先人一步成为transformer端侧、边缘侧落地平台。
transformer是当前各种大模型所采用的主要结构，而chatgpt的火爆让人们逐渐意识到人工智能有着更高的上限，并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用gpu部署transformer大模型，在边缘侧、端侧部署transformer最大的挑战则来自功耗，这也使得爱芯元智兼具高性能和低功耗特质的混合精度npu，成为端侧和边缘侧部署transformer的首选平台，而其优越性能则决定了transformer的运行效果。
作为人工智能视觉感知芯片研发及基础算力平台公司，爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的transformer网络swint，在爱芯元智ax650n平台表现出色：361 fps的高性能、80.45%的高精度、199 fps/w的低功耗以及原版模型且ptq量化的极易部署能力，都让ax650n在transformer的落地中有着领先的优势地位。
具体来看，361帧的高性能，可媲美汽车自动驾驶领域基于gpu的高端域控soc；而80.45%的高精度成绩同样高于市面平均水平；199 fps/w的速度则充分体现出低功耗的特点，对比于目前基于gpu的高端域控soc，有着数倍的优势；更为重要的，ax650n部署方便，github上的原版模型可以在爱芯元智的平台上高效运行，不需要对模型做修改，亦无需qat重新训练。与此同时，ax650n支持低比特混合精度，用户如果采用int4，可以极大地减少内存和带宽占用率，达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了ax650n作为人工智能算力平台，最终落地效果更好用、更易用，且大幅提升了用户效率。
目前，ax650n已适配包括vit/deit、swin/swinv2、detr在内的transformer模型，在dinov2也已达到30帧以上的运行结果，这也更便于用户在下游进行检测、分类、分割等操作。基于ax650n的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。
接下来，爱芯元智ax650n将会针对transformer结构进行持续优化，并且探索更多的transformer大模型，例如多模态大模型，不断让transformer在爱芯元智平台上得到更好的落地效果。值得一提的是，爱芯元智还将推出相应开发板，满足开发者对transformer深度研究的需求，探寻更丰富的产品应用。
“爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台，让智能落实到生活的真实场景，最终实现普惠ai造就美好生活的企业愿景”，爱芯元智创始人、ceo仇肖莘女士表示。未来，爱芯元智将在成为人工智能算力平台型公司的道路上继续探索，加速基于transformer的大模型在端侧、边缘侧落地的节奏，让普惠智能真正落地生根，开花结果。
尊享!有一种爱叫“咬耳朵”——南卡T1真无线蓝牙耳机体验
40%的Android设备将不再从谷歌获得更新
东京大学制造纸质微针贴片 可测量患者血糖水平
开源软件生态发展座谈会顺利举办
高玩超频提升性能的同时，散热的选择也至关重要
爱芯元智AX650N成端侧、边缘侧Transformer最佳落地平台
LED分选方式：芯片与封装
基于INtime的雷达实时操控显示终端设计
雷军持续耍猴，小米6标准版需抢购
矩阵键盘的检测和独立按键有很大的区别
工控机箱计算机助力工业自动化发展
红米Note4X情人节首发999元起 多彩金属机身 超长续航
锤子坚果Pro 2真机拆解评测
三基色LED照明灯的电路设计
经历十年发展，4K电视才算见到了阳光
机器人走向行业应用 5G催生机器人产业新机遇
怎样的区块链落地才是真正的落地
持续创新 艾德克斯领跑汽车和新能源测试解决方案
有哪些PCB布局需要注意的事项
PID控制作用是什么