把Transformer大模型部署在端侧，IPC SoC正在普惠AI
ai大模型袭卷而来，而如何让终端产品插上ai的翅膀会是芯片厂商研发的方向和市场的机会。如今网络摄像机作为智慧城市、智能家居等应用的主流终端发展迅速，ipc soc芯片是其核心之一。最近爱芯元智带来的两款ipc soc新品在黑光全彩处理、适配transformer大模型等方面表现十分亮眼，爱芯元智副总裁史欣也向媒体分享了公司对ipc soc高清化、智能化发展的洞察。
两款ipc soc：ax630c和ax620q
爱芯元智带来的两款新产品ax630c和ax620q都搭载了最新的爱芯智眸ai-isp4.0图像处理引擎以及爱芯通元4.0高性能、低功耗的npu引擎。这些技术的升级使得这两款产品在视频图像效果、智能业务处理和分析等方面均达到了业界的领先水平。
爱芯智眸ai-isp4.0对hdr、去噪、demosaic、锐化、去雾等算法做了升级，在暗光下的噪声处理、色彩还原、运动拖影、清晰度等方面较上一代产品更优秀，通过ai赋能isp pipeline里的关键模块，在各种复杂应用场景中全面提升成像效果，为后期智能处理提供高质量的图像、视频素材。
爱芯通元混合精度npu则通过减少数据搬运，在一定程度上减小了内存墙和功耗墙的阻碍，提高整个npu的效率，从而在端侧边缘侧面积、功耗受限的情况下，以更高的有效算力支持更多的智能算法。
爱芯元智的“真黑光”技术，则是通过爱芯智眸ai-isp将画面真实还原，后续再通过npu进行优化，进行更加准确的图像处理，在极低照度下获得超越人眼所见的黑光全彩效果。
ax630c具有高算力的特征，其cpu采用双核a53@1.2g，配合3.2t@int8的npu以及硬化的cv算子模块，可以对4k图像进行实时的智能处理，提高客户智能算法处理的精度和性能。同时，ax630c新一代的npu引擎支持主流的transformer网络如vit/deit/swin/swinv2/detr等，可以解决训练数据集不足引起的算法精度下降，以及长尾场景下算法的泛化性问题。
据介绍，ax630c是爱芯元智面向智慧城市行业前端ipc市场推出的超高清智能soc，可支持4k@30fps实时真黑光；ax620q是爱芯元智面向模组与渠道行业前端ipc市场推出的高清智能soc，可支持5mp实时、4k非实时的真黑光。
从细节上看，为了实现黑光全彩的效果，爱芯智眸ai-isp4.0集中对四个关键模块进行了算法升级。史欣分析，传统isp由十几个模块组成，在算力足够大的时候若不考虑成本可以用ai模型去增加每一个模块。而爱芯元智结合了客户的痛点需求和成本因素，对pipeline模块中hdr、3dnr、rltm、demosaic等进行了增强，达到了色彩饱和度高、运动图像无拖尾，以及噪声、锐化、清晰度等效果的显著提高。后续，爱芯元智还将针对防抖、3a等模块进行优化。
这其中的另一个问题是ai的算力消耗，本质上来说尽可能将模块的精确度提高就能更少的消费算力。史欣举例说，例如做人脸处理是对整个区域或者部分区域做降噪，消费的算力不一样。原来在400万分辨率的情况下需要1t做整个ai-isp的处理，现在爱芯元智的第三、四代产品已经降到了0.6甚至0.5t，接下来可以做到0.2t就可以完成3dnr降噪的算力消耗，既能降低芯片成本，又可以留出更多的算力让客户开发更多可能。
transformer在智慧城市中的应用
“transformer应用的一个典型场景是对信息特征的检索，从最早期的后端处理、服务器处理，算法上云，到目前开始进入算法在边缘侧的部署等等，但始终没有解决端侧部署的问题。大的厂商能够根据行业应用来适配模型大小，而transformer兴起之后将带来更多具象化的信息，使得检索更容易、并缩减检索的时间。”史欣说道。
爱芯元智能够帮助客户把在服务器、云端训练好的算法在裁剪之后在端侧部署。这里既有部署性包括带宽、功耗、成本等的考虑，也有精度的要求。爱芯元智通过几年来在npu和算法工具链的迭代，ipc soc能够支持算法的快速部署、保证精度，具备端侧部署的软硬件条件。
不仅是transformer大模型，爱芯元智还在适配国内的dinov2大模型，爱芯元智依托硬件npu、软件算法等技术并与合作伙伴共同推出算法部署国产化。
普惠ai
我们看到爱芯元智有一个非常明确的发展理念，即是普惠ai。ai不应只在云端，更应该让消费、智慧城市、汽车等各个行业受惠。史欣谈到，客户希望能够从to g或者to大b的业务部署向to小b，甚至to c的业务上进行部署。即便是家用摄像头这个普及型消费电子产品，也需要ai-isp加持，那么更需要像爱芯元智这样具备软硬件能力的厂商通过产品技术、性价比等去拥抱市场。
对于ai芯片的发展趋势，史总给出预判，他认为端侧ai的小型化将越来越多的落地，同时其性能要有前瞻性和较高的性价比。同时产品的易用性加强，芯片厂商的方案交付要更简单。同时除了自身掌握关键技术之外，也需要生态合作伙伴做更丰富的算法和软件，如此才能加快ai的普惠化，助力智能化产业升级。
IR针对300W马达功率应用推出半桥式功率模块，扩充µIPM系列
台积电开始着手研发3nm工艺
ADI和英特尔公司计划开发无线电硬件以满足5G技术的新兴标准
一文详解pcb的组成和作用
微雪电子ENC28J60以太网模块简介
把Transformer大模型部署在端侧，IPC SoC正在普惠AI
京东616战报:OPPOR11首发拿下双冠军,荣耀9,华为Nova2略显尴尬
MIUI 8.2.21 内测版更新， 小伙伴们我等你到周五
家庭安防系统组成及技术应用布署
直流电机与交流电机的垃圾处理器
分析磷酸铁锂电池储能价值和动力铁锂电池回归热潮
临沂市中级人民法院打造现代化智能化法院安防体系
keil5编译开发51单片机操作步骤
不容错过｜日海智能亮相2023MWC展现场
热电制冷的应用和优势
华中大科研团队制造出全球最快光场摄像机
单片机在医疗器械设备中有哪些应用
16纳米来了！台积电试产16nm FinFET Plus
用于实时检测血小板生长因子的自供电生物传感系统
进博会抢先看——福禄克入驻进博会装备展区，助力中国未来发展
两款ipc soc：ax630c和ax620q
爱芯元智带来的两款新产品ax630c和ax620q都搭载了最新的爱芯智眸ai-isp4.0图像处理引擎以及爱芯通元4.0高性能、低功耗的npu引擎。这些技术的升级使得这两款产品在视频图像效果、智能业务处理和分析等方面均达到了业界的领先水平。
爱芯智眸ai-isp4.0对hdr、去噪、demosaic、锐化、去雾等算法做了升级，在暗光下的噪声处理、色彩还原、运动拖影、清晰度等方面较上一代产品更优秀，通过ai赋能isp pipeline里的关键模块，在各种复杂应用场景中全面提升成像效果，为后期智能处理提供高质量的图像、视频素材。
爱芯通元混合精度npu则通过减少数据搬运，在一定程度上减小了内存墙和功耗墙的阻碍，提高整个npu的效率，从而在端侧边缘侧面积、功耗受限的情况下，以更高的有效算力支持更多的智能算法。
爱芯元智的“真黑光”技术，则是通过爱芯智眸ai-isp将画面真实还原，后续再通过npu进行优化，进行更加准确的图像处理，在极低照度下获得超越人眼所见的黑光全彩效果。
ax630c具有高算力的特征，其cpu采用双核a53@1.2g，配合3.2t@int8的npu以及硬化的cv算子模块，可以对4k图像进行实时的智能处理，提高客户智能算法处理的精度和性能。同时，ax630c新一代的npu引擎支持主流的transformer网络如vit/deit/swin/swinv2/detr等，可以解决训练数据集不足引起的算法精度下降，以及长尾场景下算法的泛化性问题。
据介绍，ax630c是爱芯元智面向智慧城市行业前端ipc市场推出的超高清智能soc，可支持4k@30fps实时真黑光；ax620q是爱芯元智面向模组与渠道行业前端ipc市场推出的高清智能soc，可支持5mp实时、4k非实时的真黑光。
从细节上看，为了实现黑光全彩的效果，爱芯智眸ai-isp4.0集中对四个关键模块进行了算法升级。史欣分析，传统isp由十几个模块组成，在算力足够大的时候若不考虑成本可以用ai模型去增加每一个模块。而爱芯元智结合了客户的痛点需求和成本因素，对pipeline模块中hdr、3dnr、rltm、demosaic等进行了增强，达到了色彩饱和度高、运动图像无拖尾，以及噪声、锐化、清晰度等效果的显著提高。后续，爱芯元智还将针对防抖、3a等模块进行优化。
这其中的另一个问题是ai的算力消耗，本质上来说尽可能将模块的精确度提高就能更少的消费算力。史欣举例说，例如做人脸处理是对整个区域或者部分区域做降噪，消费的算力不一样。原来在400万分辨率的情况下需要1t做整个ai-isp的处理，现在爱芯元智的第三、四代产品已经降到了0.6甚至0.5t，接下来可以做到0.2t就可以完成3dnr降噪的算力消耗，既能降低芯片成本，又可以留出更多的算力让客户开发更多可能。
transformer在智慧城市中的应用
“transformer应用的一个典型场景是对信息特征的检索，从最早期的后端处理、服务器处理，算法上云，到目前开始进入算法在边缘侧的部署等等，但始终没有解决端侧部署的问题。大的厂商能够根据行业应用来适配模型大小，而transformer兴起之后将带来更多具象化的信息，使得检索更容易、并缩减检索的时间。”史欣说道。
爱芯元智能够帮助客户把在服务器、云端训练好的算法在裁剪之后在端侧部署。这里既有部署性包括带宽、功耗、成本等的考虑，也有精度的要求。爱芯元智通过几年来在npu和算法工具链的迭代，ipc soc能够支持算法的快速部署、保证精度，具备端侧部署的软硬件条件。
不仅是transformer大模型，爱芯元智还在适配国内的dinov2大模型，爱芯元智依托硬件npu、软件算法等技术并与合作伙伴共同推出算法部署国产化。
普惠ai
我们看到爱芯元智有一个非常明确的发展理念，即是普惠ai。ai不应只在云端，更应该让消费、智慧城市、汽车等各个行业受惠。史欣谈到，客户希望能够从to g或者to大b的业务部署向to小b，甚至to c的业务上进行部署。即便是家用摄像头这个普及型消费电子产品，也需要ai-isp加持，那么更需要像爱芯元智这样具备软硬件能力的厂商通过产品技术、性价比等去拥抱市场。
对于ai芯片的发展趋势，史总给出预判，他认为端侧ai的小型化将越来越多的落地，同时其性能要有前瞻性和较高的性价比。同时产品的易用性加强，芯片厂商的方案交付要更简单。同时除了自身掌握关键技术之外，也需要生态合作伙伴做更丰富的算法和软件，如此才能加快ai的普惠化，助力智能化产业升级。
IR针对300W马达功率应用推出半桥式功率模块，扩充µIPM系列
台积电开始着手研发3nm工艺
ADI和英特尔公司计划开发无线电硬件以满足5G技术的新兴标准
一文详解pcb的组成和作用
微雪电子ENC28J60以太网模块简介
把Transformer大模型部署在端侧，IPC SoC正在普惠AI
京东616战报:OPPOR11首发拿下双冠军,荣耀9,华为Nova2略显尴尬
MIUI 8.2.21 内测版更新， 小伙伴们我等你到周五
家庭安防系统组成及技术应用布署
直流电机与交流电机的垃圾处理器
分析磷酸铁锂电池储能价值和动力铁锂电池回归热潮
临沂市中级人民法院打造现代化智能化法院安防体系
keil5编译开发51单片机操作步骤
不容错过｜日海智能亮相2023MWC展现场
热电制冷的应用和优势
华中大科研团队制造出全球最快光场摄像机
单片机在医疗器械设备中有哪些应用
16纳米来了！台积电试产16nm FinFET Plus
用于实时检测血小板生长因子的自供电生物传感系统
进博会抢先看——福禄克入驻进博会装备展区，助力中国未来发展