互联网随着5g浪潮的到来,物联网的计算正在面临巨大的挑战。
首先,视频信息占据流量的 80% 以至 90%,视频的处理非常耗费算力,这其中包括视频的编解码,以及对视频信息的实时解读、分析。其次,物联网的场景无限多样化,需要不同算法适应不同场景,能够灵活配置快速移植。业界需要新一代的计算架构以及与之相对应的软件体系来承载。
近日,安创加速团队、专注于视频处理创新的科技公司aupera科技获得 fpga 巨头赛灵思的战略投资。此前,aupera科技曾获得安创加速器投资。
aupera 团队由一支专注于打造极致产品的顶级工程师、专家组成,团队成员曾经服务于nasa、cisco、华为、贝尔实验室等,在经历了两次整体架构迭代后,构建了一套高效、彻底的异构计算框架,并创新提出了分布式微节点计算架构。
“要解决视频处理的根本问题,首先要解决的是海量视频的编解码算力,需要提供高密度的计算力,可负担的计算力,我们aupera就是从这方面入手的”, aupera 创始人廖博士表示。
如今,基于异构计算的分布式微节点技术已经落地,并且已经在头部客户实现商用,在此基础上 ,aupera 又在同样的硬件、软件框架中嵌入了实时ai的加速引擎。“这样高效的架构,特别适用于那些有海量视频需要实时对内容进行处理的场景,” 据廖博士介绍。
分布式微节点计算架构
分布式、微任务、易扩展性,这些都是视频流处理的特点。分布式微节点计算架构,如下图,用几十个、几百个处理器模组,经过10g、100g的以太网交换机连接在一起,可以跨机箱、跨集群、跨数据中心,不受限于物理位置,系统可以线性扩展。
每个处理器模组,在控制层面,采用了 arm 处理器,灵巧方便;在数据处理层面,采用了 xilinx fpga。fpga 的优势在于实现高吞吐量高性能的同时,也能满足低延时的应用、实时的响应。同时,fpga 不仅能够自定义 ai 加速,还可以进行多维度、立体式的整体优化,对视频数据的前处理、后处理,甚至包括网络、存储。fpga 做为 ai 加速的另一大亮点,在于快速算法迭代,快速模型设计,到加快产品商用、加快市场投放,这在人工智能算法日益更新快速迭代的情形下,显得尤为重要。
面向视频+人工智能的应用的融合软件架构
与此同时,为了保证分布式微节点架构能够高效运转,并且承载高密度的算力,aupera 还推出了一整套面向视频+人工智能应用的融合软件架构——aupxstream video+ai sdk。
这套软件体系拥有以下几大特点——
一、整个软件面向视频的处理集成了 ffmpeg 和 gstreamer 这两个视频领域开发必备的工具。特别是将 ffmpeg 成功移植到 arm 处理器上这一设计,使得视频工程师可在无需改变任何操作习惯的情况下,使用同样的命令行、同样的操作,获得更高的性能和更好的效果。
二、针对场景化 ai 的计算以及与视频编解码、视频数据处理的超融合能力。aupxstream video+ai sdk 将视频编解码、视频内容分析有机地结合了起来,最大限度地降低与外部设备的读写操作,从而得到整体性能的大幅提升。
三、云-边-端的线性拓展以及平台资源的智能管理。
aupxstream video+ai sdk 为硬件层、产品运营、以及云服务,打造了一整套平台资源管理体系:从机箱的状态管理,温度预警,风扇控制,到系统的任务调配、负载均衡,以及物联网的云管理、云端运维等全面覆盖。因此,aupera 的这套软件体系可以实现云-边-端服务的线性配置,算力可以随着边缘节点资源得以延申,实现计算的去中心化和无边界化。
目前,aupxstream sdk支持的功能有:
h.264、h.265 硬件视频编解码,jpeg 硬件编码;
通用音视频媒体框架,包括视频合成、混流, 格式转换;
高效的视频图像加速引擎,包括图像前处理,缩放, 旋转,图层叠加,动态水印;
完善的深度学习开发环境,支持 caffe,tensorflow 及 pytorch 等主流开发环境;
通用的深度学习推理引擎,支持 resnet,inception,mobilenet,yolo,ssd 等各种主流深度神经网络;
支持上百种预训练模型及应用模板,快速搭建窄带高清,多方会议电话,安防,物流,新零售,等 ai+ 视频应用;
快速应用,快速为场景化服务,是这套软件体系的最大亮点。让千千万万的应用开发者,享受fpga 芯片的高效、实时应用,而不用为底层的复杂操心。
行业领袖的战略投资
aupera 对于计算架构的探索与创新,得到了业界的认可与支持。
在早期,aupera科技曾获得安创加速器投资。最近,fpga 芯片行业领袖 xilinx(赛灵思),也对 aupera 进行战略投资——除了资金上的投入以外,赛灵思还在市场拓展以及应用实现方面,积极与 aupera 一起为更多客户实现应用落地,为客户提供即时响应的技术支持;目标是让 fpga 计算平台能在物联网时代变化多端的 ai 应用场景中更快得到应用,并最大限度的满足客户多样化的需求,让数据处理核心算法自主可控。
目前,aupera 的高密度视频转码产品、高密度视频结构化产品已经在头部客户得到了商用,并且正在扩大规模。随着 5g 的到来,aupera 的解决方案将会在物联网、边缘 ai 计算大力拓展。
为物联网擦亮眼睛
物联网的时代已经来临,大家都说,摄像头是物联网的眼睛,一张图片胜过千言万语,一段视频又是成百上千张图片组成。aupera 的解决方案,包括了云、边缘、端,提供了一整套的解决方案。
对消费者用户而言,没有繁琐的安装,许多视频 ai 的应用通过云端下载即可实现,将普通摄像头即时变成智能摄像头,同时,aupera 云端的算法将实时更新,不断丰富,每一个家庭每一个用户都可以实现根据自身的使用场景来选择最佳应用。
“视觉给人类带来的信息占到人获取信息量的 80% 以上,视频将是人类沟通的主流”,这个观点,是廖博士早在从事移动通讯开发时就坚信。针对视频,针对视频内容的理解,开发一款极致高效的产品,让视频真正为人所用,这是 aupera 的一群顶级工程师的初心。
LT1764A - 3A, Fast Transient R
腾讯赚翻了!2016年第一季度净利润高达100亿
虚拟仪器的关键是什么?
推动汽车行业传感器热潮的三大趋势
我国研发出最高电导率的外尔半金属材料 电导率达石墨烯的一千倍
Aupera科技获行业领袖战略投资,为物联网擦亮眼睛
Harry将会是世界上第一个可组合农作物数字钻孔机器人的原型
《Rez无限》共感套装将在2017年圣丹斯电影节上亮相
英特尔50周年庆开启智能新时代_加速向物联网转型
西门子S7-200PLC在沥青混合料转运车电控系统中的应用
orcad绘制原理图放置器件的步骤解析
曙光携手生态伙伴打造算网中枢神经
uclinux目录结构
“芯火”快封中心开始运营
具有突破性、可扩展、直观易用的上电时序系统可加快设计和调试速度
使用Jetson Xavier NX 开发者工具包部署AI应用程序
高通计划在法国开设一个新的5G研发中心
无人机快递送货服务,效率远超传统地面配送
微软AR手游上架 或许未来几个月内发布正式版
机器视觉检测效果会受哪些因素影响