如何降低开发门槛助力音视频创新玩法
9月16日，华为多媒体管线服务（av pipeline kit）技术直播正式开启。华为多媒体管线服务产品经理michelle、华为多媒体技术专家salvatore、华为计算机视觉算法专家ting、和华为ai技术专家eric相聚直播间，深度解析了av pipeline kit的技术要点和应用场景，助力广大音视频开发者以更轻松更高效的方式，为用户提供新玩法，新交互。
缘起：音视频开发面临诸多挑战，麒麟协同各团队力量推av pipeline kit
随着宽带提速，5g 普及，ai技术应用，用户对网络视频的内容、互动性、播放速度和清晰度的要求越来越高。相应的，多媒体开发呈现出实时化和智能化的趋势，开发者在开发与管理过程中，面临更高的技术门槛、更多的开发工作量等诸多挑战。
其一，开发难度进一步加大，开发成本更高。很多视频+ai的开发，需要在传统管线中加入ai处理技术，这涉及到诸多数据处理能力，对于开发者来说技术门槛很高。
其二，端侧实时化的智能视频开发可能会遇到算力和功耗的限制。以端侧超分为例，手机端算力比较受限，而视频逐帧的超分实时处理对时延和功耗的要求是极高的。此外，视频解码后的数据要拿去做超分，就涉及到数据在不同ip之间的流转和拷贝，会影响功耗，导致手机发烫。
以上诸多痛点，阻碍了开发者创新的脚步。为此，麒麟团队整合了各个部门的能力，包括多媒体团队、npu团队以及算法团队，在今年7月份推出了华为多媒体管线服务（av pipeline kit）。av pipeline kit是一个面向安卓开发者的多媒体开放能力体系，它包含一个轻量级的多媒体开发框架和一系列高性能的音视频处理插件，帮助开发者们降低开发难度，让开发者们可以通过自定义流水线编排，将多种高性能插件快速集成到应用中，轻松实现更加丰富的多媒体功能。
轻量化设计：“拼乐高”式的流水线编排，助力开发者高效开发
在av pipeline kit多媒体开发框架中，包含了多个预置的流水线编排，即一些现成的开箱即用的业务场景，被封装成了接口供直接调用；同时也支持自定义流水线编排，将不同插件按不同的连接关系串联起来形成新的业务场景。
如何简单理解流水线编排的过程呢？以视频超分为例，按照插件之间的处理顺序来看，首先是一个音视频的解封装过程，然后会经历音视频的解码，而后解码视频帧会进行视频超分处理，最后进行送显。从输入到输出，可以看成是一个流水线的过程。
谈及流水线编排的设计思路，华为多媒体技术专家salvator表示，首先是对业务进行抽象，然后把它分割成子过程，对子过程再进行一个抽象，实现具体的插件，最后再把插件用pipeline的方式拼接起来。这样的好处一方面是便于统一管理，另一方面提高了复用度。
这个过程可以简单理解为拼乐高，一个个插件就是一个个不同形状的乐高片，开发者的业务就像搭乐高一样，不同的开发者可以从插件库里选择需要的插件，拼成想要的业务场景。av pipeline kit定义了一套插件标准接口，开发者只需要继承这个接口类，并实现初始化和数据处理相关的逻辑即可，无需考虑并发、线程同步、状态转移、buffer池管理、多实例等问题，这些已经全部由框架层实现好了。
突破：视频超分，最高3倍超分效果背后的技术优势
所谓“超分”，可以理解为在视频播放过程中进行智能识别与锐度优化，从而让视频看起来比原本更清晰、明丽。在大型影视和游戏制作中，超分是一种非常关键的技术。想要在端侧在线场景中，帮助开发者获得实时化、高性能、低功耗的超分，就需要从ai技术到硬件资源调用的一系列优化。
据华为计算机视觉算法专家ting介绍，av pipeline kit提供传统的gpu超分方案和ai超分方案两种，以达到性能和功耗的平衡。“比如我们检测到在麒麟高端芯片上，就会优先采用npu的ai超分算法，最高可实现3倍的超分效果。如果没有npu的硬件，我们就会选择gpu方案做超分处理，效果可能会有一些下降，但性能上是满足了实时性要求的。”
为了帮助开发者便捷获取真实可用的逐帧超分能力，实现超分不卡顿的体验，av pipeline kit首先在机器视觉算法上进行了一系列技术突破。比如，在ai模型结构上应用了卷积神经网络，提升了复杂真实场景的超分效果；在数据工程方面，用一系列方法还原了多媒体数据的构造过程，提升网络的优化结果；在端侧模型压缩方面，进行了新的网络小型化探索，确保超分效果可以在端侧场景中被很好地执行。
其次，为了兼顾高性能与低功耗，av pipeline kit和华为 hiai foundation之间也有不少配合。据华为ai技术专家eric介绍，华为hiai foundation作为npu使能的基础平台，能够快速将原始模型转换成华为davinci model，并通过davinci model的调优技术，优化模型结构，充分发挥npu硬件单元的算力，令模型算子以更低功耗在手机端侧高效运转。
在超分业务中，内存ddr的频繁读写对性能和功耗都是很大的挑战。hiai foudation算子库在优化模型执行时，重点对算力和带宽利用做了平衡，在满足业务要求的算力情况下，尽可能的减少对于内存的反复读写，更多的利用内部buffer和cache，极大地提供了性能，降低了功耗。
在一系列的技术突破之后，用户可以获得更好的画质体验，视频平台可以节省带宽和服务器资源，开发者则能够高效集成业务，降低工作量。
突破：声音事件检测，为实现98%识别率攻克的技术难题
对于开发者来说，声音事件检测是相对比较复杂的技术，需要丰富的技术资源与开发经验。av pipeline kit将这些功能以文件配置的形式直接带给开发者，且经过麒麟团队的长期深耕，声音检测事件插件可以确保声音识别的准确与稳定。
目前，av pipeline kit声音事件检测目前已经可以支持日常使用的13种声音，包括无障碍功能、健康检测、辅助安全驾驶、安全防盗、事故报警防剐蹭、停车启动安全等丰富的场景。经过研发团队的深度优化和组合验证，当前识别准确率平均在98%以上，无论从声音事件类别还是识别性能上来看，都属于业界领先。
据华为计算机视觉算法专家ting介绍，团队主要聚焦在两个点上做突破，确保了声音识别的准确及稳定性。一是解决了不同声音事件的时间片段的长短。不同声音事件长短不同，比如孩子的哭声以及宠物叫声，猫叫狗叫是瞬发型的，而哭是一个持续性的动作，所以他们的事件片段，时间片和长短是不一样的，声音事件检测插件在设计网络的时候，参考了inception网络，计算多个不同大小的卷积，这样感受野就不同，进而提出的特征就更加具有针对性，特征空间更加丰富。
二是易混淆类别频谱的区分。有一些声音事件的混淆度比较高，比如在某些情况下小孩的哭声和猫叫声相当接近，无论是人区分以及转化为频谱信息之后去查看，都很容易混淆。声音事件检测插件引入技术注意力机制，对易混淆的类别做一个区分。
面向未来：
深挖视频播放、编辑场景，为开发者提供创新能力
最后，华为多媒体技术专家salvatore表示，av pipeline kit后续会继续完善框架和插件，重点关注如视频播放、视频编辑等对性能要求比较高，对功耗比较敏感的场景，包括考虑预置录制和编辑业务，以及与人像拍摄美化相关的插件能力。
未来，麒麟团队将持续投入核心技术，突破技术难点，简化底层开发繁琐流程和难点，降低智能化视频开发的门槛，助力音视频开发者技术创新，在激烈的竞争角逐中取胜。
超声波流量计V法安装与Z法安装
德承DX-1100工业电脑在猪舍食物自动供应系统的应用
你的MAX3010x模块需要修改电路吗？
特斯拉在华建厂助力了我国经济建设，其出口则带来外汇，这是双赢
一种用于实时检测溶液中COVID-19刺突抗原的电子生物传感器
如何降低开发门槛助力音视频创新玩法
增强现实抬头显示系统在汽车ADAS中的应用
随着云计算的发展，企业市场对混合云的接受度普遍提升
东芝联手SanDisk开发全球最小128Gb闪存芯片
AI赋能商业化 虹软+AI创享会成都站开启
4年发布了105个氢能和燃料电池产业相关政策文件 透露了哪些信息
中国在量子领域上有什么新的成绩
电机轴承压装为什么要使用伺服压力机
苹果公司公开支持AR/VR技术
郭台铭预言制造业最后赢家将是中国
FLIR固定安装式红外热像仪助力电力等公用事业公司及早发现问题
变电站的定义/组成/功能/分类
LCD行业被玻璃短缺所拖累
工业级智能停车系统设计方案
802.11ax Wi-Fi标准的设计时遇上的常见挑战及解决方法
缘起：音视频开发面临诸多挑战，麒麟协同各团队力量推av pipeline kit
随着宽带提速，5g 普及，ai技术应用，用户对网络视频的内容、互动性、播放速度和清晰度的要求越来越高。相应的，多媒体开发呈现出实时化和智能化的趋势，开发者在开发与管理过程中，面临更高的技术门槛、更多的开发工作量等诸多挑战。
其一，开发难度进一步加大，开发成本更高。很多视频+ai的开发，需要在传统管线中加入ai处理技术，这涉及到诸多数据处理能力，对于开发者来说技术门槛很高。
其二，端侧实时化的智能视频开发可能会遇到算力和功耗的限制。以端侧超分为例，手机端算力比较受限，而视频逐帧的超分实时处理对时延和功耗的要求是极高的。此外，视频解码后的数据要拿去做超分，就涉及到数据在不同ip之间的流转和拷贝，会影响功耗，导致手机发烫。
以上诸多痛点，阻碍了开发者创新的脚步。为此，麒麟团队整合了各个部门的能力，包括多媒体团队、npu团队以及算法团队，在今年7月份推出了华为多媒体管线服务（av pipeline kit）。av pipeline kit是一个面向安卓开发者的多媒体开放能力体系，它包含一个轻量级的多媒体开发框架和一系列高性能的音视频处理插件，帮助开发者们降低开发难度，让开发者们可以通过自定义流水线编排，将多种高性能插件快速集成到应用中，轻松实现更加丰富的多媒体功能。
轻量化设计：“拼乐高”式的流水线编排，助力开发者高效开发
在av pipeline kit多媒体开发框架中，包含了多个预置的流水线编排，即一些现成的开箱即用的业务场景，被封装成了接口供直接调用；同时也支持自定义流水线编排，将不同插件按不同的连接关系串联起来形成新的业务场景。
如何简单理解流水线编排的过程呢？以视频超分为例，按照插件之间的处理顺序来看，首先是一个音视频的解封装过程，然后会经历音视频的解码，而后解码视频帧会进行视频超分处理，最后进行送显。从输入到输出，可以看成是一个流水线的过程。
谈及流水线编排的设计思路，华为多媒体技术专家salvator表示，首先是对业务进行抽象，然后把它分割成子过程，对子过程再进行一个抽象，实现具体的插件，最后再把插件用pipeline的方式拼接起来。这样的好处一方面是便于统一管理，另一方面提高了复用度。
这个过程可以简单理解为拼乐高，一个个插件就是一个个不同形状的乐高片，开发者的业务就像搭乐高一样，不同的开发者可以从插件库里选择需要的插件，拼成想要的业务场景。av pipeline kit定义了一套插件标准接口，开发者只需要继承这个接口类，并实现初始化和数据处理相关的逻辑即可，无需考虑并发、线程同步、状态转移、buffer池管理、多实例等问题，这些已经全部由框架层实现好了。
突破：视频超分，最高3倍超分效果背后的技术优势
所谓“超分”，可以理解为在视频播放过程中进行智能识别与锐度优化，从而让视频看起来比原本更清晰、明丽。在大型影视和游戏制作中，超分是一种非常关键的技术。想要在端侧在线场景中，帮助开发者获得实时化、高性能、低功耗的超分，就需要从ai技术到硬件资源调用的一系列优化。
据华为计算机视觉算法专家ting介绍，av pipeline kit提供传统的gpu超分方案和ai超分方案两种，以达到性能和功耗的平衡。“比如我们检测到在麒麟高端芯片上，就会优先采用npu的ai超分算法，最高可实现3倍的超分效果。如果没有npu的硬件，我们就会选择gpu方案做超分处理，效果可能会有一些下降，但性能上是满足了实时性要求的。”
为了帮助开发者便捷获取真实可用的逐帧超分能力，实现超分不卡顿的体验，av pipeline kit首先在机器视觉算法上进行了一系列技术突破。比如，在ai模型结构上应用了卷积神经网络，提升了复杂真实场景的超分效果；在数据工程方面，用一系列方法还原了多媒体数据的构造过程，提升网络的优化结果；在端侧模型压缩方面，进行了新的网络小型化探索，确保超分效果可以在端侧场景中被很好地执行。
其次，为了兼顾高性能与低功耗，av pipeline kit和华为 hiai foundation之间也有不少配合。据华为ai技术专家eric介绍，华为hiai foundation作为npu使能的基础平台，能够快速将原始模型转换成华为davinci model，并通过davinci model的调优技术，优化模型结构，充分发挥npu硬件单元的算力，令模型算子以更低功耗在手机端侧高效运转。
在超分业务中，内存ddr的频繁读写对性能和功耗都是很大的挑战。hiai foudation算子库在优化模型执行时，重点对算力和带宽利用做了平衡，在满足业务要求的算力情况下，尽可能的减少对于内存的反复读写，更多的利用内部buffer和cache，极大地提供了性能，降低了功耗。
在一系列的技术突破之后，用户可以获得更好的画质体验，视频平台可以节省带宽和服务器资源，开发者则能够高效集成业务，降低工作量。
突破：声音事件检测，为实现98%识别率攻克的技术难题
对于开发者来说，声音事件检测是相对比较复杂的技术，需要丰富的技术资源与开发经验。av pipeline kit将这些功能以文件配置的形式直接带给开发者，且经过麒麟团队的长期深耕，声音检测事件插件可以确保声音识别的准确与稳定。
目前，av pipeline kit声音事件检测目前已经可以支持日常使用的13种声音，包括无障碍功能、健康检测、辅助安全驾驶、安全防盗、事故报警防剐蹭、停车启动安全等丰富的场景。经过研发团队的深度优化和组合验证，当前识别准确率平均在98%以上，无论从声音事件类别还是识别性能上来看，都属于业界领先。
据华为计算机视觉算法专家ting介绍，团队主要聚焦在两个点上做突破，确保了声音识别的准确及稳定性。一是解决了不同声音事件的时间片段的长短。不同声音事件长短不同，比如孩子的哭声以及宠物叫声，猫叫狗叫是瞬发型的，而哭是一个持续性的动作，所以他们的事件片段，时间片和长短是不一样的，声音事件检测插件在设计网络的时候，参考了inception网络，计算多个不同大小的卷积，这样感受野就不同，进而提出的特征就更加具有针对性，特征空间更加丰富。
二是易混淆类别频谱的区分。有一些声音事件的混淆度比较高，比如在某些情况下小孩的哭声和猫叫声相当接近，无论是人区分以及转化为频谱信息之后去查看，都很容易混淆。声音事件检测插件引入技术注意力机制，对易混淆的类别做一个区分。
面向未来：
深挖视频播放、编辑场景，为开发者提供创新能力
最后，华为多媒体技术专家salvatore表示，av pipeline kit后续会继续完善框架和插件，重点关注如视频播放、视频编辑等对性能要求比较高，对功耗比较敏感的场景，包括考虑预置录制和编辑业务，以及与人像拍摄美化相关的插件能力。
未来，麒麟团队将持续投入核心技术，突破技术难点，简化底层开发繁琐流程和难点，降低智能化视频开发的门槛，助力音视频开发者技术创新，在激烈的竞争角逐中取胜。
超声波流量计V法安装与Z法安装
德承DX-1100工业电脑在猪舍食物自动供应系统的应用
你的MAX3010x模块需要修改电路吗？
特斯拉在华建厂助力了我国经济建设，其出口则带来外汇，这是双赢
一种用于实时检测溶液中COVID-19刺突抗原的电子生物传感器
如何降低开发门槛助力音视频创新玩法
增强现实抬头显示系统在汽车ADAS中的应用
随着云计算的发展，企业市场对混合云的接受度普遍提升
东芝联手SanDisk开发全球最小128Gb闪存芯片
AI赋能商业化 虹软+AI创享会成都站开启
4年发布了105个氢能和燃料电池产业相关政策文件 透露了哪些信息
中国在量子领域上有什么新的成绩
电机轴承压装为什么要使用伺服压力机
苹果公司公开支持AR/VR技术
郭台铭预言制造业最后赢家将是中国
FLIR固定安装式红外热像仪助力电力等公用事业公司及早发现问题
变电站的定义/组成/功能/分类
LCD行业被玻璃短缺所拖累
工业级智能停车系统设计方案
802.11ax Wi-Fi标准的设计时遇上的常见挑战及解决方法