使用NVIDIA Maxine改善实时通信应用程序
实时通信应用程序（如虚拟协作和内容创建应用程序）的音频和视频质量是衡量用户实时通信体验的真正标准。他们严重依赖网络带宽和用户设备质量。
狭窄的网络带宽和低质量的设备会产生不稳定且嘈杂的音频和视频输出。由于用户同时产生和消费音频和视频，因此可损坏流的数量增加，这一问题往往变得更加复杂。用户通过部署内容创建工具进一步加剧了音频和视频拥塞。
为了使您能够增强实时通信应用程序的实时音频和视频质量， nvidia maxine提供 gpu – 加速 sdk 来执行以下操作：
改进标准麦克风和网络摄像头经验通过视频效果、音频效果和 ar sdk 功能。
支持将多个音频、视频和增强现实功能实时链接到端到端管道中使用 maxine 构建新的或集成到已构建的端到端管道中。
包括转录和翻译当与 nvidia riva一起使用 maxine 时，这是一个用于构建对话 ai 应用程序的 sdk 。
简言之， maxine 为具有高音频和视频质量的虚拟协作和内容创建应用程序提供了最高的性能，无论是在 pc 机、内部部署还是在具有 gpu 的云数据中心。
在本文中，您将了解：
用户在使用 maxine sdk 进行实时通信应用时体验到的音频和视频增强功能。
使用 maxine 、 nvidia 视频编解码器 sdk和 riva 构建端到端管道的好处。
maxine sdk 的真实示例在视频会议、内容创建和实时流媒体应用程序中提供了集成功能。
图 1 与 maxine 和 riva sdk 的端到端管道
将标准音频和视频设备转换为智能设备
nvidia maxine 由视频特效 sdk 、音频特效 sdk 和 ar sdk 组成，具有 gpu – 经过数十万小时培训开发的最先进的人工智能加速功能。
使用maxine 视频效果 sdk，您可以将标准网络摄像头输入转换为高质量视频。视频改进如下：
图像更清晰，细节更丰富，通过 maxine 超分辨率和放大功能实现。
显著降低网络摄像头传感器类型、曝光和低照度造成的视频噪音集成了 maxine 视频降噪功能。
块状伪影、响声和蚊子噪音消除应用 maxine 伪影减少功能。
用户选择的虚拟背景，通过虚拟背景功能启用（图 2 ）。
有关如何使用标准网络摄像头输入运行这些效果并将其集成到应用程序中的更多信息，请参阅将嘈杂的低分辨率视频转换为高质量视频，为最终用户带来迷人的体验。
maxine 音频效果 sdk提供的人工智能模型可以消除几乎任何类型的音频噪音–阻碍窄带、宽带和超宽带音频，并提高通话质量。使用 maxine 解决音频质量差问题的好处如下：
没有不必要的背景噪音例如交流噪音、建筑噪音、交通噪音或键盘敲击声。有关通过噪声消除功能消除的背景噪声类型的完整列表的更多信息，请参阅关于背景噪声抑制效果。
没有无法理解的声音或声音失真，也就是说，在具有反射表面的大空间中说话时，不会出现混响。通过 maxine room 回声消除功能可实现消除。
为了获得更好的端到端质量，您可以组合 maxine audio effects 功能。有关如何构建具有卓越音质的虚拟协作和内容创建应用程序的更多信息，请参阅为虚拟协作和内容创建应用程序实现无噪音音频。
maxine 增强现实 sdk使您能够从网络摄像头视频中创建有趣且引人入胜的 ar 效果，并在应用程序中使用这些效果来吸引用户、了解用户情绪或创建 3d 照片逼真的化身。
maxine ar sdk 提供人脸跟踪、人脸地标跟踪和人脸网格功能（图 3 ）。
图 3 。 maxine ar 人脸相关特征示意图
面跟踪在面周围创建边界框，并随时间跟踪面位置。
人脸地标跟踪识别鼻子、眼睛和嘴唇等面部特征，并实时跟踪它们。
人脸网格用 3d 网格表示人脸， 3d 网格模拟用户实时变化的人脸，可用于人脸身份验证和构建化身。
人脸跟踪和人脸地标跟踪可用于跟踪驾驶员注意力，或用于面罩和眼镜检测应用。
使用 maxine body pose estimation 功能，您可以创建用于理解用户姿势的应用程序，并将其用于人体活动识别、运动传输和实时虚拟交互。
快速构建实时的端到端管道
在构建音频和视频管道时，开发人员通常自定义 ai 模型以实现所需的音频和视频效果。此外，他们的管道必须支持多种平台，如嵌入式、 pc 和服务器，还必须满足低延迟和高吞吐量的视频处理要求。事实证明，这样的管道是计算密集型的。通常在运营成本和音频和视频流质量之间进行权衡。
nvidia maxine 及其周围的生态系统完全有能力应对这一挑战。通过利用 nvidia gpu s 提供的加速功能和最先进的 ai 模型功能，您可以构建提供更好用户体验的应用程序，同时管理相关成本。这就是它的工作原理。
maxine ai 功能
nvidia maxine 的核心是三个 sdk ，它们提供多种 ai 功能。这些功能提高了视频分辨率，消除了音频和视频中的噪音，并提供了独特的功能。
围绕 maxine 的 nvidia 生态系统由两个关键产品 nvidia 视频编解码器 sdk和 nvidia riva 组成。
使用视频编解码器 sdk ，您可以访问提供硬件加速编码和解码功能的 nvnc 和 nvdec api 。
使用 nvidia riva ，您可以构建对话 ai ，通过提供转录和翻译等功能来帮助增强虚拟协作体验。
所有这些特性都是 gpu 加速的，因此可以处理的介质量远远高于基于 cpu 的管道。
例如，考虑一下德国的一个生产层经理，他与美国的高管们在关键业务决策上进行远程互动。工厂往往位于互联网连接有限的偏远地区，生产车间往往是淹没在大量背景噪音中的大房间。
使用 maxine 噪音消除功能，经理可以消除生产车间的背景噪音。
通过消除房间回声，他们可以消除音频混响。
通过 riva 翻译，生产车间经理和高管可以用他们喜欢的语言进行沟通。
通过视频噪声消除和超分辨率，一个嘈杂的 360p 视频被转换成清晰的 1440p 视频。
经理可以用干净的背景掩盖生产车间的杂乱。
图 4 强调了使用和不使用 maxine 时用户体验的巨大差异。
图 4 具有 maxine 生态系统的视频会议管道：maxine，视频编解码器和riva
模块化 maxine 设计产品的优势在于，您可以轻松选择和集成现有管道中所需的 sdk ，或者从头开始构建新的端到端管道。 maxine 和围绕 maxine 的生态系统使您能够快速构建一个高吞吐量的端到端管道，接收嘈杂的数据流，并将其实时转换为一种无噪音、高质量、高实用性的体验，可供所有设备使用。
使用 maxine sdk 的增压应用程序的真实示例
为了展示如何集成 maxine 特性，我们选择了几个实际示例，每个主要用例一个。
阿瓦亚空间
阿瓦亚空间是一个基于 cpaas 的现代会议和工作流协作平台，提供高清晰度视频会议、视频合成、会议录制、实时转录和云级别的持久协作。
avaya 的目标是实现大规模提供实时、高质量媒体服务的民主化，无论用户的设备质量如何，也不管用户在世界各地的位置如何，以浏览器为第一体验。为了实现这些目标并优化媒体处理， avaya 将底层基于云的 cpaas 与 nvidia maxine 技术相结合。
通过将一系列 gpu 连接到容器和虚拟机的云部署，可实现 100% 的正常运行时间。服务器根据需求进行旋转，便于与数千名参与者进行大规模、实时、双向视频交互会议。
avaya 使用 maxine noise remove 功能来满足计算成本高、延迟有限的预算，以满足人们对干净清晰的音频的需求，而无背景噪音，并且由于设备质量低和网络性能差，对音频和语音间隙的容忍度较低。与传统的 dsp 方法相比， maxine 噪声消除功能更强大，涵盖范围更广。它可以在不在端点上运行的情况下实现低延迟，但尽可能靠近网络边缘。此外，由于基于 ai 的算法延迟低于 40ms ，因此音频管道中没有缓冲。
avaya 还使用独特的 maxine 虚拟背景功能，将多个扬声器叠加在演示文稿上，以获得更具吸引力的演示文稿。最终用户不必拥有特殊的硬件或下载任何软件。他们可以在任何设备上实现这一点，并且可以灵活地创建不同类型的布局。
借助 maxine 虚拟背景功能， avaya 为移动和处于复杂体位的扬声器提供强大的视频分割。有关 maxine 如何使 avaya 提供专业、高质量、无处不在、可从任何平台访问的最终用户体验的更多信息，请参阅 avaya 最近的 gtc 课程 nvidia 的 maxine 如何改变我们的沟通方式。
notch
notch是一种用于 3d 、 vfx 和实时事件视觉效果的实时图形工具。为舞台表演创造效果通常需要一个单独的昂贵摄像头和跟踪解决方案来跟踪身体运动。在某些情况下，生成视觉效果对于处理完整的摄影机提要（包括背景）变得很棘手。
通过 maxine 实时人脸跟踪和身体姿势估计功能， notch 使艺术家能够通过减少对定制硬件跟踪系统的需求，大大简化现场活动舞台的设置。取而代之的是，凹口可以使用标准的摄像设备。用户可以进一步使用骨骼体数据的运动捕捉装备来控制 3d 角色动画。
通过 maxine ai 驱动的虚拟背景功能， notch 用户可以创建视频处理效果，将人与背景分开，并将处理仅应用于舞台上的人才或背景本身。这一简单的过程具有高分辨率和精度，适用于复杂条件，如深色衣服和复杂的照明条件。有关更多信息，请参阅演示视频切口 0 。 9 。 23 。 195 nvidia 贴片释放走查。
be.live
另一个使用 maxine 虚拟背景功能的例子是在实时流媒体空间。be.live是一个实时流媒体工作室，帮助企业、 smb 和零售商创建专业的实时流媒体，而无需学习曲线。它们在云中运行与虚拟背景相关的所有进程。
无论是希望与观众建立联系的小企业，还是建立雇主与雇员沟通的企业， maxine 和 be 。 live 都提供了一种解决方案，使顶层背景删除在主机后面没有绿色屏幕。除了享受高质量的背景，无需升级网络摄像头和工作室设置，用户还可以节省计算能力，体验更好的流媒体体验。
be 。 live 的目标是在 live commerce 生态系统中实施 maxine 虚拟背景创新，因为该技术可以帮助许多品牌在无需太多投资的情况下启动其实时购物流。
关于作者
about gordana neskovic
gordana neskovic 是ai/dl产品营销团队的成员，负责 nvidia maxine。在加入 nvidia 之前，gordana曾在vmware、wells fargo、pinterest、sfo-itt和kla tencor担任过各种产品营销、数据科学家、ai架构师和工程职位。她拥有博士学位。圣塔 clara 大学，塞尔维亚贝尔格莱德大学电气工程硕士和学士学位。
about tanay varshney
tanay varshney 是 nvidia 的一名深入学习的技术营销工程师，负责广泛的 dl 软件产品。他拥有纽约大学计算机科学硕士学位，专注于计算机视觉、数据可视化和城市分析的横断面。
工业节电器真的能省电吗
多样电池充电IC拓扑结构
测试助力GNSS及LBS的大规模商用应用 R&S公司参加GNSS应用国际论坛
三极管详细解析：定义，作用，判别，测量，选用
Allegro最近推出一款完全集成的小尺寸电源监控IC ACS71020
使用NVIDIA Maxine改善实时通信应用程序
哒哒游戏：打遍天下好游戏！
什么是偏置三通？如何使用偏置三通？如何改变HackRF的Bias-T电压？
我国5G第三阶段将是5G实现“18岁成人”之前的关键一步
关于单片机与嵌入式、操作系统与RTOS之间的那些事！
阿里旗下电商平台遭黑客入侵，110万账号信息泄露
AI的加持让小米成为“快过闪电”的MIUI10
全球可穿戴设备大涨 主要原因是无线耳机在疯狂增长
Harting推出三款工业物联网套件，可帮助企业部署工业物流网
通过数学模型来预测大脑中的药物效用如何
实现无线个人区域网络的替代方案分析
蜂蜜测试仪的功能及参数
英诺达发布RTL级功耗分析工具，助推IC高能效设计
AMD推三款服务器芯片 云服务较量英特尔
纯电动汽车在高速路上和市区里哪个更省电
狭窄的网络带宽和低质量的设备会产生不稳定且嘈杂的音频和视频输出。由于用户同时产生和消费音频和视频，因此可损坏流的数量增加，这一问题往往变得更加复杂。用户通过部署内容创建工具进一步加剧了音频和视频拥塞。
为了使您能够增强实时通信应用程序的实时音频和视频质量， nvidia maxine提供 gpu – 加速 sdk 来执行以下操作：
改进标准麦克风和网络摄像头经验通过视频效果、音频效果和 ar sdk 功能。
支持将多个音频、视频和增强现实功能实时链接到端到端管道中使用 maxine 构建新的或集成到已构建的端到端管道中。
包括转录和翻译当与 nvidia riva一起使用 maxine 时，这是一个用于构建对话 ai 应用程序的 sdk 。
简言之， maxine 为具有高音频和视频质量的虚拟协作和内容创建应用程序提供了最高的性能，无论是在 pc 机、内部部署还是在具有 gpu 的云数据中心。
在本文中，您将了解：
用户在使用 maxine sdk 进行实时通信应用时体验到的音频和视频增强功能。
使用 maxine 、 nvidia 视频编解码器 sdk和 riva 构建端到端管道的好处。
maxine sdk 的真实示例在视频会议、内容创建和实时流媒体应用程序中提供了集成功能。
图 1 与 maxine 和 riva sdk 的端到端管道
将标准音频和视频设备转换为智能设备
nvidia maxine 由视频特效 sdk 、音频特效 sdk 和 ar sdk 组成，具有 gpu – 经过数十万小时培训开发的最先进的人工智能加速功能。
使用maxine 视频效果 sdk，您可以将标准网络摄像头输入转换为高质量视频。视频改进如下：
图像更清晰，细节更丰富，通过 maxine 超分辨率和放大功能实现。
显著降低网络摄像头传感器类型、曝光和低照度造成的视频噪音集成了 maxine 视频降噪功能。
块状伪影、响声和蚊子噪音消除应用 maxine 伪影减少功能。
用户选择的虚拟背景，通过虚拟背景功能启用（图 2 ）。
有关如何使用标准网络摄像头输入运行这些效果并将其集成到应用程序中的更多信息，请参阅将嘈杂的低分辨率视频转换为高质量视频，为最终用户带来迷人的体验。
maxine 音频效果 sdk提供的人工智能模型可以消除几乎任何类型的音频噪音–阻碍窄带、宽带和超宽带音频，并提高通话质量。使用 maxine 解决音频质量差问题的好处如下：
没有不必要的背景噪音例如交流噪音、建筑噪音、交通噪音或键盘敲击声。有关通过噪声消除功能消除的背景噪声类型的完整列表的更多信息，请参阅关于背景噪声抑制效果。
没有无法理解的声音或声音失真，也就是说，在具有反射表面的大空间中说话时，不会出现混响。通过 maxine room 回声消除功能可实现消除。
为了获得更好的端到端质量，您可以组合 maxine audio effects 功能。有关如何构建具有卓越音质的虚拟协作和内容创建应用程序的更多信息，请参阅为虚拟协作和内容创建应用程序实现无噪音音频。
maxine 增强现实 sdk使您能够从网络摄像头视频中创建有趣且引人入胜的 ar 效果，并在应用程序中使用这些效果来吸引用户、了解用户情绪或创建 3d 照片逼真的化身。
maxine ar sdk 提供人脸跟踪、人脸地标跟踪和人脸网格功能（图 3 ）。
图 3 。 maxine ar 人脸相关特征示意图
面跟踪在面周围创建边界框，并随时间跟踪面位置。
人脸地标跟踪识别鼻子、眼睛和嘴唇等面部特征，并实时跟踪它们。
人脸网格用 3d 网格表示人脸， 3d 网格模拟用户实时变化的人脸，可用于人脸身份验证和构建化身。
人脸跟踪和人脸地标跟踪可用于跟踪驾驶员注意力，或用于面罩和眼镜检测应用。
使用 maxine body pose estimation 功能，您可以创建用于理解用户姿势的应用程序，并将其用于人体活动识别、运动传输和实时虚拟交互。
快速构建实时的端到端管道
在构建音频和视频管道时，开发人员通常自定义 ai 模型以实现所需的音频和视频效果。此外，他们的管道必须支持多种平台，如嵌入式、 pc 和服务器，还必须满足低延迟和高吞吐量的视频处理要求。事实证明，这样的管道是计算密集型的。通常在运营成本和音频和视频流质量之间进行权衡。
nvidia maxine 及其周围的生态系统完全有能力应对这一挑战。通过利用 nvidia gpu s 提供的加速功能和最先进的 ai 模型功能，您可以构建提供更好用户体验的应用程序，同时管理相关成本。这就是它的工作原理。
maxine ai 功能
nvidia maxine 的核心是三个 sdk ，它们提供多种 ai 功能。这些功能提高了视频分辨率，消除了音频和视频中的噪音，并提供了独特的功能。
围绕 maxine 的 nvidia 生态系统由两个关键产品 nvidia 视频编解码器 sdk和 nvidia riva 组成。
使用视频编解码器 sdk ，您可以访问提供硬件加速编码和解码功能的 nvnc 和 nvdec api 。
使用 nvidia riva ，您可以构建对话 ai ，通过提供转录和翻译等功能来帮助增强虚拟协作体验。
所有这些特性都是 gpu 加速的，因此可以处理的介质量远远高于基于 cpu 的管道。
例如，考虑一下德国的一个生产层经理，他与美国的高管们在关键业务决策上进行远程互动。工厂往往位于互联网连接有限的偏远地区，生产车间往往是淹没在大量背景噪音中的大房间。
使用 maxine 噪音消除功能，经理可以消除生产车间的背景噪音。
通过消除房间回声，他们可以消除音频混响。
通过 riva 翻译，生产车间经理和高管可以用他们喜欢的语言进行沟通。
通过视频噪声消除和超分辨率，一个嘈杂的 360p 视频被转换成清晰的 1440p 视频。
经理可以用干净的背景掩盖生产车间的杂乱。
图 4 强调了使用和不使用 maxine 时用户体验的巨大差异。
图 4 具有 maxine 生态系统的视频会议管道：maxine，视频编解码器和riva
模块化 maxine 设计产品的优势在于，您可以轻松选择和集成现有管道中所需的 sdk ，或者从头开始构建新的端到端管道。 maxine 和围绕 maxine 的生态系统使您能够快速构建一个高吞吐量的端到端管道，接收嘈杂的数据流，并将其实时转换为一种无噪音、高质量、高实用性的体验，可供所有设备使用。
使用 maxine sdk 的增压应用程序的真实示例
为了展示如何集成 maxine 特性，我们选择了几个实际示例，每个主要用例一个。
阿瓦亚空间
阿瓦亚空间是一个基于 cpaas 的现代会议和工作流协作平台，提供高清晰度视频会议、视频合成、会议录制、实时转录和云级别的持久协作。
avaya 的目标是实现大规模提供实时、高质量媒体服务的民主化，无论用户的设备质量如何，也不管用户在世界各地的位置如何，以浏览器为第一体验。为了实现这些目标并优化媒体处理， avaya 将底层基于云的 cpaas 与 nvidia maxine 技术相结合。
通过将一系列 gpu 连接到容器和虚拟机的云部署，可实现 100% 的正常运行时间。服务器根据需求进行旋转，便于与数千名参与者进行大规模、实时、双向视频交互会议。
avaya 使用 maxine noise remove 功能来满足计算成本高、延迟有限的预算，以满足人们对干净清晰的音频的需求，而无背景噪音，并且由于设备质量低和网络性能差，对音频和语音间隙的容忍度较低。与传统的 dsp 方法相比， maxine 噪声消除功能更强大，涵盖范围更广。它可以在不在端点上运行的情况下实现低延迟，但尽可能靠近网络边缘。此外，由于基于 ai 的算法延迟低于 40ms ，因此音频管道中没有缓冲。
avaya 还使用独特的 maxine 虚拟背景功能，将多个扬声器叠加在演示文稿上，以获得更具吸引力的演示文稿。最终用户不必拥有特殊的硬件或下载任何软件。他们可以在任何设备上实现这一点，并且可以灵活地创建不同类型的布局。
借助 maxine 虚拟背景功能， avaya 为移动和处于复杂体位的扬声器提供强大的视频分割。有关 maxine 如何使 avaya 提供专业、高质量、无处不在、可从任何平台访问的最终用户体验的更多信息，请参阅 avaya 最近的 gtc 课程 nvidia 的 maxine 如何改变我们的沟通方式。
notch
notch是一种用于 3d 、 vfx 和实时事件视觉效果的实时图形工具。为舞台表演创造效果通常需要一个单独的昂贵摄像头和跟踪解决方案来跟踪身体运动。在某些情况下，生成视觉效果对于处理完整的摄影机提要（包括背景）变得很棘手。
通过 maxine 实时人脸跟踪和身体姿势估计功能， notch 使艺术家能够通过减少对定制硬件跟踪系统的需求，大大简化现场活动舞台的设置。取而代之的是，凹口可以使用标准的摄像设备。用户可以进一步使用骨骼体数据的运动捕捉装备来控制 3d 角色动画。
通过 maxine ai 驱动的虚拟背景功能， notch 用户可以创建视频处理效果，将人与背景分开，并将处理仅应用于舞台上的人才或背景本身。这一简单的过程具有高分辨率和精度，适用于复杂条件，如深色衣服和复杂的照明条件。有关更多信息，请参阅演示视频切口 0 。 9 。 23 。 195 nvidia 贴片释放走查。
be.live
另一个使用 maxine 虚拟背景功能的例子是在实时流媒体空间。be.live是一个实时流媒体工作室，帮助企业、 smb 和零售商创建专业的实时流媒体，而无需学习曲线。它们在云中运行与虚拟背景相关的所有进程。
无论是希望与观众建立联系的小企业，还是建立雇主与雇员沟通的企业， maxine 和 be 。 live 都提供了一种解决方案，使顶层背景删除在主机后面没有绿色屏幕。除了享受高质量的背景，无需升级网络摄像头和工作室设置，用户还可以节省计算能力，体验更好的流媒体体验。
be 。 live 的目标是在 live commerce 生态系统中实施 maxine 虚拟背景创新，因为该技术可以帮助许多品牌在无需太多投资的情况下启动其实时购物流。
关于作者
about gordana neskovic
gordana neskovic 是ai/dl产品营销团队的成员，负责 nvidia maxine。在加入 nvidia 之前，gordana曾在vmware、wells fargo、pinterest、sfo-itt和kla tencor担任过各种产品营销、数据科学家、ai架构师和工程职位。她拥有博士学位。圣塔 clara 大学，塞尔维亚贝尔格莱德大学电气工程硕士和学士学位。
about tanay varshney
tanay varshney 是 nvidia 的一名深入学习的技术营销工程师，负责广泛的 dl 软件产品。他拥有纽约大学计算机科学硕士学位，专注于计算机视觉、数据可视化和城市分析的横断面。
工业节电器真的能省电吗
多样电池充电IC拓扑结构
测试助力GNSS及LBS的大规模商用应用 R&S公司参加GNSS应用国际论坛
三极管详细解析：定义，作用，判别，测量，选用
Allegro最近推出一款完全集成的小尺寸电源监控IC ACS71020
使用NVIDIA Maxine改善实时通信应用程序
哒哒游戏：打遍天下好游戏！
什么是偏置三通？如何使用偏置三通？如何改变HackRF的Bias-T电压？
我国5G第三阶段将是5G实现“18岁成人”之前的关键一步
关于单片机与嵌入式、操作系统与RTOS之间的那些事！
阿里旗下电商平台遭黑客入侵，110万账号信息泄露
AI的加持让小米成为“快过闪电”的MIUI10
全球可穿戴设备大涨 主要原因是无线耳机在疯狂增长
Harting推出三款工业物联网套件，可帮助企业部署工业物流网
通过数学模型来预测大脑中的药物效用如何
实现无线个人区域网络的替代方案分析
蜂蜜测试仪的功能及参数
英诺达发布RTL级功耗分析工具，助推IC高能效设计
AMD推三款服务器芯片 云服务较量英特尔
纯电动汽车在高速路上和市区里哪个更省电