NVIDIA RAPIDS加速器v21.08的功能应用
介绍
用于apache spark 的 rapids 加速器 8 月版（ 21.08 ）现已发布。自 nvidia gtc 2020 首次发布以来，已经有很长时间了。我们在许多方面都有所改进，特别是在易用性方面， apache spark 应用程序的代码更改很少甚至没有。去年，该团队一直专注于添加功能和持续改进性能。为了证明这一点，我们使用 nvidia 数据科学（ nds ）基准测试了定期测量在 3000 （ 3 tb 未压缩）的比例因子下的性能和功能。在此版本中，除了添加新功能外，我们非常自豪地在提高所有通过查询的端到端速度和降低 nvidia egx 服务器的总体拥有成本方面取得了进展。
基准更新
nvidia 决策支持（ nds ）是我们对 apache spark 社区常用的行业标准数据科学基准的改编。 nds 包含与行业标准基准测试 tpc-ds 相同的 105 个 sql 查询，但修改了数据集生成和执行脚本的部分。在 gtc 2021 更新中，有 95 个查询通过。在 21.08 版本中，通过核心外分组方式、窗口排名和密集排名等新功能，我们已经能够在 gpu 上运行所有 105 个查询。
基准设置
比例因子 -3k （带浮点数的 3tb 数据集）
systems： 4x nvidia 认证 egx 服务器
egx 服务器硬件规格： 4-node dell r740xd， each with （2） 24-core cpus， 512gb ram， hdfs on nvme， （1） cx-6 dx 25/100gb nic， 2x nvidia a30 gpu
cpu 硬件规格： 4-node dell r740xd ， each with （ 2 ） 24-core cpu s ， 512gb ram ， hdfs on nvme ，（ 1 ） cx-6 dx 25 / 100gb nic
软件： rapids 加速器 v21.08.0 、 cudf 21.08.0 、 apache spark 3.1.1 、 ucx 1.10.1
图 1 ： egx 服务器上的 nds 查询速度： gpu vs cpu 。
基于此版本，我们很高兴地向大家展示，所有 105 个查询现在都可以在 gpu 上运行，而无需任何代码更改。
用于这些基准测试的基准服务器对于四台没有 gpu s 的服务器的成本略低于 170000 美元，而在每台服务器中包含一台 nvidia a100 gpu 的成本则低于 220000 美元。
简单来说，基准 gpu 服务器的成本是 cpu 服务器的 1.29 倍。
如上图所示（图 1 ），超过 95 个查询现在比 gpu 快 1.29 倍，因此运行起来更便宜。
gpu 上一些速度较慢的查询目前正在解决中，我们正在不懈地努力改进这些查询并提高总体速度。
用户可以很容易地推断出 gpu 的加速从 1x 到 18x 不等，因此建议用户确认 gpu 的正确用例。
如果用户不确定 gpu 的正确用例，鉴定工具将是一个方便的资产。有关鉴定工具的更多信息，请参阅以下章节。
分析和鉴定工具
分析与鉴定工具于 21.06 发布，获得了用户社区的积极反馈以及对新功能的要求。在 21.08 中，鉴定工具现在能够处理 apache spark 2.x 版本生成的事件日志。该工具还将支持 aws emr 6.3.0 、 google dataproc 2. 0 、 microsoft azure synapse 以及 dataricks 7.3 和 8.2 运行时生成的事件日志。鉴定工具不再需要 spark 运行时。用户现在只需在机器上使用 apache spark 3.x jar 即可使用鉴定工具。最新版本还具有选择事件日志的新过滤功能。该工具还查找插件不支持的读取数据格式和类型，并从分数中删除这些格式和类型（基于 sql dataframe 操作中的总任务时间）。输出将以简洁的格式报告在终端上，对每个已处理事件日志的详细分析将存储为 csv 输出。
新功能
此版本为数组和结构添加了更多功能。我们现在可以对多层结构数据类型进行联合，也可以以拼花格式编写数组数据类型。我们在现有的超前、滞后和行号功能中添加了秩和密集秩窗口功能。有了这一新增功能， rapids 加速器现在可以支持 sql 中最常用的窗口运算符。对于时间戳操作符，我们添加了对遗留时间戳的支持。使用此功能，用户可以读取 spark 2.0 中支持的传统时间戳格式。对于 databricks 用户，我们添加了在 gpu 中缓存数据的功能（所有其他平台都支持这种功能）。
我们通过处理 gpu 内存溢出的数据集以进行分组和窗口操作，继续改善用户体验。这一改进将节省用户创建分区的时间，以避免 gpu 上出现内存不足错误。类似地， ucx 1.11 的采用改进了 rapids spark 加速洗牌管理器的错误处理。
关于作者
eric rife 是 nvdia 数据科学公司的技术营销经理。他是一名高级专业人员，拥有 25 年的管理和工程经验，设计和管理全天候关键任务企业系统，包括 unix / linux / windows 服务器、应用程序服务器和多 pb 存储解决方案。他目前领导 nvidia 的工作，帮助基础设施经理和数据科学家重新思考如何加快 ai 在企业业务应用中的应用。
axure中继器实现实时搜索
宏控多媒体中央控制系统操作知识
全新OPPO Reno5 Pro+重磅发布
采购人员必看的集成电路芯片辩别知识
realmeX2Pro高清图集
NVIDIA RAPIDS加速器v21.08的功能应用
51单片机温度测量系统Proteus仿真
电瓶修复之电池热烫技术分析下
关于踊跃报名参加第六届中国创新创业大赛深圳赛区的通知
微雪电子5.83寸黄黑白三色墨水屏介绍
国产时钟IC-AiP8563替代AT8563/HYM8563/PCF8563，主要运用在RK方案上面
体验混合自动化：倍加福将“数字博览会”与其在SPS 2021的展示相结合
无线充电器充电手机发烫正常吗 无线充电器手机放上去无反应
布谷：拥抱智能，打造互联网新品牌
魅族魅蓝Note6怎么样？魅蓝Note6评测：高颜值高性能长续航，价格仅需1099值得购买
AKGN200WIRELESS体验 一款精确定位运动人群的无线耳机
【案例】高精密微米加工机床 微纳加工技术工艺
LED行业面临更大危机 多家上市公司或成ST？
成都预计将在2020年实现首个万亿级产业集群，建成国际知名电子信息产业基地
京东组团打造推广联盟 OLED电视爆发在即
用于apache spark 的 rapids 加速器 8 月版（ 21.08 ）现已发布。自 nvidia gtc 2020 首次发布以来，已经有很长时间了。我们在许多方面都有所改进，特别是在易用性方面， apache spark 应用程序的代码更改很少甚至没有。去年，该团队一直专注于添加功能和持续改进性能。为了证明这一点，我们使用 nvidia 数据科学（ nds ）基准测试了定期测量在 3000 （ 3 tb 未压缩）的比例因子下的性能和功能。在此版本中，除了添加新功能外，我们非常自豪地在提高所有通过查询的端到端速度和降低 nvidia egx 服务器的总体拥有成本方面取得了进展。
基准更新
nvidia 决策支持（ nds ）是我们对 apache spark 社区常用的行业标准数据科学基准的改编。 nds 包含与行业标准基准测试 tpc-ds 相同的 105 个 sql 查询，但修改了数据集生成和执行脚本的部分。在 gtc 2021 更新中，有 95 个查询通过。在 21.08 版本中，通过核心外分组方式、窗口排名和密集排名等新功能，我们已经能够在 gpu 上运行所有 105 个查询。
基准设置
比例因子 -3k （带浮点数的 3tb 数据集）
systems： 4x nvidia 认证 egx 服务器
egx 服务器硬件规格： 4-node dell r740xd， each with （2） 24-core cpus， 512gb ram， hdfs on nvme， （1） cx-6 dx 25/100gb nic， 2x nvidia a30 gpu
cpu 硬件规格： 4-node dell r740xd ， each with （ 2 ） 24-core cpu s ， 512gb ram ， hdfs on nvme ，（ 1 ） cx-6 dx 25 / 100gb nic
软件： rapids 加速器 v21.08.0 、 cudf 21.08.0 、 apache spark 3.1.1 、 ucx 1.10.1
图 1 ： egx 服务器上的 nds 查询速度： gpu vs cpu 。
基于此版本，我们很高兴地向大家展示，所有 105 个查询现在都可以在 gpu 上运行，而无需任何代码更改。
用于这些基准测试的基准服务器对于四台没有 gpu s 的服务器的成本略低于 170000 美元，而在每台服务器中包含一台 nvidia a100 gpu 的成本则低于 220000 美元。
简单来说，基准 gpu 服务器的成本是 cpu 服务器的 1.29 倍。
如上图所示（图 1 ），超过 95 个查询现在比 gpu 快 1.29 倍，因此运行起来更便宜。
gpu 上一些速度较慢的查询目前正在解决中，我们正在不懈地努力改进这些查询并提高总体速度。
用户可以很容易地推断出 gpu 的加速从 1x 到 18x 不等，因此建议用户确认 gpu 的正确用例。
如果用户不确定 gpu 的正确用例，鉴定工具将是一个方便的资产。有关鉴定工具的更多信息，请参阅以下章节。
分析和鉴定工具
分析与鉴定工具于 21.06 发布，获得了用户社区的积极反馈以及对新功能的要求。在 21.08 中，鉴定工具现在能够处理 apache spark 2.x 版本生成的事件日志。该工具还将支持 aws emr 6.3.0 、 google dataproc 2. 0 、 microsoft azure synapse 以及 dataricks 7.3 和 8.2 运行时生成的事件日志。鉴定工具不再需要 spark 运行时。用户现在只需在机器上使用 apache spark 3.x jar 即可使用鉴定工具。最新版本还具有选择事件日志的新过滤功能。该工具还查找插件不支持的读取数据格式和类型，并从分数中删除这些格式和类型（基于 sql dataframe 操作中的总任务时间）。输出将以简洁的格式报告在终端上，对每个已处理事件日志的详细分析将存储为 csv 输出。
新功能
此版本为数组和结构添加了更多功能。我们现在可以对多层结构数据类型进行联合，也可以以拼花格式编写数组数据类型。我们在现有的超前、滞后和行号功能中添加了秩和密集秩窗口功能。有了这一新增功能， rapids 加速器现在可以支持 sql 中最常用的窗口运算符。对于时间戳操作符，我们添加了对遗留时间戳的支持。使用此功能，用户可以读取 spark 2.0 中支持的传统时间戳格式。对于 databricks 用户，我们添加了在 gpu 中缓存数据的功能（所有其他平台都支持这种功能）。
我们通过处理 gpu 内存溢出的数据集以进行分组和窗口操作，继续改善用户体验。这一改进将节省用户创建分区的时间，以避免 gpu 上出现内存不足错误。类似地， ucx 1.11 的采用改进了 rapids spark 加速洗牌管理器的错误处理。
关于作者
eric rife 是 nvdia 数据科学公司的技术营销经理。他是一名高级专业人员，拥有 25 年的管理和工程经验，设计和管理全天候关键任务企业系统，包括 unix / linux / windows 服务器、应用程序服务器和多 pb 存储解决方案。他目前领导 nvidia 的工作，帮助基础设施经理和数据科学家重新思考如何加快 ai 在企业业务应用中的应用。
axure中继器实现实时搜索
宏控多媒体中央控制系统操作知识
全新OPPO Reno5 Pro+重磅发布
采购人员必看的集成电路芯片辩别知识
realmeX2Pro高清图集
NVIDIA RAPIDS加速器v21.08的功能应用
51单片机温度测量系统Proteus仿真
电瓶修复之电池热烫技术分析下
关于踊跃报名参加第六届中国创新创业大赛深圳赛区的通知
微雪电子5.83寸黄黑白三色墨水屏介绍
国产时钟IC-AiP8563替代AT8563/HYM8563/PCF8563，主要运用在RK方案上面
体验混合自动化：倍加福将“数字博览会”与其在SPS 2021的展示相结合
无线充电器充电手机发烫正常吗 无线充电器手机放上去无反应
布谷：拥抱智能，打造互联网新品牌
魅族魅蓝Note6怎么样？魅蓝Note6评测：高颜值高性能长续航，价格仅需1099值得购买
AKGN200WIRELESS体验 一款精确定位运动人群的无线耳机
【案例】高精密微米加工机床 微纳加工技术工艺
LED行业面临更大危机 多家上市公司或成ST？
成都预计将在2020年实现首个万亿级产业集群，建成国际知名电子信息产业基地
京东组团打造推广联盟 OLED电视爆发在即