介绍
用于apache spark 的 rapids 加速器 8 月版( 21.08 )现已发布。自 nvidia gtc 2020 首次发布以来,已经有很长时间了。我们在许多方面都有所改进,特别是在易用性方面, apache spark 应用程序的代码更改很少甚至没有。去年,该团队一直专注于添加功能和持续改进性能。为了证明这一点,我们使用 nvidia 数据科学( nds )基准测试了定期测量在 3000 ( 3 tb 未压缩)的比例因子下的性能和功能。在此版本中,除了添加新功能外,我们非常自豪地在提高所有通过查询的端到端速度和降低 nvidia egx 服务器的总体拥有成本方面取得了进展。
基准更新
nvidia 决策支持( nds )是我们对 apache spark 社区常用的行业标准数据科学基准的改编。 nds 包含与行业标准基准测试 tpc-ds 相同的 105 个 sql 查询,但修改了数据集生成和执行脚本的部分。在 gtc 2021 更新中,有 95 个查询通过。在 21.08 版本中,通过核心外分组方式、窗口排名和密集排名等新功能,我们已经能够在 gpu 上运行所有 105 个查询。
基准设置
比例因子 -3k (带浮点数的 3tb 数据集)
systems: 4x nvidia 认证 egx 服务器
egx 服务器硬件规格: 4-node dell r740xd, each with (2) 24-core cpus, 512gb ram, hdfs on nvme, (1) cx-6 dx 25/100gb nic, 2x nvidia a30 gpu
cpu 硬件规格: 4-node dell r740xd , each with ( 2 ) 24-core cpu s , 512gb ram , hdfs on nvme ,( 1 ) cx-6 dx 25 / 100gb nic
软件: rapids 加速器 v21.08.0 、 cudf 21.08.0 、 apache spark 3.1.1 、 ucx 1.10.1
图 1 : egx 服务器上的 nds 查询速度: gpu vs cpu 。
基于此版本,我们很高兴地向大家展示,所有 105 个查询现在都可以在 gpu 上运行,而无需任何代码更改。
用于这些基准测试的基准服务器对于四台没有 gpu s 的服务器的成本略低于 170000 美元,而在每台服务器中包含一台 nvidia a100 gpu 的成本则低于 220000 美元。
简单来说,基准 gpu 服务器的成本是 cpu 服务器的 1.29 倍。
如上图所示(图 1 ),超过 95 个查询现在比 gpu 快 1.29 倍,因此运行起来更便宜。
gpu 上一些速度较慢的查询目前正在解决中,我们正在不懈地努力改进这些查询并提高总体速度。
用户可以很容易地推断出 gpu 的加速从 1x 到 18x 不等,因此建议用户确认 gpu 的正确用例。
如果用户不确定 gpu 的正确用例,鉴定工具将是一个方便的资产。有关鉴定工具的更多信息,请参阅以下章节。
分析和鉴定工具
分析与鉴定工具于 21.06 发布,获得了用户社区的积极反馈以及对新功能的要求。在 21.08 中,鉴定工具现在能够处理 apache spark 2.x 版本生成的事件日志。该工具还将支持 aws emr 6.3.0 、 google dataproc 2. 0 、 microsoft azure synapse 以及 dataricks 7.3 和 8.2 运行时生成的事件日志。鉴定工具不再需要 spark 运行时。用户现在只需在机器上使用 apache spark 3.x jar 即可使用鉴定工具。最新版本还具有选择事件日志的新过滤功能。该工具还查找插件不支持的读取数据格式和类型,并从分数中删除这些格式和类型(基于 sql dataframe 操作中的总任务时间)。输出将以简洁的格式报告在终端上,对每个已处理事件日志的详细分析将存储为 csv 输出。
新功能
此版本为数组和结构添加了更多功能。我们现在可以对多层结构数据类型进行联合,也可以以拼花格式编写数组数据类型。我们在现有的超前、滞后和行号功能中添加了秩和密集秩窗口功能。有了这一新增功能, rapids 加速器现在可以支持 sql 中最常用的窗口运算符。对于时间戳操作符,我们添加了对遗留时间戳的支持。使用此功能,用户可以读取 spark 2.0 中支持的传统时间戳格式。对于 databricks 用户,我们添加了在 gpu 中缓存数据的功能(所有其他平台都支持这种功能)。
我们通过处理 gpu 内存溢出的数据集以进行分组和窗口操作,继续改善用户体验。这一改进将节省用户创建分区的时间,以避免 gpu 上出现内存不足错误。类似地, ucx 1.11 的采用改进了 rapids spark 加速洗牌管理器的错误处理。
关于作者
eric rife 是 nvdia 数据科学公司的技术营销经理。他是一名高级专业人员,拥有 25 年的管理和工程经验,设计和管理全天候关键任务企业系统,包括 unix / linux / windows 服务器、应用程序服务器和多 pb 存储解决方案。他目前领导 nvidia 的工作,帮助基础设施经理和数据科学家重新思考如何加快 ai 在企业业务应用中的应用。
axure中继器实现实时搜索
宏控多媒体中央控制系统操作知识
全新OPPO Reno5 Pro+重磅发布
采购人员必看的集成电路芯片辩别知识
realmeX2Pro高清图集
NVIDIA RAPIDS加速器v21.08的功能应用
51单片机温度测量系统Proteus仿真
电瓶修复之电池热烫技术分析下
关于踊跃报名参加第六届中国创新创业大赛深圳赛区的通知
微雪电子5.83寸黄黑白三色墨水屏介绍
国产时钟IC-AiP8563替代AT8563/HYM8563/PCF8563,主要运用在RK方案上面
体验混合自动化:倍加福将“数字博览会”与其在SPS 2021的展示相结合
无线充电器充电手机发烫正常吗 无线充电器手机放上去无反应
布谷:拥抱智能,打造互联网新品牌
魅族魅蓝Note6怎么样?魅蓝Note6评测:高颜值高性能长续航,价格仅需1099值得购买
AKGN200WIRELESS体验 一款精确定位运动人群的无线耳机
【案例】高精密微米加工机床 微纳加工技术工艺
LED行业面临更大危机 多家上市公司或成ST?
成都预计将在2020年实现首个万亿级产业集群,建成国际知名电子信息产业基地
京东组团打造推广联盟 OLED电视爆发在即