CUDA简介：CUDA编程模型和接口
本项目为cuda官方手册的中文翻译版，有个人翻译并添加自己的理解。主要介绍cuda编程模型和接口。
1.1 我们为什么要使用gpu
gpu（graphics processing unit）在相同的价格和功率范围内，比cpu提供更高的指令吞吐量和内存带宽。许多应用程序利用这些更高的能力，在gpu上比在cpu上运行得更快（参见gpu应用程序）。其他计算设备，如fpga，也非常节能，但提供的编程灵活性要比gpu少得多。
gpu和cpu在功能上的差异是因为它们的设计目标不同。虽然 cpu 旨在以尽可能快的速度执行一系列称为线程的操作，并且可以并行执行数十个这样的线程。但gpu却能并行执行成千上万个（摊销较慢的单线程性能以实现更大的吞吐量）。
gpu 专门用于高度并行计算，因此设计时更多的晶体管用于数据处理，而不是数据缓存和流量控制。
下图显示了 cpu 与 gpu 的芯片资源分布示例。
将更多晶体管用于数据处理，例如浮点计算，有利于高度并行计算。gpu可以通过计算隐藏内存访问延迟，而不是依靠大数据缓存和复杂的流控制来避免长时间的内存访问延迟，这两者在晶体管方面都是昂贵的。
1.2 cuda®：通用并行计算平台和编程模型
2006 年 11 月，nvidia® 推出了 cuda®，这是一种通用并行计算平台和编程模型，它利用 nvidia gpu 中的并行计算引擎以比 cpu 更有效的方式解决许多复杂的计算问题。
cuda 附带一个软件环境，允许开发人员使用 c++ 作为高级编程语言。 如下图所示，支持其他语言、应用程序编程接口或基于指令的方法，例如 fortran、directcompute、openacc。
1.3 可扩展的编程模型
多核 cpu 和众核 gpu 的出现意味着主流处理器芯片现在是并行系统。挑战在于开发能够透明地扩展可并行的应用软件，来利用不断增加的处理器内核数量。就像 3d 图形应用程序透明地将其并行性扩展到具有广泛不同内核数量的多核 gpu 一样。
cuda 并行编程模型旨在克服这一挑战，同时为熟悉 c 等标准编程语言的程序员保持较低的学习曲线。
其核心是三个关键抽象——线程组的层次结构、共享内存和屏障同步——它们只是作为最小的语言扩展集向程序员公开。
这些抽象提供了细粒度的数据并行和线程并行，嵌套在粗粒度的数据并行和任务并行中。它们指导程序员将问题划分为可以由线程块并行独立解决的粗略子问题，并将每个子问题划分为可以由块内所有线程并行协作解决的更精细的部分。
这种分解通过允许线程在解决每个子问题时进行协作来保留语言表达能力，同时实现自动可扩展性。实际上，每个线程块都可以在 gpu 内的任何可用multiprocessor上以乱序、并发或顺序调度，以便编译的 cuda 程序可以在任意数量的多处理器上执行，如下图所示，并且只有运行时系统需要知道物理multiprocessor个数。
这种可扩展的编程模型允许 gpu 架构通过简单地扩展multiprocessor和内存分区的数量来跨越广泛的市场范围：高性能发烧友 geforce gpu ，专业的 quadro 和 tesla 计算产品 （有关所有支持 cuda 的 gpu 的列表，请参阅支持 cuda 的 gpu）。
注意：gpu 是围绕一系列流式多处理器 （sm： streaming multiprocessors） 构建的（有关详细信息，请参阅硬件实现）。 多线程程序被划分为彼此独立执行的线程块，因此具有更多multiprocessor的 gpu 将比具有更少多处理器的 gpu 在更短的时间内完成程序执行。
关于作者
ken he 是 nvidia 企业级开发者社区经理 & 高级讲师，拥有多年的 gpu 和人工智能开发经验。自 2017 年加入 nvidia 开发者社区以来，完成过上百场培训，帮助上万个开发者了解人工智能和 gpu 编程开发。在计算机视觉，高性能计算领域完成过多个独立项目。并且，在机器人和无人机领域，有过丰富的研发经验。对于图像识别，目标的检测与跟踪完成过多种解决方案。曾经参与 gpu 版气象模式grapes，是其主要研发者。
国家网信办即日起对手机浏览器进行专项集中整治
白皮书下载｜NFC何以成为减碳利器
四方伟业：大数据行业产品持续更新迭代，未来有望保持稳定增长
经敢于和腾讯扳手腕的360为啥现在不行了
如何对ph传感器进行保养和清洗
CUDA简介：CUDA编程模型和接口
英飞凌提供各式完整电动/园林应用方案
面试Linux运维工作至少需要知道哪些知识运维的现状及发展前景分析
如何实现MQTT网关连接各类工业设备，实现远程监控与维护
华为云时习知助力华为终端全球零售门店，打造数字化人才培养最佳实践
中国蓄电池电池企业
AmiPIC18 LCD防护罩的介绍
吉利的新电动车平台迎来SmartCore集成座舱域控制器
电缆是软的吗 电缆和电线怎样区分
【聚焦全国人大】电力体制改革将全面升级
商飞被制裁，我们的航空制造业还有哪些课要补？
中国手机品牌占据非洲市场主要份额
腾讯安全发布了新一代应用安全产品 为智慧医疗保驾护航
中国电信云网一体助力数字孪生应用开花
构建配电物联网技术体系，推动传统配电网向能源互联网演进
1.1 我们为什么要使用gpu
gpu（graphics processing unit）在相同的价格和功率范围内，比cpu提供更高的指令吞吐量和内存带宽。许多应用程序利用这些更高的能力，在gpu上比在cpu上运行得更快（参见gpu应用程序）。其他计算设备，如fpga，也非常节能，但提供的编程灵活性要比gpu少得多。
gpu和cpu在功能上的差异是因为它们的设计目标不同。虽然 cpu 旨在以尽可能快的速度执行一系列称为线程的操作，并且可以并行执行数十个这样的线程。但gpu却能并行执行成千上万个（摊销较慢的单线程性能以实现更大的吞吐量）。
gpu 专门用于高度并行计算，因此设计时更多的晶体管用于数据处理，而不是数据缓存和流量控制。
下图显示了 cpu 与 gpu 的芯片资源分布示例。
将更多晶体管用于数据处理，例如浮点计算，有利于高度并行计算。gpu可以通过计算隐藏内存访问延迟，而不是依靠大数据缓存和复杂的流控制来避免长时间的内存访问延迟，这两者在晶体管方面都是昂贵的。
1.2 cuda®：通用并行计算平台和编程模型
2006 年 11 月，nvidia® 推出了 cuda®，这是一种通用并行计算平台和编程模型，它利用 nvidia gpu 中的并行计算引擎以比 cpu 更有效的方式解决许多复杂的计算问题。
cuda 附带一个软件环境，允许开发人员使用 c++ 作为高级编程语言。 如下图所示，支持其他语言、应用程序编程接口或基于指令的方法，例如 fortran、directcompute、openacc。
1.3 可扩展的编程模型
多核 cpu 和众核 gpu 的出现意味着主流处理器芯片现在是并行系统。挑战在于开发能够透明地扩展可并行的应用软件，来利用不断增加的处理器内核数量。就像 3d 图形应用程序透明地将其并行性扩展到具有广泛不同内核数量的多核 gpu 一样。
cuda 并行编程模型旨在克服这一挑战，同时为熟悉 c 等标准编程语言的程序员保持较低的学习曲线。
其核心是三个关键抽象——线程组的层次结构、共享内存和屏障同步——它们只是作为最小的语言扩展集向程序员公开。
这些抽象提供了细粒度的数据并行和线程并行，嵌套在粗粒度的数据并行和任务并行中。它们指导程序员将问题划分为可以由线程块并行独立解决的粗略子问题，并将每个子问题划分为可以由块内所有线程并行协作解决的更精细的部分。
这种分解通过允许线程在解决每个子问题时进行协作来保留语言表达能力，同时实现自动可扩展性。实际上，每个线程块都可以在 gpu 内的任何可用multiprocessor上以乱序、并发或顺序调度，以便编译的 cuda 程序可以在任意数量的多处理器上执行，如下图所示，并且只有运行时系统需要知道物理multiprocessor个数。
这种可扩展的编程模型允许 gpu 架构通过简单地扩展multiprocessor和内存分区的数量来跨越广泛的市场范围：高性能发烧友 geforce gpu ，专业的 quadro 和 tesla 计算产品 （有关所有支持 cuda 的 gpu 的列表，请参阅支持 cuda 的 gpu）。
注意：gpu 是围绕一系列流式多处理器 （sm： streaming multiprocessors） 构建的（有关详细信息，请参阅硬件实现）。 多线程程序被划分为彼此独立执行的线程块，因此具有更多multiprocessor的 gpu 将比具有更少多处理器的 gpu 在更短的时间内完成程序执行。
关于作者
ken he 是 nvidia 企业级开发者社区经理 & 高级讲师，拥有多年的 gpu 和人工智能开发经验。自 2017 年加入 nvidia 开发者社区以来，完成过上百场培训，帮助上万个开发者了解人工智能和 gpu 编程开发。在计算机视觉，高性能计算领域完成过多个独立项目。并且，在机器人和无人机领域，有过丰富的研发经验。对于图像识别，目标的检测与跟踪完成过多种解决方案。曾经参与 gpu 版气象模式grapes，是其主要研发者。
国家网信办即日起对手机浏览器进行专项集中整治
白皮书下载｜NFC何以成为减碳利器
四方伟业：大数据行业产品持续更新迭代，未来有望保持稳定增长
经敢于和腾讯扳手腕的360为啥现在不行了
如何对ph传感器进行保养和清洗
CUDA简介：CUDA编程模型和接口
英飞凌提供各式完整电动/园林应用方案
面试Linux运维工作至少需要知道哪些知识运维的现状及发展前景分析
如何实现MQTT网关连接各类工业设备，实现远程监控与维护
华为云时习知助力华为终端全球零售门店，打造数字化人才培养最佳实践
中国蓄电池电池企业
AmiPIC18 LCD防护罩的介绍
吉利的新电动车平台迎来SmartCore集成座舱域控制器
电缆是软的吗 电缆和电线怎样区分
【聚焦全国人大】电力体制改革将全面升级
商飞被制裁，我们的航空制造业还有哪些课要补？
中国手机品牌占据非洲市场主要份额
腾讯安全发布了新一代应用安全产品 为智慧医疗保驾护航
中国电信云网一体助力数字孪生应用开花
构建配电物联网技术体系，推动传统配电网向能源互联网演进