并行计算平台和NVIDIA编程模型CUDA的更简单介绍
这篇文章是对 cuda 的一个超级简单的介绍，这是一个流行的并行计算平台和 nvidia 的编程模型。我在 2013 年给 cuda 写了一篇前一篇 “简单介绍” ，这几年来非常流行。但是 cuda 编程变得越来越简单， gpus 也变得更快了，所以是时候更新（甚至更容易）介绍了。
cuda c ++只是使用 cuda 创建大规模并行应用程序的一种方式。它让您使用强大的 c ++编程语言来开发由数千个并行线程加速的高性能算法 gpus 。许多开发人员已经用这种方式加速了他们对计算和带宽需求巨大的应用程序，包括支持人工智能正在进行的革命的库和框架 深度学习 。
所以，您已经听说了 cuda ，您有兴趣学习如何在自己的应用程序中使用它。如果你是 c 或 c ++程序员，这个博客应该给你一个好的开始。接下来，您需要一台具有 cuda – 功能的 gpu 计算机（ windows 、 mac 或 linux ，以及任何 nvidia gpu 都可以），或者需要一个具有 gpus 的云实例（ aws 、 azure 、 ibm 软层和其他云服务提供商都有）。您还需要安装免费的 cuda 工具箱 。
我们开始吧！
从简单开始 我们将从一个简单的 c ++程序开始，它添加两个数组的元素，每个元素有一百万个元素。
#include #include // function to add the elements of two arraysvoid add(int n, float *x, float *y){ for (int i = 0; i < n; i++) y[i] = x[i] + y[i];} int main(void){ int n = 1<<20; // 1m elements float *x = new float[n]; float *y = new float[n]; // initialize x and y arrays on the host for (int i = 0; i < n; i++) { x[i] = 1.0f; y[i] = 2.0f; } // run kernel on 1m elements on the cpu add(n, x, y); // check for errors (all values should be 3.0f) float maxerror = 0.0f; for (int i = 0; i < n; i++) maxerror = fmax(maxerror, fabs(y[i]-3.0f)); std::cout << max error: << maxerror < clang++ add.cpp -o add 然后运行它：
> ./add max error: 0.000000 （在 windows 上，您可能需要命名可执行文件添加. exe 并使用 .dd 运行它。）
正如预期的那样，它打印出求和中没有错误，然后退出。现在我想让这个计算在 gpu 的多个核心上运行（并行）。其实迈出第一步很容易。
首先，我只需要将我们的 add 函数转换成 gpu 可以运行的函数，在 cuda 中称为 内核 。要做到这一点，我所要做的就是把说明符 __global__ 添加到函数中，它告诉 cuda c ++编译器，这是一个在 gpu 上运行的函数，可以从 cpu 代码调用。
// cuda kernel function to add the elements of two arrays on the gpu__global__void add(int n, float *x, float *y){ for (int i = 0; i < n; i++) y[i] = x[i] + y[i];} 这些 __global__ 函数被称为 果仁 ，在 gpu 上运行的代码通常称为 设备代码 ，而在 cpu 上运行的代码是 主机代码 。
cuda 中的内存分配 为了在 gpu 上计算，我需要分配 gpu 可访问的内存， cuda 中的 统一存储器 通过提供一个系统中所有 gpus 和 cpu 都可以访问的内存空间，这使得这一点变得简单。要在统一内存中分配数据，请调用 cudamallocmanaged() ，它返回一个指针，您可以从主机（ cpu ）代码或设备（ gpu ）代码访问该指针。要释放数据，只需将指针传递到 cudafree() 。
我只需要将上面代码中对 new 的调用替换为对 cudamallocmanaged() 的调用，并将对 delete [] 的调用替换为对 cudafree. 的调用
// allocate unified memory -- accessible from cpu or gpu float *x, *y; cudamallocmanaged(&x, n*sizeof(float)); cudamallocmanaged(&y, n*sizeof(float)); ... // free memory cudafree(x); cudafree(y); 最后，我需要 发射 内核，它在 add() 上调用它。 cuda 内核启动是使用三角括号语法指定的。我只需要在参数列表之前将它添加到对 cuda 的调用中。
add<<>>(n, x, y); 容易的！我很快将详细介绍尖括号内的内容；现在您只需要知道这行代码启动了一个 gpu 线程来运行 add() 。
还有一件事：我需要 cpu 等到内核完成后再访问结果（因为 cuda 内核启动不会阻塞调用的 cpu 线程）。为此，我只需在对 cpu 进行最后的错误检查之前调用 cudadevicesynchronize() 。
以下是完整的代码：
#include #include // kernel function to add the elements of two arrays__global__void add(int n, float *x, float *y){ for (int i = 0; i < n; i++) y[i] = x[i] + y[i];} int main(void){ int n = 1<<20; float *x, *y; // allocate unified memory – accessible from cpu or gpu cudamallocmanaged(&x, n*sizeof(float)); cudamallocmanaged(&y, n*sizeof(float)); // initialize x and y arrays on the host for (int i = 0; i < n; i++) { x[i] = 1.0f; y[i] = 2.0f; } // run kernel on 1m elements on the gpu add<<>>(n, x, y); // wait for gpu to finish before accessing on host cudadevicesynchronize(); // check for errors (all values should be 3.0f) float maxerror = 0.0f; for (int i = 0; i < n; i++) maxerror = fmax(maxerror, fabs(y[i]-3.0f)); std::cout << max error: << maxerror < nvcc add.cu -o add_cuda> ./add_cudamax error: 0.000000 这只是第一步，因为正如所写的，这个内核只适用于一个线程，因为运行它的每个线程都将在整个数组上执行 add 。此外，还有一个 竞争条件 ，因为多个并行线程读写相同的位置。
注意：在 windows 上，您需要确保在 microsoft visual studio 中项目的配置属性中将“平台”设置为 x64 。
介绍一下！ 我认为找出运行内核需要多长时间的最简单的方法是用 nvprof 运行它，这是一个带有 cuda 工具箱的命令行 gpu 分析器。只需在命令行中键入 nvprof ./add_cuda ：
$ nvprof ./add_cuda==3355== nvprof is profiling process 3355, command: ./add_cudamax error: 0==3355== profiling application: ./add_cuda==3355== profiling result:time(%) time calls avg min max name100.00% 463.25ms 1 463.25ms 463.25ms 463.25ms add(int, float*, float*)... 上面是来自 nvprof 的截断输出，显示了对 add 的单个调用。在 nvidia tesla k80 加速器上需要大约半秒钟的时间，而在我 3 岁的 macbook pro 上使用 nvidia geforce gt 740m 大约需要半秒钟的时间。
让我们用并行来加快速度。
把线捡起来 既然你已经用一个线程运行了一个内核，那么如何使它并行？键是在 cuda 的 <> 语法中。这称为执行配置，它告诉 cuda 运行时要使用多少并行线程来启动 gpu 。这里有两个参数，但是让我们从更改第二个参数开始：线程块中的线程数。 cuda gpus 运行内核时使用的线程块大小是 32 的倍数，因此 256 个线程是一个合理的选择。
add<<>>(n, x, y); 如果我只在这个修改下运行代码，它将为每个线程执行一次计算，而不是将计算分散到并行线程上。为了正确地执行它，我需要修改内核。 cuda c ++提供了关键字，这些内核可以让内核获得运行线程的索引。具体来说， threadidx.x 包含其块中当前线程的索引， blockdim.x 包含块中的线程数。我只需修改循环以使用并行线程跨过数组。
__global__void add(int n, float *x, float *y){ int index = threadidx.x; int stride = blockdim.x; for (int i = index; i < n; i += stride) y[i] = x[i] + y[i];} add 函数没有太大变化。事实上，将 index 设置为 0 ， stride 设置为 1 会使其在语义上与第一个版本相同。
将文件另存为 add_block.cu ，然后再次在 nvprof 中编译并运行。在后面的文章中，我将只显示输出中的相关行。
time(%) time calls avg min max name100.00% 2.7107ms 1 2.7107ms 2.7107ms 2.7107ms add(int, float*, float*) 这是一个很大的加速（ 463 毫秒下降到 2 . 7 毫秒），但并不奇怪，因为我从 1 线程到 256 线程。 k80 比我的小 macbookprogpu 快（ 3 . 2 毫秒）。让我们继续取得更高的表现。
走出街区 cuda gpus 有许多并行处理器组合成流式多处理器或 sms 。每个 sm 可以运行多个并发线程块。例如，基于 tesla 的 tesla p100 帕斯卡 gpu 体系结构 有 56 个短消息，每个短消息能够支持多达 2048 个活动线程。为了充分利用所有这些线程，我应该用多个线程块启动内核。
现在您可能已经猜到执行配置的第一个参数指定了线程块的数量。这些平行线程块一起构成了所谓的 网格 。因为我有 n 元素要处理，每个块有 256 个线程，所以我只需要计算块的数量就可以得到至少 n 个线程。我只需将 n 除以块大小（注意在 n 不是 blocksize 的倍数的情况下向上取整）。
int blocksize = 256;int numblocks = (n + blocksize - 1) / blocksize;add<<>>(n, x, y);
我还需要更新内核代码来考虑线程块的整个网格。 threadidx.x 提供了包含网格中块数的 griddim.x 和包含网格中当前线程块索引的 blockidx.x 。图 1 说明了使用 cuda 、 griddim.x 和 threadidx.x 在 cuda 中索引数组（一维）的方法。其思想是，每个线程通过计算到其块开头的偏移量（块索引乘以块大小： blockidx.x * blockdim.x ），并将线程的索引添加到块内（ threadidx.x ）。代码 blockidx.x * blockdim.x + threadidx.x 是惯用的 cuda 。
__global__void add(int n, float *x, float *y){ int index = blockidx.x * blockdim.x + threadidx.x; int stride = blockdim.x * griddim.x; for (int i = index; i < n; i += stride) y[i] = x[i] + y[i];} 更新的内核还将 stride 设置为网格中的线程总数（ blockdim.x * griddim.x ）。 cuda 内核中的这种类型的循环通常称为 栅格步幅循环 。
将文件另存为&[ezx63 ；&[编译并在&[ezx37 ；&]中运行它]
time(%) time calls avg min max name100.00% 94.015us 1 94.015us 94.015us 94.015us add(int, float*, float*) 这是另一个 28 倍的加速，从运行多个街区的所有短信 k80 ！我们在 k80 上只使用了 2 个 gpus 中的一个，但是每个 gpu 都有 13 条短信。注意，我笔记本电脑中的 geforce 有 2 条（较弱的）短信，运行内核需要 680us 。
总结 下面是三个版本的 add() 内核在 tesla k80 和 geforce gt 750m 上的性能分析。
如您所见，我们可以在 gpus 上实现非常高的带宽。这篇文章中的计算是非常有带宽限制的，但是 gpus 也擅长于密集矩阵线性代数 深度学习 、图像和信号处理、物理模拟等大量计算限制的计算。
关于作者
mark harris 是 nvidia 杰出的工程师，致力于 rapids 。 mark 拥有超过 20 年的 gpus 软件开发经验，从图形和游戏到基于物理的模拟，到并行算法和高性能计算。当他还是北卡罗来纳大学的博士生时，他意识到了一种新生的趋势，并为此创造了一个名字： gpgpu （图形处理单元上的通用计算）。
基于FPGA的高精度同步时钟系统设计
2020年这些电视最值得购买
博通为中国有线电视运营商提供双倍性能的C-DOCSIS产品
三极管系列电子电路的常用选型
AMD的锐龙5000H/U处理器有什么区别？
并行计算平台和NVIDIA编程模型CUDA的更简单介绍
苹果这款笔记本被禁止带上飞机！
国外疫情扩散 谷歌或推出带有广告的免费电影
近年来DRL领域的发展脉络梳理
华为手机鸿蒙系统有什么功能？
首个民用高信噪比极低频电磁波信号源的发射台通过国家验收
荣耀9什么时候上市？华为荣耀9外形曝光，荣耀9长这样你还买吗？
商汤绝影斩获汽车信息安全流程国际权威认证
工控机常见的五大故障，其原因为何
盘点2014年全球最受关注的七款无人机
VPO智能医院解决方案——为白衣天使插上“翅膀”
腾讯和宝马公司进行合作?车联网行业发展更进一步
动力电池保护板讨论与分析
天作之合：AR或VR在零售商需要丰富的客户体验
推动电动汽车电机业务
cuda c ++只是使用 cuda 创建大规模并行应用程序的一种方式。它让您使用强大的 c ++编程语言来开发由数千个并行线程加速的高性能算法 gpus 。许多开发人员已经用这种方式加速了他们对计算和带宽需求巨大的应用程序，包括支持人工智能正在进行的革命的库和框架 深度学习 。
所以，您已经听说了 cuda ，您有兴趣学习如何在自己的应用程序中使用它。如果你是 c 或 c ++程序员，这个博客应该给你一个好的开始。接下来，您需要一台具有 cuda – 功能的 gpu 计算机（ windows 、 mac 或 linux ，以及任何 nvidia gpu 都可以），或者需要一个具有 gpus 的云实例（ aws 、 azure 、 ibm 软层和其他云服务提供商都有）。您还需要安装免费的 cuda 工具箱 。
我们开始吧！
从简单开始 我们将从一个简单的 c ++程序开始，它添加两个数组的元素，每个元素有一百万个元素。
#include #include // function to add the elements of two arraysvoid add(int n, float *x, float *y){ for (int i = 0; i < n; i++) y[i] = x[i] + y[i];} int main(void){ int n = 1<<20; // 1m elements float *x = new float[n]; float *y = new float[n]; // initialize x and y arrays on the host for (int i = 0; i < n; i++) { x[i] = 1.0f; y[i] = 2.0f; } // run kernel on 1m elements on the cpu add(n, x, y); // check for errors (all values should be 3.0f) float maxerror = 0.0f; for (int i = 0; i < n; i++) maxerror = fmax(maxerror, fabs(y[i]-3.0f)); std::cout << max error: << maxerror < clang++ add.cpp -o add 然后运行它：
> ./add max error: 0.000000 （在 windows 上，您可能需要命名可执行文件添加. exe 并使用 .dd 运行它。）
正如预期的那样，它打印出求和中没有错误，然后退出。现在我想让这个计算在 gpu 的多个核心上运行（并行）。其实迈出第一步很容易。
首先，我只需要将我们的 add 函数转换成 gpu 可以运行的函数，在 cuda 中称为 内核 。要做到这一点，我所要做的就是把说明符 __global__ 添加到函数中，它告诉 cuda c ++编译器，这是一个在 gpu 上运行的函数，可以从 cpu 代码调用。
// cuda kernel function to add the elements of two arrays on the gpu__global__void add(int n, float *x, float *y){ for (int i = 0; i < n; i++) y[i] = x[i] + y[i];} 这些 __global__ 函数被称为 果仁 ，在 gpu 上运行的代码通常称为 设备代码 ，而在 cpu 上运行的代码是 主机代码 。
cuda 中的内存分配 为了在 gpu 上计算，我需要分配 gpu 可访问的内存， cuda 中的 统一存储器 通过提供一个系统中所有 gpus 和 cpu 都可以访问的内存空间，这使得这一点变得简单。要在统一内存中分配数据，请调用 cudamallocmanaged() ，它返回一个指针，您可以从主机（ cpu ）代码或设备（ gpu ）代码访问该指针。要释放数据，只需将指针传递到 cudafree() 。
我只需要将上面代码中对 new 的调用替换为对 cudamallocmanaged() 的调用，并将对 delete [] 的调用替换为对 cudafree. 的调用
// allocate unified memory -- accessible from cpu or gpu float *x, *y; cudamallocmanaged(&x, n*sizeof(float)); cudamallocmanaged(&y, n*sizeof(float)); ... // free memory cudafree(x); cudafree(y); 最后，我需要 发射 内核，它在 add() 上调用它。 cuda 内核启动是使用三角括号语法指定的。我只需要在参数列表之前将它添加到对 cuda 的调用中。
add<<>>(n, x, y); 容易的！我很快将详细介绍尖括号内的内容；现在您只需要知道这行代码启动了一个 gpu 线程来运行 add() 。
还有一件事：我需要 cpu 等到内核完成后再访问结果（因为 cuda 内核启动不会阻塞调用的 cpu 线程）。为此，我只需在对 cpu 进行最后的错误检查之前调用 cudadevicesynchronize() 。
以下是完整的代码：
#include #include // kernel function to add the elements of two arrays__global__void add(int n, float *x, float *y){ for (int i = 0; i < n; i++) y[i] = x[i] + y[i];} int main(void){ int n = 1<<20; float *x, *y; // allocate unified memory – accessible from cpu or gpu cudamallocmanaged(&x, n*sizeof(float)); cudamallocmanaged(&y, n*sizeof(float)); // initialize x and y arrays on the host for (int i = 0; i < n; i++) { x[i] = 1.0f; y[i] = 2.0f; } // run kernel on 1m elements on the gpu add<<>>(n, x, y); // wait for gpu to finish before accessing on host cudadevicesynchronize(); // check for errors (all values should be 3.0f) float maxerror = 0.0f; for (int i = 0; i < n; i++) maxerror = fmax(maxerror, fabs(y[i]-3.0f)); std::cout << max error: << maxerror < nvcc add.cu -o add_cuda> ./add_cudamax error: 0.000000 这只是第一步，因为正如所写的，这个内核只适用于一个线程，因为运行它的每个线程都将在整个数组上执行 add 。此外，还有一个 竞争条件 ，因为多个并行线程读写相同的位置。
注意：在 windows 上，您需要确保在 microsoft visual studio 中项目的配置属性中将“平台”设置为 x64 。
介绍一下！ 我认为找出运行内核需要多长时间的最简单的方法是用 nvprof 运行它，这是一个带有 cuda 工具箱的命令行 gpu 分析器。只需在命令行中键入 nvprof ./add_cuda ：
$ nvprof ./add_cuda==3355== nvprof is profiling process 3355, command: ./add_cudamax error: 0==3355== profiling application: ./add_cuda==3355== profiling result:time(%) time calls avg min max name100.00% 463.25ms 1 463.25ms 463.25ms 463.25ms add(int, float*, float*)... 上面是来自 nvprof 的截断输出，显示了对 add 的单个调用。在 nvidia tesla k80 加速器上需要大约半秒钟的时间，而在我 3 岁的 macbook pro 上使用 nvidia geforce gt 740m 大约需要半秒钟的时间。
让我们用并行来加快速度。
把线捡起来 既然你已经用一个线程运行了一个内核，那么如何使它并行？键是在 cuda 的 <> 语法中。这称为执行配置，它告诉 cuda 运行时要使用多少并行线程来启动 gpu 。这里有两个参数，但是让我们从更改第二个参数开始：线程块中的线程数。 cuda gpus 运行内核时使用的线程块大小是 32 的倍数，因此 256 个线程是一个合理的选择。
add<<>>(n, x, y); 如果我只在这个修改下运行代码，它将为每个线程执行一次计算，而不是将计算分散到并行线程上。为了正确地执行它，我需要修改内核。 cuda c ++提供了关键字，这些内核可以让内核获得运行线程的索引。具体来说， threadidx.x 包含其块中当前线程的索引， blockdim.x 包含块中的线程数。我只需修改循环以使用并行线程跨过数组。
__global__void add(int n, float *x, float *y){ int index = threadidx.x; int stride = blockdim.x; for (int i = index; i < n; i += stride) y[i] = x[i] + y[i];} add 函数没有太大变化。事实上，将 index 设置为 0 ， stride 设置为 1 会使其在语义上与第一个版本相同。
将文件另存为 add_block.cu ，然后再次在 nvprof 中编译并运行。在后面的文章中，我将只显示输出中的相关行。
time(%) time calls avg min max name100.00% 2.7107ms 1 2.7107ms 2.7107ms 2.7107ms add(int, float*, float*) 这是一个很大的加速（ 463 毫秒下降到 2 . 7 毫秒），但并不奇怪，因为我从 1 线程到 256 线程。 k80 比我的小 macbookprogpu 快（ 3 . 2 毫秒）。让我们继续取得更高的表现。
走出街区 cuda gpus 有许多并行处理器组合成流式多处理器或 sms 。每个 sm 可以运行多个并发线程块。例如，基于 tesla 的 tesla p100 帕斯卡 gpu 体系结构 有 56 个短消息，每个短消息能够支持多达 2048 个活动线程。为了充分利用所有这些线程，我应该用多个线程块启动内核。
现在您可能已经猜到执行配置的第一个参数指定了线程块的数量。这些平行线程块一起构成了所谓的 网格 。因为我有 n 元素要处理，每个块有 256 个线程，所以我只需要计算块的数量就可以得到至少 n 个线程。我只需将 n 除以块大小（注意在 n 不是 blocksize 的倍数的情况下向上取整）。
int blocksize = 256;int numblocks = (n + blocksize - 1) / blocksize;add<<>>(n, x, y);
我还需要更新内核代码来考虑线程块的整个网格。 threadidx.x 提供了包含网格中块数的 griddim.x 和包含网格中当前线程块索引的 blockidx.x 。图 1 说明了使用 cuda 、 griddim.x 和 threadidx.x 在 cuda 中索引数组（一维）的方法。其思想是，每个线程通过计算到其块开头的偏移量（块索引乘以块大小： blockidx.x * blockdim.x ），并将线程的索引添加到块内（ threadidx.x ）。代码 blockidx.x * blockdim.x + threadidx.x 是惯用的 cuda 。
__global__void add(int n, float *x, float *y){ int index = blockidx.x * blockdim.x + threadidx.x; int stride = blockdim.x * griddim.x; for (int i = index; i < n; i += stride) y[i] = x[i] + y[i];} 更新的内核还将 stride 设置为网格中的线程总数（ blockdim.x * griddim.x ）。 cuda 内核中的这种类型的循环通常称为 栅格步幅循环 。
将文件另存为&[ezx63 ；&[编译并在&[ezx37 ；&]中运行它]
time(%) time calls avg min max name100.00% 94.015us 1 94.015us 94.015us 94.015us add(int, float*, float*) 这是另一个 28 倍的加速，从运行多个街区的所有短信 k80 ！我们在 k80 上只使用了 2 个 gpus 中的一个，但是每个 gpu 都有 13 条短信。注意，我笔记本电脑中的 geforce 有 2 条（较弱的）短信，运行内核需要 680us 。
总结 下面是三个版本的 add() 内核在 tesla k80 和 geforce gt 750m 上的性能分析。
如您所见，我们可以在 gpus 上实现非常高的带宽。这篇文章中的计算是非常有带宽限制的，但是 gpus 也擅长于密集矩阵线性代数 深度学习 、图像和信号处理、物理模拟等大量计算限制的计算。
关于作者
mark harris 是 nvidia 杰出的工程师，致力于 rapids 。 mark 拥有超过 20 年的 gpus 软件开发经验，从图形和游戏到基于物理的模拟，到并行算法和高性能计算。当他还是北卡罗来纳大学的博士生时，他意识到了一种新生的趋势，并为此创造了一个名字： gpgpu （图形处理单元上的通用计算）。
基于FPGA的高精度同步时钟系统设计
2020年这些电视最值得购买
博通为中国有线电视运营商提供双倍性能的C-DOCSIS产品
三极管系列电子电路的常用选型
AMD的锐龙5000H/U处理器有什么区别？
并行计算平台和NVIDIA编程模型CUDA的更简单介绍
苹果这款笔记本被禁止带上飞机！
国外疫情扩散 谷歌或推出带有广告的免费电影
近年来DRL领域的发展脉络梳理
华为手机鸿蒙系统有什么功能？
首个民用高信噪比极低频电磁波信号源的发射台通过国家验收
荣耀9什么时候上市？华为荣耀9外形曝光，荣耀9长这样你还买吗？
商汤绝影斩获汽车信息安全流程国际权威认证
工控机常见的五大故障，其原因为何
盘点2014年全球最受关注的七款无人机
VPO智能医院解决方案——为白衣天使插上“翅膀”
腾讯和宝马公司进行合作?车联网行业发展更进一步
动力电池保护板讨论与分析
天作之合：AR或VR在零售商需要丰富的客户体验
推动电动汽车电机业务