如何为深度学习选择 GPU 服务器？_目前哪里可以租用到GPU服务器？_gpu服务器出租价格
前言
现今，日益完善的深度学习技术和-ai-服务愈加受到市场青睐。与此同时，数据集不断扩大，计算模型和网络也变得越来越复杂，这对于硬件设备也提出了更为严苛的需求。如何利用有限的预算，最大限度升级系统整体的计算性能和数据传输能力成为了最为重要的问题。
gpu-的选择 熟悉深度学习的人都知道，深度学习是需要训练的，所谓的训练就是在成千上万个变量中寻找最佳值的计算。这需要通过不断的尝试识别，而最终获得的数值并非是人工确定的数字，而是一种常态的公式。通过这种像素级的学习，不断总结规律，计算机就可以实现像人一样思考。因而，更擅长并行计算和高带宽的-gpu，则成了大家关注的重点。
数据并行的原理很简单，如下图，其中-cpu-主要负责梯度平均和参数更新，而-gpu1和-gpu2-主要负责训练模型副本（model replica），这里称作“模型副本”是因为它们都是基于训练样例的子集训练得到的，模型之间具有一定的独立性。具体的训练步骤如下
除了计算能力之外，gpu-另一个比较重要的优势就是他的内存结构。首先是共享内存。在-nvidia-披露的性能参数中，每个流处理器集群末端设有共享内存。相比于-cpu-每次操作数据都要返回内存再进行调用，gpu-线程之间的数据通讯不需要访问全局内存，而在共享内存中就可以直接访问。这种设置的带来最大的好处就是线程间通讯速度的提高（速度：共享内存》》全局内存）。
而在传统的cpu构架中，尽管有高速缓存（cache）的存在，但是由于其容量较小，大量的数据只能存放在内存（ram）中。进行数据处理时，数据要从内存中读取然后在-cpu-中运算最后返回内存中。由于构架的原因，二者之间的通信带宽通常在-60gb/s-左右徘徊。与之相比，大显存带宽的-gpu-具有更大的数据吞吐量。在大规模深度神经网络的训练中，必然带来更大的优势。
另一方面，如果要充分利用-gpu-资源处理海量数据，需要不断向-gpu-注入大量数据。目前，pcie-的数据传输速度还无法跟上这一速度，如果想避免此类“交通拥堵”，提高数据传输速度可以选择应用-nvlink-技术的-gpu-卡片。
4-gpus-with-pcie
4-gpus-with-nvlink
nvlink-是目前最快的-gpu-高速互联技术，借助这种技术，gpu-和-cpu-彼此之间的数据交换速度要比使用pcie 时快-5-到-12-倍，应用程序的运行速度可加快两倍。通过-nvlink 连接两个-gpu-可使其通信速度提高至-80-gb/s，比之前快了-5-倍。
其中-nvidia-的-volta-架构计算卡使用的-nvlink-2.0-技术速度更快（20-25gbps），单通道可提供-50-gb/s-的显存带宽。
p100-nvlink1.0-数据传输模式
v100-nvlink2.0-数据传输模式
而且就目前而言，越来越多的深度学习标准库支持基于-gpu-的深度学习加速，通俗点描述就是深度学习的编程框架会自动根据-gpu-所具有的线程/core-数，去自动分配数据的处理策略，从而达到优化深度学习的时间。而这些软件上的全面支持也是其它计算结构所欠缺的。
简单来看，选择-gpu-有四个重要参数：浮点运算能力、显存、数据传输与价格。
对于很多科学计算而言，服务器性能主要决定于-gpu-的浮点运算能力。特别是对深度学习任务来说，单精浮点运算以及更低的半精浮点运算性能则更为重要。如果资金充足的情况下，可以选择应用-nvlink-技术单精计算性能高、显存大的-gpu-卡片。如果资金有限的话，则要仔细考量核心需求，选择性价比更高的-gpu-卡片。
内存大小的选择
心理学家告诉我们，专注力这种资源会随着时间的推移而逐渐耗尽。内存就是为数不多的，让你保存注意力资源，以解决更困难编程问题的硬件之一。与其在内存瓶颈上兜转，浪费时间，不如把注意力放在更加紧迫的问题上。如果你有更多的内存，有了这一前提条件，你可以避免那些瓶颈，节约时间，在更紧迫问题上投入更多的生产力。
所以，如果资金充足而且需要做很多预处理工作，应该选择至少和-gpu-内存大小相同的内存。虽然更小的内存也可以运行，但是这样就需要一步步转移数据，整体效率上则大打则扣。总的来说内存越大，工作起来越舒服。
硬盘驱动器/ssd
在一些深度学习案例中，硬驱会成为明显的瓶颈。如果数据组很大，通常会在硬驱上放一些数据，内存中也放一些，gpu-内存中也放两-mini-batch。为了持续供给-gpu，我们需要以-gpu-能够跑完这些数据的速度提供新的-mini-batch。
为此，可以采用和异步-mini-batch-分配一样的思路，用多重-mini-batch-异步读取文件。如果不异步处理，结果表现会被削弱很多（5-10%），而且让认真打造的硬件优势荡然无存。那么，这时候就需要-ssd，因为-100-150mb/s-的硬驱会很慢，不足以跟上-gpu。
许多人买一个-ssd-是为了舒服：程序开始和响应都快多了，大文件预处理也快很多，但是，对于深度学习来说，仅当输入维数很高，不能充分压缩数据时，这才是必须的。如果买了-ssd，则应该选择能够存下和使用者通常要处理的数据集大小相当的存储容量，也额外留出数十-gb-的空间。另外用普通硬驱保存尚未使用的数据集的主意也不错。
#p##e#
目前哪里可以租用到gpu服务器？ 现在的服务器绝大多数甚至连显卡都没有，那比如这样的图形处理网站（深度学习类）login | deep dream generator除了自己搭建外可以租用到这样的服务器吗？
自己搭建的话联网问题很大，而且初期成本比较高，哪里可以像租用网站/游戏服务器一样租用到这样的gpu服务器？
google：https://cloud.google.com/gpu/
阿里云：高性能计算hpc_数据预测_数据分析-阿里云
腾讯云：gpu云服务器 - 腾讯云
百度云：gpu服务器-百度云
google资费最低，百度处于内侧，阿里云资费最高。配置上，google给的是k80，阿里云和腾讯给的是m40。
可以试试aws的gpu实例，它是按小时算的，再加上竞价实例，比国内包月制的gpu服务器划算不少。
华为云，公测阶段现在一小时一毛五左右，大概是p100的显卡性能，16核心128g内存。
gpu服务器出租价格 跟配置有关，配置越高，费用越高。 一般计算是全款/3年+少量的费用=年租
计费说明
包年包月：提前一次性支付一个月或多个月的费用。购买者具有 gpu 实例的使用及管理权限。
按量计费：计费时间粒度精确到秒，不需要提前支付费用，每小时整点进行一次结算。
gpu 实例包括网络、存储（系统盘、数据盘）、硬件（cpu 、 内存 、 gpu）。了解相关网络价格可参考 网络价格总览， 了解相关磁盘价格可参考 磁盘价格总览 。
gpu 云服务器提供三种实例类型：计算型 gn2，gn8和 渲染型 ga2 ， 用户可通过了解选型的配置与价格购买适合实际需要的 gpu 实例。
计算型 gn2
计算性能：
gn2.large 单机峰值计算能力突破 7t flops 单精度浮点运算，0.2t flops 双精度浮点运算。
gn2.2xlarge 单机峰值计算能力突破 14t flops 单精度浮点运算，0.4t flops 双精度浮点运算。
计算性能：
gn8.large56 单机峰值计算能力突破 12 tflos 单精度浮点运算，47 tops 整数运算能力（int8）。
gn8.7xlarge224 单机峰值计算能力突破 48 tflops 单精度浮点运算，188 tops 整数运算能力（int8）。
gn8.14xlarge448 单机峰值计算能力突破 96 tflops 单精度浮点运算，376 tops 整数运算能力（int8）。
渲染型 ga2
注意：
gpu 渲染型 ga2 现处于内测阶段
计算性能：
单 gpu 最高可达 3.77t flops 单精度浮点运算。
续费说明
包年包月类型 gpu 实例无法主动销毁，到期后 7 天，系统将自动销毁。
实例在到期当日关机并自动进入回收站并保留 7 个自然日，期间可选择续费。7 个自然日后仍未续费则该实例将被销毁。
支持在购买时设置自动续费。
建议到期前为实例进行续费，以防止其到期时关机导致服务中断。有关续费的更多操作请参考 如何续费。
回收说明
gpu 实例回收，与云服务器 cvm 回收机制一致，具体可参考云服务器 cvm 实例回收。
关于激光雷达的六个常见误区
Atmel布局物联网，借NMI拓宽无线产品组合
模拟信号转 PWM 脉冲调宽大电流控制 隔离放大器
雷诺Zoe电动汽车销量飙升，交付量同比增加一半
小米成为CDR试点的首个申请，采用香港IPO与境内CDR同步进行的模式
如何为深度学习选择 GPU 服务器？_目前哪里可以租用到GPU服务器？_gpu服务器出租价格
尼康半导体设备败于自我封闭？
激光雷达企业抱团 激光雷达赛道或将迎新一轮洗牌
飞凌OK113i-C开发板试用初体验
2020年最具有发展潜力的十大加密货币公司介绍
移动互联网时代，人际交往过程与行为将受到什么影响？
争议不断的动力电池暗战，究竟改变了什么？
5G时代下云技术和人工智能将会无处不在
基于LinkSwitch-4开关IC提高基于BJT的方案的可靠性
智慧电梯黑匣子监控系统的介绍
电磁继电器的工作原理 电磁继电器的特性
国产氮化镓快充重大突破，三大核心芯片实现自主可控，性能达到国际先进水准
物联网水产养殖监控系统所带来的变化和好处
激光工艺在光伏产业链中的广泛应用
【直播精彩回顾】离散型制造业数字化转型
gpu-的选择 熟悉深度学习的人都知道，深度学习是需要训练的，所谓的训练就是在成千上万个变量中寻找最佳值的计算。这需要通过不断的尝试识别，而最终获得的数值并非是人工确定的数字，而是一种常态的公式。通过这种像素级的学习，不断总结规律，计算机就可以实现像人一样思考。因而，更擅长并行计算和高带宽的-gpu，则成了大家关注的重点。
数据并行的原理很简单，如下图，其中-cpu-主要负责梯度平均和参数更新，而-gpu1和-gpu2-主要负责训练模型副本（model replica），这里称作“模型副本”是因为它们都是基于训练样例的子集训练得到的，模型之间具有一定的独立性。具体的训练步骤如下
除了计算能力之外，gpu-另一个比较重要的优势就是他的内存结构。首先是共享内存。在-nvidia-披露的性能参数中，每个流处理器集群末端设有共享内存。相比于-cpu-每次操作数据都要返回内存再进行调用，gpu-线程之间的数据通讯不需要访问全局内存，而在共享内存中就可以直接访问。这种设置的带来最大的好处就是线程间通讯速度的提高（速度：共享内存》》全局内存）。
而在传统的cpu构架中，尽管有高速缓存（cache）的存在，但是由于其容量较小，大量的数据只能存放在内存（ram）中。进行数据处理时，数据要从内存中读取然后在-cpu-中运算最后返回内存中。由于构架的原因，二者之间的通信带宽通常在-60gb/s-左右徘徊。与之相比，大显存带宽的-gpu-具有更大的数据吞吐量。在大规模深度神经网络的训练中，必然带来更大的优势。
另一方面，如果要充分利用-gpu-资源处理海量数据，需要不断向-gpu-注入大量数据。目前，pcie-的数据传输速度还无法跟上这一速度，如果想避免此类“交通拥堵”，提高数据传输速度可以选择应用-nvlink-技术的-gpu-卡片。
4-gpus-with-pcie
4-gpus-with-nvlink
nvlink-是目前最快的-gpu-高速互联技术，借助这种技术，gpu-和-cpu-彼此之间的数据交换速度要比使用pcie 时快-5-到-12-倍，应用程序的运行速度可加快两倍。通过-nvlink 连接两个-gpu-可使其通信速度提高至-80-gb/s，比之前快了-5-倍。
其中-nvidia-的-volta-架构计算卡使用的-nvlink-2.0-技术速度更快（20-25gbps），单通道可提供-50-gb/s-的显存带宽。
p100-nvlink1.0-数据传输模式
v100-nvlink2.0-数据传输模式
而且就目前而言，越来越多的深度学习标准库支持基于-gpu-的深度学习加速，通俗点描述就是深度学习的编程框架会自动根据-gpu-所具有的线程/core-数，去自动分配数据的处理策略，从而达到优化深度学习的时间。而这些软件上的全面支持也是其它计算结构所欠缺的。
简单来看，选择-gpu-有四个重要参数：浮点运算能力、显存、数据传输与价格。
对于很多科学计算而言，服务器性能主要决定于-gpu-的浮点运算能力。特别是对深度学习任务来说，单精浮点运算以及更低的半精浮点运算性能则更为重要。如果资金充足的情况下，可以选择应用-nvlink-技术单精计算性能高、显存大的-gpu-卡片。如果资金有限的话，则要仔细考量核心需求，选择性价比更高的-gpu-卡片。
内存大小的选择
心理学家告诉我们，专注力这种资源会随着时间的推移而逐渐耗尽。内存就是为数不多的，让你保存注意力资源，以解决更困难编程问题的硬件之一。与其在内存瓶颈上兜转，浪费时间，不如把注意力放在更加紧迫的问题上。如果你有更多的内存，有了这一前提条件，你可以避免那些瓶颈，节约时间，在更紧迫问题上投入更多的生产力。
所以，如果资金充足而且需要做很多预处理工作，应该选择至少和-gpu-内存大小相同的内存。虽然更小的内存也可以运行，但是这样就需要一步步转移数据，整体效率上则大打则扣。总的来说内存越大，工作起来越舒服。
硬盘驱动器/ssd
在一些深度学习案例中，硬驱会成为明显的瓶颈。如果数据组很大，通常会在硬驱上放一些数据，内存中也放一些，gpu-内存中也放两-mini-batch。为了持续供给-gpu，我们需要以-gpu-能够跑完这些数据的速度提供新的-mini-batch。
为此，可以采用和异步-mini-batch-分配一样的思路，用多重-mini-batch-异步读取文件。如果不异步处理，结果表现会被削弱很多（5-10%），而且让认真打造的硬件优势荡然无存。那么，这时候就需要-ssd，因为-100-150mb/s-的硬驱会很慢，不足以跟上-gpu。
许多人买一个-ssd-是为了舒服：程序开始和响应都快多了，大文件预处理也快很多，但是，对于深度学习来说，仅当输入维数很高，不能充分压缩数据时，这才是必须的。如果买了-ssd，则应该选择能够存下和使用者通常要处理的数据集大小相当的存储容量，也额外留出数十-gb-的空间。另外用普通硬驱保存尚未使用的数据集的主意也不错。
#p##e#
目前哪里可以租用到gpu服务器？ 现在的服务器绝大多数甚至连显卡都没有，那比如这样的图形处理网站（深度学习类）login | deep dream generator除了自己搭建外可以租用到这样的服务器吗？
自己搭建的话联网问题很大，而且初期成本比较高，哪里可以像租用网站/游戏服务器一样租用到这样的gpu服务器？
google：https://cloud.google.com/gpu/
阿里云：高性能计算hpc_数据预测_数据分析-阿里云
腾讯云：gpu云服务器 - 腾讯云
百度云：gpu服务器-百度云
google资费最低，百度处于内侧，阿里云资费最高。配置上，google给的是k80，阿里云和腾讯给的是m40。
可以试试aws的gpu实例，它是按小时算的，再加上竞价实例，比国内包月制的gpu服务器划算不少。
华为云，公测阶段现在一小时一毛五左右，大概是p100的显卡性能，16核心128g内存。
gpu服务器出租价格 跟配置有关，配置越高，费用越高。 一般计算是全款/3年+少量的费用=年租
计费说明
包年包月：提前一次性支付一个月或多个月的费用。购买者具有 gpu 实例的使用及管理权限。
按量计费：计费时间粒度精确到秒，不需要提前支付费用，每小时整点进行一次结算。
gpu 实例包括网络、存储（系统盘、数据盘）、硬件（cpu 、 内存 、 gpu）。了解相关网络价格可参考 网络价格总览， 了解相关磁盘价格可参考 磁盘价格总览 。
gpu 云服务器提供三种实例类型：计算型 gn2，gn8和 渲染型 ga2 ， 用户可通过了解选型的配置与价格购买适合实际需要的 gpu 实例。
计算型 gn2
计算性能：
gn2.large 单机峰值计算能力突破 7t flops 单精度浮点运算，0.2t flops 双精度浮点运算。
gn2.2xlarge 单机峰值计算能力突破 14t flops 单精度浮点运算，0.4t flops 双精度浮点运算。
计算性能：
gn8.large56 单机峰值计算能力突破 12 tflos 单精度浮点运算，47 tops 整数运算能力（int8）。
gn8.7xlarge224 单机峰值计算能力突破 48 tflops 单精度浮点运算，188 tops 整数运算能力（int8）。
gn8.14xlarge448 单机峰值计算能力突破 96 tflops 单精度浮点运算，376 tops 整数运算能力（int8）。
渲染型 ga2
注意：
gpu 渲染型 ga2 现处于内测阶段
计算性能：
单 gpu 最高可达 3.77t flops 单精度浮点运算。
续费说明
包年包月类型 gpu 实例无法主动销毁，到期后 7 天，系统将自动销毁。
实例在到期当日关机并自动进入回收站并保留 7 个自然日，期间可选择续费。7 个自然日后仍未续费则该实例将被销毁。
支持在购买时设置自动续费。
建议到期前为实例进行续费，以防止其到期时关机导致服务中断。有关续费的更多操作请参考 如何续费。
回收说明
gpu 实例回收，与云服务器 cvm 回收机制一致，具体可参考云服务器 cvm 实例回收。
关于激光雷达的六个常见误区
Atmel布局物联网，借NMI拓宽无线产品组合
模拟信号转 PWM 脉冲调宽大电流控制 隔离放大器
雷诺Zoe电动汽车销量飙升，交付量同比增加一半
小米成为CDR试点的首个申请，采用香港IPO与境内CDR同步进行的模式
如何为深度学习选择 GPU 服务器？_目前哪里可以租用到GPU服务器？_gpu服务器出租价格
尼康半导体设备败于自我封闭？
激光雷达企业抱团 激光雷达赛道或将迎新一轮洗牌
飞凌OK113i-C开发板试用初体验
2020年最具有发展潜力的十大加密货币公司介绍
移动互联网时代，人际交往过程与行为将受到什么影响？
争议不断的动力电池暗战，究竟改变了什么？
5G时代下云技术和人工智能将会无处不在
基于LinkSwitch-4开关IC提高基于BJT的方案的可靠性
智慧电梯黑匣子监控系统的介绍
电磁继电器的工作原理 电磁继电器的特性
国产氮化镓快充重大突破，三大核心芯片实现自主可控，性能达到国际先进水准
物联网水产养殖监控系统所带来的变化和好处
激光工艺在光伏产业链中的广泛应用
【直播精彩回顾】离散型制造业数字化转型