数据中心CPU芯粒化及互联方案分析-PART2
随着生成式ai注入数据中心的步伐加快，cpu 在数据中心的部署变得愈发重要，为应对数据中心cpu性能提升挑战，chiplet和互联技术的双剑合璧，经芯片巨头在自身产品体系中的多次实践，显现出蓬勃的生机和其普适性的一面。
2023年1月，英特尔第四代至强可扩展处理器sapphire rapids（spr）首次亮相。spr是一款专门针对ai工作负载优化的cpu，具有典型的multi-die架构，其亮点包括更高的核心数量、改进的缓存层次结构以及增强的互联技术。对英特尔来说，它也是剑指amd epyc，意在夺回hpc市场的野心之作。
更多的核心，更强的性能
英特尔称，erp整体性能和每瓦性能指标均处于领先地位。与前一代处理器相比，基础算力提升53%，人工智能性能提升10倍，5g vran性能提升2倍，网络&存储性能提升2倍，数据分析性能提升3倍，科学计算性能提升3.7倍。如此卓越的性能提升主要来自核心数量的大幅增长，以及高效的互联方案。
1、50%核心数量增长+单核性能增强
spr是英特尔首个chiplet设计的xeon处理器，由四个相同的die（芯粒）组成，die间通过英特尔的emib技术连接。其中，每个die包含15个cpu内核，并分别配有自己的内存和io控制器等各功能单元。核心部分为英特尔7工艺的golden cove p核（大核），设计支持60核，实际启用56核，总核心数较上一代icelake增长了50%。
spr延续了英特尔的服务器处理器策略：优先考虑扩展核心数量，同时提供强大的计算能力，以大幅提高cpu在处理大量数据，如进行科学计算、机器学习、图形处理时的性能。
最终，spr实现了105mb total llc，307gb/s memory bandwidth，在specrate@2017_int_base基准测试中，得分为495。
如前文所述，除了cpu核数提升之外，spr在cpu单核性能上也做了优化，如提高了cpu的各级缓存的大小，还为每个核心引入了两个512位的fma单元，同时支持一级对amx指令集，旨在进一步提升性能。
2：优化缓存层次结构
除了核心性能的优化，golden cove的一项重大改进是缓存层次结构，这也是spr与amd epyc系列的显著区别之一：每个golden cove核心除了包2mb l2缓存外，还搭载了1.875mb的llc切片，每个die总28.125m llc为56个核心所共享（spr总缓存达112.5 mb）。相较客户端golden cove，spr在处理大量数据的应用程序时，能提供更好的性能表现。
对于需要频繁访问llc的数据密集型工作负载，llc集成在核心中可以大幅度减少llc控制器和缓存间的连接，降低功耗。这种设计也为跨线程访问提供了极大的灵活性。在需要时，一个核心可以访问全部的llc，一个llc也可以服务于多个核心。
不过，这种跨线程访问的缺点也很明显，在某些情境，如需要跨越两个die以上的远端存储访问时，可能会增加llc控制器的工作负载，造成较高的延迟和workload balance的不均衡。
3、优化设计成本
由于集成了多达60个核心（实际应用了56个）使得英特尔制造一个soc芯片变得不切实际，从而转向chiplet和2.5d先进封装，并通过multi-die架构简化设计和制造。
基于multi-die架构，英特尔只需要设计两组镜像的掩模，再旋转这两个模具即可。不过，这种架构也为die间的互联带来了挑战。
互联：由繁至简
为了连接数量繁多的核心和缓存，英特尔在emib链路上运行了一个巨大的mesh结构，将所有核心连接到它们各自的llc切片，以及spr上的其他组件，如内存控制器、各种加速器和其他i/o设备中，形成一个多die的系统结构。
网络加速单元
作为升级的重点，spr在每个die中嵌入了一个dsa网络加速单元，可以在特定网络工作负载中实现数倍的效率提升。该加速单元具有400gb/s互联带宽，160gb/s压缩带宽，每秒能够做出400m的负载平衡决策。
dsa全称为data streaming accelerator，主要针对内存的搬移和传输的操作进行加速，能提高存储、网络和数据密集型工作负载的性能，类似于gpu等外部加速器。
在数据中心中，dsa可以更有效地处理如进行如压缩/解压缩、加/解密、内存搬移等特定工作负载，带来大幅的性能提升。某些场景下，只需一个核心或部分核心就能够处理复杂的工作负载，提高芯片的能效比。这也是英特尔为代表的头部企业开始热衷在处理器中内置加速器的因素之一。
基于 roce v2 协议自研 rdma 技术，奇异摩尔自研domain specific accelerator 系列专用领域加速器系列，具备高速以太网互联能力，提供可编程的专用数据处理加速算法，同时集成了多种通用数据处理硬件加速器，高带宽，高吞吐，硬件灵活可配置、软件可编程，可实现芯粒/芯片间的高速传输。
d2d：ddr5 & emib
互连系统方面，每个die配有2个128位的ddr5内存接口，ddd5采用优化版的emib工艺，单个emib的d2d带宽高达500gb/s，功耗仅为0.5pj/bit，延迟（phy latency end-to-end tx+rx） 2.4ns。从die间功耗和延迟的方面来看，spr已接近一个soc。
为了进一步增强内存带宽，emib技术首次支持hbm扩展，并特别为spr设计了一种hbm变体，通过emib连接四个hbm，实现内存性能方面的显著提升。
chip2chip：upi & pcie
在spr中，每个die还搭载了32个pcie 5(cxl 1.1)，以及24个upi。配置为每个插槽80xpciegen5通道；以及24个upi，支持最多8个芯片的互连，也意味着sapphire rapids芯片最多可以组建8路计算平台。
挑战与解决方案
因可简化设计，multi-die架构在2颗芯粒的互联架构中显现出显著的性价比优势，但一旦芯粒超过2个，就会面临互联挑战。
2023年5月，英特尔公布了spr的下一代处理器，emerald rapids（erp）。总体来说，英特尔基于spr 相同的平台和较新的raptor cove核心，通过优化物理设计，实现了“巨大的ppw”改进。但令人瞩目的改变是，erp的芯粒数量减少到两个，这一架构上的回退也从侧面反映出mutil die模式下，多die互联难度之高。
此外，因芯粒数量减少导致芯片尺寸过大，加之先进工艺的使用，也带来了成本高涨的问题；再次，在mutil die架构中，为了维持高带宽和低功耗，emib的使用也会相应的增加成本，erp的生产成本实际上比 spr 更高。假设成品率和芯片可回收性完美，相比 spr-mcc，emr 只能在每个晶圆上生产 34 个 cpu，低于每个 spr 晶圆 37 个 cpu。如果考虑到完美良率之外的任何因素，emr 的成本就会更高。
相比之下，amd 则选择了一种更为简单的方案，通过独立io die和ccd中的llc集群，避免了复杂的多核互连问题。
下一站：central io die
hot chips 2023 上，英特尔将旗下数据中心芯片分为两类，granite 和 sierra ，二者都基于chiplet设计，并首次使用了独立的 i/o 芯粒，通过 emib技术与计算单元封装在一起。英特尔服务器处理器正式转向central io die架构。
随着核心数量的增长和多die模式的流行，过去几年中，各大计算芯片企业逐渐从multi-die模式转向central io die模式。以 io die 为代表的新兴互联技术正在打破芯片内固有的互联方式。片内互联技术向“更高的集成度、更短的距离、更高的效率”转变。
在国内赛道，奇异摩尔作为片内互联领域的代表企业，核心产品涵盖2.5d interposer、2.5d io die、3d base die、ndsa、全系列die2die ip及相关chiplet系统解决方案。
central io die通过将io功能从算芯片中分离出来，整合多种互联接口，让计算单元通过io die进行统一互联，可以极大程度的简化互联设计，增加带宽、并降低多die间的互联延迟。amd zen系列、ampere 和 aws 的 graviton3 都在采用一个或多个不同的 io芯粒。数据中心处理器central io die 的模式正在到来。
中欧之间，从此万里有云桥
OPPOK5正式开启预约 支持30WVOOC4.0闪充
关于成彭高速视频监控系统简单剖析
火花塞检查和更换图解
一份超详细的三星S10系列拆解报告，内部到底是怎样的？
数据中心CPU芯粒化及互联方案分析-PART2
linux系统和驱动中按键驱动的编写详解
汽车MEMS市场安装率节节攀升 汽车安全性能要求越来越高
马克-扎克伯陷入无援尴尬之地 Facebook危机何解
自动驾驶的中国商业模式是怎样的
π型衰减器的原理是什么？
需要了解linux的内存管理
掌握无人战争的变革规律，才能赢得战略主动
详谈面向V2C场景的ADAS数字孪生模型构建方法
携手迪万网络赋能猫眼门锁，打造智慧安防场景新未来
RS232/485串口通讯基础知识
东芝新推出的1200V和1700V碳化硅MOSFET模块
达实空间场景控制系统为客户提供个性化的空间场景应用
不用压迫带即可测量血压的医用传感器
华强北技术：iPhone内存升级内幕完全曝光
2023年1月，英特尔第四代至强可扩展处理器sapphire rapids（spr）首次亮相。spr是一款专门针对ai工作负载优化的cpu，具有典型的multi-die架构，其亮点包括更高的核心数量、改进的缓存层次结构以及增强的互联技术。对英特尔来说，它也是剑指amd epyc，意在夺回hpc市场的野心之作。
更多的核心，更强的性能
英特尔称，erp整体性能和每瓦性能指标均处于领先地位。与前一代处理器相比，基础算力提升53%，人工智能性能提升10倍，5g vran性能提升2倍，网络&存储性能提升2倍，数据分析性能提升3倍，科学计算性能提升3.7倍。如此卓越的性能提升主要来自核心数量的大幅增长，以及高效的互联方案。
1、50%核心数量增长+单核性能增强
spr是英特尔首个chiplet设计的xeon处理器，由四个相同的die（芯粒）组成，die间通过英特尔的emib技术连接。其中，每个die包含15个cpu内核，并分别配有自己的内存和io控制器等各功能单元。核心部分为英特尔7工艺的golden cove p核（大核），设计支持60核，实际启用56核，总核心数较上一代icelake增长了50%。
spr延续了英特尔的服务器处理器策略：优先考虑扩展核心数量，同时提供强大的计算能力，以大幅提高cpu在处理大量数据，如进行科学计算、机器学习、图形处理时的性能。
最终，spr实现了105mb total llc，307gb/s memory bandwidth，在specrate@2017_int_base基准测试中，得分为495。
如前文所述，除了cpu核数提升之外，spr在cpu单核性能上也做了优化，如提高了cpu的各级缓存的大小，还为每个核心引入了两个512位的fma单元，同时支持一级对amx指令集，旨在进一步提升性能。
2：优化缓存层次结构
除了核心性能的优化，golden cove的一项重大改进是缓存层次结构，这也是spr与amd epyc系列的显著区别之一：每个golden cove核心除了包2mb l2缓存外，还搭载了1.875mb的llc切片，每个die总28.125m llc为56个核心所共享（spr总缓存达112.5 mb）。相较客户端golden cove，spr在处理大量数据的应用程序时，能提供更好的性能表现。
对于需要频繁访问llc的数据密集型工作负载，llc集成在核心中可以大幅度减少llc控制器和缓存间的连接，降低功耗。这种设计也为跨线程访问提供了极大的灵活性。在需要时，一个核心可以访问全部的llc，一个llc也可以服务于多个核心。
不过，这种跨线程访问的缺点也很明显，在某些情境，如需要跨越两个die以上的远端存储访问时，可能会增加llc控制器的工作负载，造成较高的延迟和workload balance的不均衡。
3、优化设计成本
由于集成了多达60个核心（实际应用了56个）使得英特尔制造一个soc芯片变得不切实际，从而转向chiplet和2.5d先进封装，并通过multi-die架构简化设计和制造。
基于multi-die架构，英特尔只需要设计两组镜像的掩模，再旋转这两个模具即可。不过，这种架构也为die间的互联带来了挑战。
互联：由繁至简
为了连接数量繁多的核心和缓存，英特尔在emib链路上运行了一个巨大的mesh结构，将所有核心连接到它们各自的llc切片，以及spr上的其他组件，如内存控制器、各种加速器和其他i/o设备中，形成一个多die的系统结构。
网络加速单元
作为升级的重点，spr在每个die中嵌入了一个dsa网络加速单元，可以在特定网络工作负载中实现数倍的效率提升。该加速单元具有400gb/s互联带宽，160gb/s压缩带宽，每秒能够做出400m的负载平衡决策。
dsa全称为data streaming accelerator，主要针对内存的搬移和传输的操作进行加速，能提高存储、网络和数据密集型工作负载的性能，类似于gpu等外部加速器。
在数据中心中，dsa可以更有效地处理如进行如压缩/解压缩、加/解密、内存搬移等特定工作负载，带来大幅的性能提升。某些场景下，只需一个核心或部分核心就能够处理复杂的工作负载，提高芯片的能效比。这也是英特尔为代表的头部企业开始热衷在处理器中内置加速器的因素之一。
基于 roce v2 协议自研 rdma 技术，奇异摩尔自研domain specific accelerator 系列专用领域加速器系列，具备高速以太网互联能力，提供可编程的专用数据处理加速算法，同时集成了多种通用数据处理硬件加速器，高带宽，高吞吐，硬件灵活可配置、软件可编程，可实现芯粒/芯片间的高速传输。
d2d：ddr5 & emib
互连系统方面，每个die配有2个128位的ddr5内存接口，ddd5采用优化版的emib工艺，单个emib的d2d带宽高达500gb/s，功耗仅为0.5pj/bit，延迟（phy latency end-to-end tx+rx） 2.4ns。从die间功耗和延迟的方面来看，spr已接近一个soc。
为了进一步增强内存带宽，emib技术首次支持hbm扩展，并特别为spr设计了一种hbm变体，通过emib连接四个hbm，实现内存性能方面的显著提升。
chip2chip：upi & pcie
在spr中，每个die还搭载了32个pcie 5(cxl 1.1)，以及24个upi。配置为每个插槽80xpciegen5通道；以及24个upi，支持最多8个芯片的互连，也意味着sapphire rapids芯片最多可以组建8路计算平台。
挑战与解决方案
因可简化设计，multi-die架构在2颗芯粒的互联架构中显现出显著的性价比优势，但一旦芯粒超过2个，就会面临互联挑战。
2023年5月，英特尔公布了spr的下一代处理器，emerald rapids（erp）。总体来说，英特尔基于spr 相同的平台和较新的raptor cove核心，通过优化物理设计，实现了“巨大的ppw”改进。但令人瞩目的改变是，erp的芯粒数量减少到两个，这一架构上的回退也从侧面反映出mutil die模式下，多die互联难度之高。
此外，因芯粒数量减少导致芯片尺寸过大，加之先进工艺的使用，也带来了成本高涨的问题；再次，在mutil die架构中，为了维持高带宽和低功耗，emib的使用也会相应的增加成本，erp的生产成本实际上比 spr 更高。假设成品率和芯片可回收性完美，相比 spr-mcc，emr 只能在每个晶圆上生产 34 个 cpu，低于每个 spr 晶圆 37 个 cpu。如果考虑到完美良率之外的任何因素，emr 的成本就会更高。
相比之下，amd 则选择了一种更为简单的方案，通过独立io die和ccd中的llc集群，避免了复杂的多核互连问题。
下一站：central io die
hot chips 2023 上，英特尔将旗下数据中心芯片分为两类，granite 和 sierra ，二者都基于chiplet设计，并首次使用了独立的 i/o 芯粒，通过 emib技术与计算单元封装在一起。英特尔服务器处理器正式转向central io die架构。
随着核心数量的增长和多die模式的流行，过去几年中，各大计算芯片企业逐渐从multi-die模式转向central io die模式。以 io die 为代表的新兴互联技术正在打破芯片内固有的互联方式。片内互联技术向“更高的集成度、更短的距离、更高的效率”转变。
在国内赛道，奇异摩尔作为片内互联领域的代表企业，核心产品涵盖2.5d interposer、2.5d io die、3d base die、ndsa、全系列die2die ip及相关chiplet系统解决方案。
central io die通过将io功能从算芯片中分离出来，整合多种互联接口，让计算单元通过io die进行统一互联，可以极大程度的简化互联设计，增加带宽、并降低多die间的互联延迟。amd zen系列、ampere 和 aws 的 graviton3 都在采用一个或多个不同的 io芯粒。数据中心处理器central io die 的模式正在到来。
中欧之间，从此万里有云桥
OPPOK5正式开启预约 支持30WVOOC4.0闪充
关于成彭高速视频监控系统简单剖析
火花塞检查和更换图解
一份超详细的三星S10系列拆解报告，内部到底是怎样的？
数据中心CPU芯粒化及互联方案分析-PART2
linux系统和驱动中按键驱动的编写详解
汽车MEMS市场安装率节节攀升 汽车安全性能要求越来越高
马克-扎克伯陷入无援尴尬之地 Facebook危机何解
自动驾驶的中国商业模式是怎样的
π型衰减器的原理是什么？
需要了解linux的内存管理
掌握无人战争的变革规律，才能赢得战略主动
详谈面向V2C场景的ADAS数字孪生模型构建方法
携手迪万网络赋能猫眼门锁，打造智慧安防场景新未来
RS232/485串口通讯基础知识
东芝新推出的1200V和1700V碳化硅MOSFET模块
达实空间场景控制系统为客户提供个性化的空间场景应用
不用压迫带即可测量血压的医用传感器
华强北技术：iPhone内存升级内幕完全曝光