阿里巴巴下一代存储架构迈出了关键一步，也为创新的Open Channel生态系统奠定了基础
阿里巴巴正在其下一代数据中心基础设施中部署alibaba open channel ssd，这是阿里在fast 2018大会上宣布open channel存储架构后的一个重要里程碑。
背景
alibaba open channel ssd（以下简称aoc ssd）是阿里巴巴的第三款自制存储产品，也是业界首款量产的open channel ssd。 它的部署不仅标志着阿里巴巴下一代存储架构迈出了关键一步，也为创新的open channel生态系统奠定了基础。
在今年2月举行的2018年fast大会上，阿里巴巴介绍了为其下一代数据中心所设计的软件/硬件集成的存储架构。 随着人工智能、云计算和大数据应用的激增，新架构旨在应对数据中心的新挑战。 这些挑战包括：
（1）性能：对软件/硬件协同优化的需求
（2）灵活性：多样化和快速变化的工作负载需要更多的灵活性和自定义设置
（3）持续增长的成本和供应弹性
（4）应用程序需要控制i / o路径以获得确定性的性能。
（5）需要更快地响应在线问题。
传统的标准ssd和专有的基于主机的ssd都无法有效地应对这些挑战。 因此，阿里巴巴为下一代数据中心提出了新的软件/硬件集成的存储架构，其核心是alibaba open channel ssd以及最上层的fusion engine存储引擎软件。
作为阿里巴巴新存储架构的核心硬件，aoc ssd不仅提供透明的白盒设计和定制化功能，还提供标准化平台。 定义aoc ssd平台的aoc ssd规范由阿里巴巴根据其业务需求和案例编写，与其他公司的“open channel spec 1.2 / 2.0”无关。
aoc ssd架构的设计理念是开放性和协作性。 阿里巴巴一直在努力与供应商和行业合作伙伴共同建立aoc ssd生态系统。 目标是减少产品认证的时间和复杂性，提高供应弹性，以便所有参与者都能从中受益。
the aoc ssd 硬件
aoc ssd的核心是alifsc，这是阿里巴巴首款定制的高性能存储控制器。
alifsc是为阿里巴巴open channel ssd定制的高性能控制器。 它有6核、16通道和pcie g3x8接口，可与所有主流的3d tlc nand组件配合使用，同时还支持qlc nand，针对qlc固件的初步开发已经开始。
alifsc支持aoc ssd规范中指定的所有命令，并提供硬件加速 ，这些命令包括系统元数据（mbr）管理，灵活的奇偶校，xor引擎，多个写入流，以及开放通道模式下的编程/擦除故障处理。
aoc ssd（aliflash v3）的外形与标准的2.5英寸u.2 nvme ssd相同。 因此，它与阿里巴巴数据中心内所有具有nvme端口的服务器都兼容。 产品开发于2018年3月完成，随后aoc ssd经过多轮软件/固件优化，目前正在阿里巴巴的数据中心进行试运行。
the aoc ssd 软件
aoc ssd与其主机端的软件栈配合使用，以充分发挥其软/硬件集成设计的优势。 在硬件开发的同时，阿里巴巴为不同的应用开发了aoc主机端的软件栈：
内核态的aoc ssd驱动程序和块设备ftl。 这允许应用程序将aoc ssd用作通用块设备，涵盖大多数传统应用。
用户态的aoc ssd驱动程序，与阿里巴巴的fusion engine（用户态存储引擎）配合使用。 将整个i / o路径移动到用户空间可以显着降低软件开销，这是阿里巴巴软/硬件集成架构的关键优势之一。
为阿里巴巴的应用（非块解决方案）定制的用户态的ftl解决方案。 这也是业界第一个完整的用户空间开放式通道的软件解决方案。
全套的管理，包括监控和测试工具，与阿里巴巴的devops基础架构集成。
整个aoc ssd主机端的软件栈由阿里巴巴开发，其与开源社区中的lightnvm解决方案不同。 事实上，aoc ssd主机端的软件是迄今为止唯一能够保证质量并且可以部署的开放式通道软件解决方案。 此外，aoc ssd的用户空间软件也是业界首个完整的用户空间开放式通道软件解决方案。
the aoc ssd 软硬件协同设计
aoc ssd与阿里巴巴的fusion engine合作，为阿里巴巴的业务部门提供软件/硬件集成解决方案。 已经开发了几种不同的解决方案。
内核态的aoc驱动和块设备ftl
自aoc block device ftl开发以来，已经对acl block device ftl进行了重大改进和扩展。 初步测试显示随机读写的iops分别达到了，700k和120k，超过了标准nvme ssd的主要替代品。 除了基本的i / o性能之外，aoc ssd还与fusion engine软件一起进一步优化了qos功能，从而为高优先级应用程序提供了更低的读/写延迟。
高优先级应用程序的读延迟。 平均延迟减少75％，99％延迟减少83％。
高优先级应用程序在混合工作负载中的读/写延迟。 平均读/写延迟分别降低了81％和99％，99％的读延迟降低了49％。
用户态的 aoc ssd软件设计
使用用户态的aoc ssd软件，针对特定应用开发了定制化的ftl，以实现更高级别的软件/硬件协同优化。 例如，阿里巴巴为key-value应用开发了“object ssd ftl”，并在阿里巴巴的业务部门广泛使用。 object ssd ftl与阿里巴巴的用户态kv引擎配合使用。 将aoc ssd的奇偶校验作为对象暴露给kv引擎，并将内部垃圾回收与应用程序的压缩操作相结合，kv-object ssd解决方案有望将写入放大系数降低4倍，延迟降低99％ 到80％。
aoc ssd和标准nvme ssd的对比如下：
the aoc ssd 生态
aoc ssd架构被设计为一个平台。 阿里巴巴正在与主要的ssd供应商合作开发兼容的aoc ssd产品。 在这些合作中，ssd供应商负责ssd硬件和固件，而阿里巴巴则负责主机端软件。 双方合作共同开发和调试，以减少产品开发和资格认证的时间。 阿里巴巴正在数据中心部署供应商提供的aoc ssd产品，并逐步将aoc ssd部署到阿里巴巴所有的服务器中。
the aoc ssd 的未来计划
作为阿里巴巴下一代存储架构的核心硬件，阿里巴巴有一个关于aoc ssd的长期计划。
近期：供应商提供的aoc ssd产品的大规模部署。
中期：aoc ssd的qlc版本，aoc ssd的超低延迟版本，基于fpga / gpu进行加速。
长期：新的非易失性存储介质解决，存储/内存计算解决方案。
总结
阿里巴巴开放通道ssd的部署不仅是阿里巴巴下一代存储架构的关键一步，也标志着阿里巴巴从追随者向存储技术领导者转变。 aoc ssd的大规模部署将使阿里巴巴的基础设施受益，使其在支持阿里巴巴的业务创新和全球化方面更具有效的竞争力.
SMT贴片虚焊假焊问题的原因分析及解决方法
电话机器人好用吗，为何会赢得企业的青睐
PCIe图像采集卡的原理、应用和优势
微软的新版Edge影响了很多以Chromium为内核的其他浏览器
关于集成光子应用的综述文章
阿里巴巴下一代存储架构迈出了关键一步，也为创新的Open Channel生态系统奠定了基础
防疫弥雾消杀机器人亮相 相当于8名传统人工的作业量
“如何存”“怎样管”将成为“新基建”面临的巨大挑战
iBeacon技术很热，但仍有很多误解，一文澄清关于Beacon的十个真相
科创AI第一股汽车业务提速在即 解读虹软VisDrive 智能车载方案
Python在web应用实现部署的协议与实现协议的工具解析
激光焊接技术在焊接可伐合金发生裂纹问题解析
诺基亚携新加坡电信公司进行物联网NB-IoT和5G测试
M97系列可编程直流电子负载
AKAI-L4222P大屏幕拼接
提升企业数字化水平 这套信息化管理方案值得
是什么致使APP工程师化为一座泡沫？
三星S10系列销量年内有望突破4000万台
华为Watch GT 2 Pro ECG款售价公布：2688元
360N5红米Note4X拍照测评对比,谁才是千元机的老司机?
背景
alibaba open channel ssd（以下简称aoc ssd）是阿里巴巴的第三款自制存储产品，也是业界首款量产的open channel ssd。 它的部署不仅标志着阿里巴巴下一代存储架构迈出了关键一步，也为创新的open channel生态系统奠定了基础。
在今年2月举行的2018年fast大会上，阿里巴巴介绍了为其下一代数据中心所设计的软件/硬件集成的存储架构。 随着人工智能、云计算和大数据应用的激增，新架构旨在应对数据中心的新挑战。 这些挑战包括：
（1）性能：对软件/硬件协同优化的需求
（2）灵活性：多样化和快速变化的工作负载需要更多的灵活性和自定义设置
（3）持续增长的成本和供应弹性
（4）应用程序需要控制i / o路径以获得确定性的性能。
（5）需要更快地响应在线问题。
传统的标准ssd和专有的基于主机的ssd都无法有效地应对这些挑战。 因此，阿里巴巴为下一代数据中心提出了新的软件/硬件集成的存储架构，其核心是alibaba open channel ssd以及最上层的fusion engine存储引擎软件。
作为阿里巴巴新存储架构的核心硬件，aoc ssd不仅提供透明的白盒设计和定制化功能，还提供标准化平台。 定义aoc ssd平台的aoc ssd规范由阿里巴巴根据其业务需求和案例编写，与其他公司的“open channel spec 1.2 / 2.0”无关。
aoc ssd架构的设计理念是开放性和协作性。 阿里巴巴一直在努力与供应商和行业合作伙伴共同建立aoc ssd生态系统。 目标是减少产品认证的时间和复杂性，提高供应弹性，以便所有参与者都能从中受益。
the aoc ssd 硬件
aoc ssd的核心是alifsc，这是阿里巴巴首款定制的高性能存储控制器。
alifsc是为阿里巴巴open channel ssd定制的高性能控制器。 它有6核、16通道和pcie g3x8接口，可与所有主流的3d tlc nand组件配合使用，同时还支持qlc nand，针对qlc固件的初步开发已经开始。
alifsc支持aoc ssd规范中指定的所有命令，并提供硬件加速 ，这些命令包括系统元数据（mbr）管理，灵活的奇偶校，xor引擎，多个写入流，以及开放通道模式下的编程/擦除故障处理。
aoc ssd（aliflash v3）的外形与标准的2.5英寸u.2 nvme ssd相同。 因此，它与阿里巴巴数据中心内所有具有nvme端口的服务器都兼容。 产品开发于2018年3月完成，随后aoc ssd经过多轮软件/固件优化，目前正在阿里巴巴的数据中心进行试运行。
the aoc ssd 软件
aoc ssd与其主机端的软件栈配合使用，以充分发挥其软/硬件集成设计的优势。 在硬件开发的同时，阿里巴巴为不同的应用开发了aoc主机端的软件栈：
内核态的aoc ssd驱动程序和块设备ftl。 这允许应用程序将aoc ssd用作通用块设备，涵盖大多数传统应用。
用户态的aoc ssd驱动程序，与阿里巴巴的fusion engine（用户态存储引擎）配合使用。 将整个i / o路径移动到用户空间可以显着降低软件开销，这是阿里巴巴软/硬件集成架构的关键优势之一。
为阿里巴巴的应用（非块解决方案）定制的用户态的ftl解决方案。 这也是业界第一个完整的用户空间开放式通道的软件解决方案。
全套的管理，包括监控和测试工具，与阿里巴巴的devops基础架构集成。
整个aoc ssd主机端的软件栈由阿里巴巴开发，其与开源社区中的lightnvm解决方案不同。 事实上，aoc ssd主机端的软件是迄今为止唯一能够保证质量并且可以部署的开放式通道软件解决方案。 此外，aoc ssd的用户空间软件也是业界首个完整的用户空间开放式通道软件解决方案。
the aoc ssd 软硬件协同设计
aoc ssd与阿里巴巴的fusion engine合作，为阿里巴巴的业务部门提供软件/硬件集成解决方案。 已经开发了几种不同的解决方案。
内核态的aoc驱动和块设备ftl
自aoc block device ftl开发以来，已经对acl block device ftl进行了重大改进和扩展。 初步测试显示随机读写的iops分别达到了，700k和120k，超过了标准nvme ssd的主要替代品。 除了基本的i / o性能之外，aoc ssd还与fusion engine软件一起进一步优化了qos功能，从而为高优先级应用程序提供了更低的读/写延迟。
高优先级应用程序的读延迟。 平均延迟减少75％，99％延迟减少83％。
高优先级应用程序在混合工作负载中的读/写延迟。 平均读/写延迟分别降低了81％和99％，99％的读延迟降低了49％。
用户态的 aoc ssd软件设计
使用用户态的aoc ssd软件，针对特定应用开发了定制化的ftl，以实现更高级别的软件/硬件协同优化。 例如，阿里巴巴为key-value应用开发了“object ssd ftl”，并在阿里巴巴的业务部门广泛使用。 object ssd ftl与阿里巴巴的用户态kv引擎配合使用。 将aoc ssd的奇偶校验作为对象暴露给kv引擎，并将内部垃圾回收与应用程序的压缩操作相结合，kv-object ssd解决方案有望将写入放大系数降低4倍，延迟降低99％ 到80％。
aoc ssd和标准nvme ssd的对比如下：
the aoc ssd 生态
aoc ssd架构被设计为一个平台。 阿里巴巴正在与主要的ssd供应商合作开发兼容的aoc ssd产品。 在这些合作中，ssd供应商负责ssd硬件和固件，而阿里巴巴则负责主机端软件。 双方合作共同开发和调试，以减少产品开发和资格认证的时间。 阿里巴巴正在数据中心部署供应商提供的aoc ssd产品，并逐步将aoc ssd部署到阿里巴巴所有的服务器中。
the aoc ssd 的未来计划
作为阿里巴巴下一代存储架构的核心硬件，阿里巴巴有一个关于aoc ssd的长期计划。
近期：供应商提供的aoc ssd产品的大规模部署。
中期：aoc ssd的qlc版本，aoc ssd的超低延迟版本，基于fpga / gpu进行加速。
长期：新的非易失性存储介质解决，存储/内存计算解决方案。
总结
阿里巴巴开放通道ssd的部署不仅是阿里巴巴下一代存储架构的关键一步，也标志着阿里巴巴从追随者向存储技术领导者转变。 aoc ssd的大规模部署将使阿里巴巴的基础设施受益，使其在支持阿里巴巴的业务创新和全球化方面更具有效的竞争力.
SMT贴片虚焊假焊问题的原因分析及解决方法
电话机器人好用吗，为何会赢得企业的青睐
PCIe图像采集卡的原理、应用和优势
微软的新版Edge影响了很多以Chromium为内核的其他浏览器
关于集成光子应用的综述文章
阿里巴巴下一代存储架构迈出了关键一步，也为创新的Open Channel生态系统奠定了基础
防疫弥雾消杀机器人亮相 相当于8名传统人工的作业量
“如何存”“怎样管”将成为“新基建”面临的巨大挑战
iBeacon技术很热，但仍有很多误解，一文澄清关于Beacon的十个真相
科创AI第一股汽车业务提速在即 解读虹软VisDrive 智能车载方案
Python在web应用实现部署的协议与实现协议的工具解析
激光焊接技术在焊接可伐合金发生裂纹问题解析
诺基亚携新加坡电信公司进行物联网NB-IoT和5G测试
M97系列可编程直流电子负载
AKAI-L4222P大屏幕拼接
提升企业数字化水平 这套信息化管理方案值得
是什么致使APP工程师化为一座泡沫？
三星S10系列销量年内有望突破4000万台
华为Watch GT 2 Pro ECG款售价公布：2688元
360N5红米Note4X拍照测评对比,谁才是千元机的老司机?