大数据的最底层的内容就是存储,只有把数据存在能高效访问的分布式系统下才能提升工作效率。今天带大家来盘点一下这些常见的分布式文件系统:
lustre
lustre是一个非常安全,规模很大的分布式文件系统,最早由cfs(cluster file system inc.)公司研发,最后由cfs、惠普和因特尔三家公司一起与2003年推出第一版发布版,发展到现在已经非常成熟。其存储量通常以pb起步,节点支持数也能打到万级。但是其对设备有特殊要求。
hdfs
hdfs是hadoop内置的分布式文件系统,之前也有过介绍。hdfs最大的优势就是价格低廉,因此也使用极为广泛。并且其高可靠性,高容错性也让使用者非常信赖。虽然hdfs的存储级别也在pb以上,但是对于小文件过多的情况hdfs不能很好的支持。
qfs
qfs和hdfs类似,都是为了解决高效顺序读写大量数据的问题。但是qfs在性能上优于hdfs,读写效率提升综合越60%。现在qfs还比较小众,没有经过大量的使用测试,因此还不能用于大规模的生产环境。
glusterfs
glusterfs也是一个pb级别的集群文件系统,其思想是将集群内所有服务器的存储空间汇到一个大的网络系统上。这样做最大的特点就是无中心,不会有单点故障。
alluxio
alluxio是第一个基于内存的分布式文件系统,因此其相应速度也会超出普通的分布式文件系统很多,例如hdfs就比它慢数百倍。并且alluxio和spark也有良好的交互。最重要的是alluxio中国人开发的,文档都是中文的,对于被英文文档困扰很久的小伙伴绝对是福音。
ceph
ceph也是一个没有单点故障的分布式文件系统,ceph的每个节点上都有一小部分资源用于计算节点的数据信息,从而非常优秀的实现负载均衡。
pvfs
pvfs是一个并行虚拟文件系统,他能很好的支持linux上的原声命令和工具,例如rm、dd、cat等。但是psfs是单管理节点的,因此存在单点故障,并且在启动后无法灵活的修改。
盘点深圳首条智慧道路中的七大黑科技
智能开关控制之可控硅、继电器
一文理解自举电路原理
MAX44251/MAX44252超精密,低噪声,低漂移放大器
控制电路和工作电路的区别和联系
盘点一下这些常见的分布式文件系统
Micro LED产业化面临哪些技术挑战
基于OFDR的高分辨率光学链路诊断仪对平面光波导延迟线进行测量
高精度功率分析仪WT3000E的性能特点及应用
三星公布自家工艺路线图 在3nm节点上全面反超台积电及Intel
什么是直接甲醇燃料电池?
Spansion发布SLC NAND闪存系列产品以及未来五年产品规划图
PM2.5扬尘监测仪是什么设备
DSG3065B/DSG3136B及IQ型号射频信号源概述
线性直流稳压电源电路设计方案详解
64位ARM处理器架构受挫 服务器市场添阴影
ar技术应用落地领域有哪些(十大领域盘点)
韩国地区Surface Pro 8将提供4G版本
毫米波雷达存在感应,人体存在应用
英特尔亮剑MWC“端到端”策略加速5G