HDFS的主要架构/特点/应用场景

hdfs(hadoopdistributedfilesystem),是一个适合运行在通用硬件(commodityhardware)上的分布式文件系统,是hadoop的核心子项目,是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(gfs),是gfs的一个简化和开源版本。
hdfs的主要架构
hdfsclient(客户端):从namenode获取文件的位置信息,再从datanode读取或者写入数据。此外,client在数据存储时,负责文件的分割;
namenode(元数据节点):管理名称空间、数据块(block)映射信息、配置副本策略、处理客户端读写请求;
datanode(存储节点):负责执行实际的读写操作,存储实际的数据块,同一个数据块会被存储在多个datanode上
secondarynamenode:定期合并元数据,推送给namenode,在紧急情况下,可辅助namenode的ha恢复。
hdfs的特点(vsgfs)
分块更大,每个数据块默认128mb;
不支持并发,同一时刻只允许一个写入者或追加者;
过程一致性,写入数据的传输顺序与最终写入顺序一致;
masterha,2.x版本支持两个namenode,(分别处于active和standby状态),故障切换时间一般几十秒到数分钟
hdfs适合的应用场景:
适用于大文件、大数据处理,处理数据达到gb、tb、甚至pb级别的数据。
适合流式文件访问,一次写入,多次读取。
文件一旦写入不能修改,只能追加。
hdfs不适合的场景:
低延时数据访问。
小文件存储
并发写入、文件随机修改


电动两轮车、三轮车会是一个好出路吗?
大联大友尚集团推出基于Diodes产品的65W ACF Type-C PD3.0充电器方案
一键智能试装的体感试衣镜,它将给我们带来哪些惊喜
两会热议“区块链”,物联网 再次被提议
人工智能军备竞赛现在成为新的趋势吗
HDFS的主要架构/特点/应用场景
互动LED地砖屏的原理及应用场景
加密资产真的会同比特币和以太币一样安全吗?
影像仪全景导航,快速定位产品特征!
常用的升压芯片有哪几种 升压芯片的功率太小怎么办
GaN激光雷达普及加速 | 氮化镓技术如何推动ToF激光雷达产业的加速发展?
联想新产品正式发售,配置十代i5+16G+MX350
Ansys空心杯电机仿真平台方案
使用的TH7122和TH71221收发器的窄带FSK应用分析
摩尔定律放缓的节奏给eFPGA带来了发展机遇
北汽集团以全新的面貌亮相 智能化方向更加明确
转换器时钟技术向高速数据时钟发展
激光电视的性能怎么样,到底该不该买
触摸一体机失灵怎么办
电信行业移动转售业务正式商用虚拟运营商迈入2.0时代