Flume的基本架构以及使用案例
在大数据时代背景下，如何采集出有用的信息已经是大数据发展的关键因素之一，数据采集可以说是大数据产业的基石。flume作为开源的数据采集系统，受到了业界的认可与广泛应用。本文将带你了解flume的基本架构以及使用案例等。
01
flume简介
1.1 flume是什么？
flume是apache software foundation的顶级项目。它是一个分布式，可靠且可用的系统，主要用于高效地收集，聚合大量日志数据并将其从不同的源移动到集中式数据存储中。
flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体数据，电子邮件消息以及几乎所有可能的数据源。
1.2 flume外部结构
数据发生器产生的数据被所在服务器上的agent收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到hdfs或者hbase中。同时，flume还有如下特点：
使用flume，我们可以将多个服务器中获取的数据迅速的移交给hadoop中；支持各种接入数据的类型以及接出数据类型；支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等；支持水平扩展。02
flume的一些核心概念
client：客户端，生产数据，运行在一个独立的线程。
event：事件，是一个数据单元，由消息头和消息体组成。
agent：一个独立的flume进程，包含组件source、 channel、 sink。
source：数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到event里，然后推入channel中。
channel：中转event的一个临时存储，保存由source组件传递过来的event。
sink：从channel中读取并移除event， 将event传递到下一个agent。
2.1 flume agent结构
flume内部有一个或者多个agent，它是flume 运行的核心。然而对于每一个agent来说，它就是一个独立的守护进程(jvm)，它从客户端或者其他的 agent接收数据，然后迅速的传给下一个目的节点sink，或者agent。
flume以agent为最小的独立运行单位。它是一个完整的数据收集工具，含有三个核心组件，分别是source、 channel、 sink。其工作流程为：把数据从数据源(source)收集过来，在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地之前，会先缓存数据(channel)，待数据真正到达目的地(sink)后，flume再删除缓存的数据。
2.2 source
source 负责数据的产生或搜集，并将数据捕获后进行特殊的格式化，封装到event，然后再推入channel。一般是对接一些rpc的程序或者是其他的flume节点的sink，从数据发生器接收数据，并将接收的数据以event格式传递给一个或者多个通道channel，flume提供多种数据接收的方式，比如avro、thrift、netcat、sequence generator、syslog、http等，如果内置的source无法满足需要， flume还支持自定义。
2.3channel
channel 是一种短暂的存储容器，负责数据的存储持久化，可以持久化到jdbc，file，memory，将从source接收到的event格式的数据缓存起来，直到它们被sink消费掉，可以把channel看成是一个队列，队列的优点是先进先出，放好后尾部一个个event出来，flume比较看重数据的传输，因此几乎没有数据的解析预处理。仅仅是数据的产生，封装成event然后传输。数据只有存储在下一个存储位置，数据才会从当前的channel中删除。这个过程是通过事务来控制的，这样就保证了数据的可靠性。
不过flume的持久化也是有容量限制的，比如内存如果超过一定的量，不够分配，也一样会爆掉。
2.4 sink
sink负责数据的转发，将数据存储到集中存储器比如hbase和hdfs，它从channel消费数据并将其传递给目标地。目标地可能是另一个sink，也可能是hdfs、logger、avro、thrift、file、hbase、solr或者自定义等。
sink从channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、 hadoop存数据， 也可以是其他agent的source。在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。
sink支持设置存储数据位置，在日志数据较少时，可以将数据存储在文件系中，并且设定一定的时间间隔保存数据。在日志数据较多时，可以将相应的日志数据存储到hadoop中，便于日后进行相应的数据分析。
2.5 event
flume使用event对象作为传递数据的格式，特点如下：
① event将传输的数据进行封装，是flume传输数据的基本单位，如果是文本文件，通常是一行记录。
② event也是事务的基本单位。
③ event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息。
④ event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去。
一个完整的event包括：headers、body、event信息(即文本文件中的单行记录)。其中body是一个字节数组，包含了实际的内容，如下图所示：
03
flume拦截器、数据流以及可靠性
3.1 flume拦截器
当我们需要对数据进行过滤时，除了在source、 channel和sink进行代码修改之外， flume为我们提供了拦截器，位于source和channel之间，在日志进入到source之前，对日志进行一些包装、清洗过滤等动作。
当我们为source指定拦截器后，会在其中得到event，根据需求我们可以对event进行保留还是抛弃，抛弃的数据不会进入channel中。
3.2 flume数据流
flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除缓存的数据。
flume 传输数据的基本单位是 event，如果是文本文件，通常是一行记录。event 从 source，流向 channel，再到sink，本身为一个byte数组，并可携带 headers 信息。event 代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。
值得注意的是，flume提供了大量内置的source、channel和sink类型。不同类型之间可以自由组合。组合方式基于用户设置的配置文件，非常灵活。比如：channel可以把事件暂存在内存里，也可以持久化到本地硬盘上。sink可以把日志写入hdfs、hbase或其它source等。flume支持用户建立多级流，也就是说，多个agent可以协同工作，这也是flume强大之处。
3.3 flume可靠性
flume可以通过以下方式保证其可靠性：
① flume保证单次跳转可靠性的方式：传送完成后，该事件才会从通道中移除；
② flume使用事务性的方法来保证事件交互的可靠性；
③ flume可以将数据可暂存，当目标不可访问后，数据会暂存在channel中，等目标可访问之后，再进行传输；
④ 数据处理过程中，如果因为网络中断或者其他原因，在某一步被迫结束了，这个数据会在下一次重新传输；
⑤ source和sink封装在一个事务的存储和检索中，即事件的放置或者提供由一个事务通过通道来分别提供，保证了事件集在流中可靠地进行端到端的传递。
04
flume使用场景****
flume在英文中的意思是水道，它更像是可以随意组装的消防水管，下面根据官方文档，展示几种flow。
4.1 单个agent采集数据
单个agent收集数据源，存储到最终的外部系统中，这是最简单的情况。
4.2 多个agent顺序连接
多个agent顺序连接起来，将最初的数据源经过收集，最终存储到外部系统中。一般情况下，应该控制这种顺序连接的agent 的数量，因为数据流经的路径变长了，如果出现故障将影响整个服务。
4.3 多个agent数据汇集
日志收集中的一个非常常见的情况是，大量的日志生成客户端将数据发送到连接存储子系统的使用方代理。例如，从数百台web服务器收集的日志发送到多个写入hdfs群集的代理。
这可以在flume中实现，方法是为多个第一层代理配置一个avro接收器，它们均指向单个代理的avro源。第二层代理上的此源将接收到的事件合并到一个通道中，该通道由接收器消耗到其最终目地的。
4.4 多级流
flume支持多级流，那么什么是多级流呢？我们举个例子，当syslog， java， nginx、 tomcat等混合在一起的日志流开始流入一个agent后，可以在agent中将混杂的日志流分开，然后给每种日志建立一个自己的传输通道。
上面的示例显示了来自代理“ foo”的源，将流扩展到三个不同的通道。
值得注意的是，当多个agent级联时，一个source可以对接多个chanel，但是一个chanel只能对接一个sink。
05
flume优缺点
5.1 优点
① flume可以将应用产生的数据存储到多种集中存储器;
② flume提供上下文路由特征;
③ flume的管道是基于事务，保证了数据在传送和接收时的一致性;
④ flume是可靠的，容错性高的，可升级的，易管理的，并且可定制的;
⑤ flume可以实时的将分析数据并将数据保存在数据库或者其他系统中;
⑥ 当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，收集的信息非常大，甚至超过了系统的写入数据能力，这时候，flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供一个平稳的数据。
5.2 缺点
flume的配置比较繁琐，source，channel，sink的关系在配置文件里面交织在一起，不便于管理。
实验性AI将COVID轻度与严重区分开
爆realme新旗舰机的充电器，支持20V 6.25A最高125W超级闪充
利用云存储推动企业数字化转型
瑞芯微推RK2108 MCU芯片 罗德与施瓦茨推CMX500一体式测试仪
原子荧光光谱仪如何发展成土壤检测常规仪器
Flume的基本架构以及使用案例
LED未来前景分析，基于555定时器设计的LED控制电路分析
什么是NAT？NAT类型有哪些？NAT是如何工作的？NAT解决了什么问题？
三大运营商在智慧城市的建设中具有先天的优势
设计高度集成的心电图（ECG）前端电路，用于电池供电 病人监护应用
泰芯TXLink仿真器MCU单片机开发调试工具
工业物联网对消费者的好处
配电线路中跌落式熔断器熔丝熔断的处理
“刷脸商用时代”来临B端需求注意金融安防
CC2530应用电路
下一代深度学习加速器:英特尔Xe
Android 11新增无线充电板错误放置提示功能 可提醒用户正确放置
数据集成系统在教育行业中的应用
魅蓝metal拆解 压铸金属技术是如何炼成的
台积电盈利大幅放缓表明半导体市场复苏慢于预期
01
flume简介
1.1 flume是什么？
flume是apache software foundation的顶级项目。它是一个分布式，可靠且可用的系统，主要用于高效地收集，聚合大量日志数据并将其从不同的源移动到集中式数据存储中。
flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体数据，电子邮件消息以及几乎所有可能的数据源。
1.2 flume外部结构
数据发生器产生的数据被所在服务器上的agent收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到hdfs或者hbase中。同时，flume还有如下特点：
使用flume，我们可以将多个服务器中获取的数据迅速的移交给hadoop中；支持各种接入数据的类型以及接出数据类型；支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等；支持水平扩展。02
flume的一些核心概念
client：客户端，生产数据，运行在一个独立的线程。
event：事件，是一个数据单元，由消息头和消息体组成。
agent：一个独立的flume进程，包含组件source、 channel、 sink。
source：数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到event里，然后推入channel中。
channel：中转event的一个临时存储，保存由source组件传递过来的event。
sink：从channel中读取并移除event， 将event传递到下一个agent。
2.1 flume agent结构
flume内部有一个或者多个agent，它是flume 运行的核心。然而对于每一个agent来说，它就是一个独立的守护进程(jvm)，它从客户端或者其他的 agent接收数据，然后迅速的传给下一个目的节点sink，或者agent。
flume以agent为最小的独立运行单位。它是一个完整的数据收集工具，含有三个核心组件，分别是source、 channel、 sink。其工作流程为：把数据从数据源(source)收集过来，在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地之前，会先缓存数据(channel)，待数据真正到达目的地(sink)后，flume再删除缓存的数据。
2.2 source
source 负责数据的产生或搜集，并将数据捕获后进行特殊的格式化，封装到event，然后再推入channel。一般是对接一些rpc的程序或者是其他的flume节点的sink，从数据发生器接收数据，并将接收的数据以event格式传递给一个或者多个通道channel，flume提供多种数据接收的方式，比如avro、thrift、netcat、sequence generator、syslog、http等，如果内置的source无法满足需要， flume还支持自定义。
2.3channel
channel 是一种短暂的存储容器，负责数据的存储持久化，可以持久化到jdbc，file，memory，将从source接收到的event格式的数据缓存起来，直到它们被sink消费掉，可以把channel看成是一个队列，队列的优点是先进先出，放好后尾部一个个event出来，flume比较看重数据的传输，因此几乎没有数据的解析预处理。仅仅是数据的产生，封装成event然后传输。数据只有存储在下一个存储位置，数据才会从当前的channel中删除。这个过程是通过事务来控制的，这样就保证了数据的可靠性。
不过flume的持久化也是有容量限制的，比如内存如果超过一定的量，不够分配，也一样会爆掉。
2.4 sink
sink负责数据的转发，将数据存储到集中存储器比如hbase和hdfs，它从channel消费数据并将其传递给目标地。目标地可能是另一个sink，也可能是hdfs、logger、avro、thrift、file、hbase、solr或者自定义等。
sink从channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、 hadoop存数据， 也可以是其他agent的source。在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。
sink支持设置存储数据位置，在日志数据较少时，可以将数据存储在文件系中，并且设定一定的时间间隔保存数据。在日志数据较多时，可以将相应的日志数据存储到hadoop中，便于日后进行相应的数据分析。
2.5 event
flume使用event对象作为传递数据的格式，特点如下：
① event将传输的数据进行封装，是flume传输数据的基本单位，如果是文本文件，通常是一行记录。
② event也是事务的基本单位。
③ event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息。
④ event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去。
一个完整的event包括：headers、body、event信息(即文本文件中的单行记录)。其中body是一个字节数组，包含了实际的内容，如下图所示：
03
flume拦截器、数据流以及可靠性
3.1 flume拦截器
当我们需要对数据进行过滤时，除了在source、 channel和sink进行代码修改之外， flume为我们提供了拦截器，位于source和channel之间，在日志进入到source之前，对日志进行一些包装、清洗过滤等动作。
当我们为source指定拦截器后，会在其中得到event，根据需求我们可以对event进行保留还是抛弃，抛弃的数据不会进入channel中。
3.2 flume数据流
flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除缓存的数据。
flume 传输数据的基本单位是 event，如果是文本文件，通常是一行记录。event 从 source，流向 channel，再到sink，本身为一个byte数组，并可携带 headers 信息。event 代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。
值得注意的是，flume提供了大量内置的source、channel和sink类型。不同类型之间可以自由组合。组合方式基于用户设置的配置文件，非常灵活。比如：channel可以把事件暂存在内存里，也可以持久化到本地硬盘上。sink可以把日志写入hdfs、hbase或其它source等。flume支持用户建立多级流，也就是说，多个agent可以协同工作，这也是flume强大之处。
3.3 flume可靠性
flume可以通过以下方式保证其可靠性：
① flume保证单次跳转可靠性的方式：传送完成后，该事件才会从通道中移除；
② flume使用事务性的方法来保证事件交互的可靠性；
③ flume可以将数据可暂存，当目标不可访问后，数据会暂存在channel中，等目标可访问之后，再进行传输；
④ 数据处理过程中，如果因为网络中断或者其他原因，在某一步被迫结束了，这个数据会在下一次重新传输；
⑤ source和sink封装在一个事务的存储和检索中，即事件的放置或者提供由一个事务通过通道来分别提供，保证了事件集在流中可靠地进行端到端的传递。
04
flume使用场景****
flume在英文中的意思是水道，它更像是可以随意组装的消防水管，下面根据官方文档，展示几种flow。
4.1 单个agent采集数据
单个agent收集数据源，存储到最终的外部系统中，这是最简单的情况。
4.2 多个agent顺序连接
多个agent顺序连接起来，将最初的数据源经过收集，最终存储到外部系统中。一般情况下，应该控制这种顺序连接的agent 的数量，因为数据流经的路径变长了，如果出现故障将影响整个服务。
4.3 多个agent数据汇集
日志收集中的一个非常常见的情况是，大量的日志生成客户端将数据发送到连接存储子系统的使用方代理。例如，从数百台web服务器收集的日志发送到多个写入hdfs群集的代理。
这可以在flume中实现，方法是为多个第一层代理配置一个avro接收器，它们均指向单个代理的avro源。第二层代理上的此源将接收到的事件合并到一个通道中，该通道由接收器消耗到其最终目地的。
4.4 多级流
flume支持多级流，那么什么是多级流呢？我们举个例子，当syslog， java， nginx、 tomcat等混合在一起的日志流开始流入一个agent后，可以在agent中将混杂的日志流分开，然后给每种日志建立一个自己的传输通道。
上面的示例显示了来自代理“ foo”的源，将流扩展到三个不同的通道。
值得注意的是，当多个agent级联时，一个source可以对接多个chanel，但是一个chanel只能对接一个sink。
05
flume优缺点
5.1 优点
① flume可以将应用产生的数据存储到多种集中存储器;
② flume提供上下文路由特征;
③ flume的管道是基于事务，保证了数据在传送和接收时的一致性;
④ flume是可靠的，容错性高的，可升级的，易管理的，并且可定制的;
⑤ flume可以实时的将分析数据并将数据保存在数据库或者其他系统中;
⑥ 当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，收集的信息非常大，甚至超过了系统的写入数据能力，这时候，flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供一个平稳的数据。
5.2 缺点
flume的配置比较繁琐，source，channel，sink的关系在配置文件里面交织在一起，不便于管理。
实验性AI将COVID轻度与严重区分开
爆realme新旗舰机的充电器，支持20V 6.25A最高125W超级闪充
利用云存储推动企业数字化转型
瑞芯微推RK2108 MCU芯片 罗德与施瓦茨推CMX500一体式测试仪
原子荧光光谱仪如何发展成土壤检测常规仪器
Flume的基本架构以及使用案例
LED未来前景分析，基于555定时器设计的LED控制电路分析
什么是NAT？NAT类型有哪些？NAT是如何工作的？NAT解决了什么问题？
三大运营商在智慧城市的建设中具有先天的优势
设计高度集成的心电图（ECG）前端电路，用于电池供电 病人监护应用
泰芯TXLink仿真器MCU单片机开发调试工具
工业物联网对消费者的好处
配电线路中跌落式熔断器熔丝熔断的处理
“刷脸商用时代”来临B端需求注意金融安防
CC2530应用电路
下一代深度学习加速器:英特尔Xe
Android 11新增无线充电板错误放置提示功能 可提醒用户正确放置
数据集成系统在教育行业中的应用
魅蓝metal拆解 压铸金属技术是如何炼成的
台积电盈利大幅放缓表明半导体市场复苏慢于预期