前言

如果你从本文中学习到丝毫知识，那么请您点点关注、、评论和
大家好，我是爱做梦的鱼，我是东北大学大数据实验班大三的小菜鸡，非常渴望优秀，羡慕优秀的人。从5月25号我们开始了为期两个月的实习，我们需要做一个大型大数据项目，一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏，我会每天更新。
专栏：大数据案例实战——大三春招大数据开发
专栏：Spark官方文档解读【Spark2.4.5中英双语】
博客地址：子浩的博客https://blog.csdn.net/weixin_43124279

欢迎大家关注微信公众号【程序猿干货铺】
一群热爱技术并且向往优秀的程序猿同学，不喜欢水文，不喜欢贩卖焦虑，只喜欢谈技术，的都是技术干货。Talk is cheap. Show me the code

一、flume （日志收集系统） 简介

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

1.日志收集

Flume最早是Cloudera提供的日志收集系统，是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。

2.优势

1. Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS,HBase
2. 当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，这时候收集的信息非常大，甚至超过了系统的写入数据能力，这时候，Flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据.
3. 提供上下文路由特征
4. Flume的管道是基于事务，保证了数据在传送和接收时的一致性.
5. Flume是可靠的，容错性高的，可升级的，易管理的,并且可定制的。

二、Flume安装

1.Flume安装地址

1） Flume官网地址
https://flume.apache.org/
2）文档查看地址
https://flume.apache.org/FlumeUserGuide.html
3）下载地址
https://archive.apache.org/dist/flume/

2.安装部署

1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/BigData目录下
2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下

tar -zxf apache-flume-1.9.0-bin.tar.gz  

3）修改apache-flume-1.9.0-bin的名称为flume-1.9.0

mv apache-flume-1.9.0-bin flume-1.9.0 

4）将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件

mv flume-env.sh.template flume-env.sh vim flume-env.sh export JAVA_HOME=/usr/local/java/jdk1.8.0_151