先上图
Flume架构及核心组件
1) Source 收集
2) Channel 聚集
3) Sink 输出
Flume安装前置条件
1.需要jdk1.7及以上
2.安装部署的机器需要足够大的内存
3.安装部署的机器需要足够大的磁盘空间
4.读写权限
使用Flume的关键就是写配置文件
A） 配置Source
B） 配置Channel
C） 配置Sink
D） 把以上三个组件串起来
安装好Flume之后再conf文件夹建立配置文件，名为netcat-memory-logger.conf
a1: agent名称
r1: source的名称
k1: sink的名称
c1: channel的名称
以上是对配置文件各个组件的解释内容
以下是配置文件内容
#分别配置agent的sources、channels和sinks
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置数据来源 注意hadoop000 是机器名称
a1.sources.r1.type = netcat
a1.sources.r1.bind = hadoop000
a1.sources.r1.port = 44444
# 配置输出组件的类型是输出到控制台上
a1.sinks.k1.type = logger
# 使用机器的内存作为缓冲存储的
a1.channels.c1.type = memory
# 把agent的3个组件串联起来 注意channels和channel的区别
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
下面是启动
启动agent
flume-ng agent \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/netcat-memory-logger.conf \
-Dflume.root.logger=INFO,console
以上内容是基于学习网站视频老师的笔记作为修改上传的