flume 与 kafka 整合实战_flume消费kafka的消息-爱代码爱编程
目录
一、Kafka 作为 Source【数据进入到kafka中，抽取出来】
二、Kafka 作为 Sink数据从别的地方抽取到kafka里面】
在大数据处理的生态系统中，Flume 和 Kafka 都是非常重要的组件。Flume 擅长收集、聚合和传输大量的日志数据等，而 Kafka 则是一个高性能的分布式消息队列，能够处理海量的实时数据。将 Flume 和 Kafka 进行整合，可以构建强大的数据处理管道，实现数据的高效采集、传输和处理。本文将详细介绍 Flume 和 Kafka 整合的两种常见方式：Kafka 作为 Source 和 Kafka 作为 Sink。
一、Kafka 作为 Source【数据进入到kafka中，抽取出来】
（一）环境准备与配置文件创建
在 Flume 的 conf 文件夹下，创建一个名为 kafka - memory - logger.conf 的脚本文件。这里需要注意，在实际操作中可能会遇到错误，例如 kafka 的每一批次的读取数量大于了 channel 的容量。这种情况下的解决方案是要么降低 kafka 的每一批次读取的容量，要么提高 channel 的容量。
https://flume.liyifeng.org/#kafka-source
kafka-memory-logger.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 100
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092
a1.sources.r1.kafka.topics = five
a1.sources.r1.kafka.consumer.group.id = qiaodaohu
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sinks.k1.type = logger
a1.sinks.k1.maxBytesToLog = 128
（二）创建主题
接着创建一个 topic，名字可以叫做 kafka - flume，当然也可以直接使用以前创建好的主题。
kafka-topics.sh --create --topic kafka-flume --bootstrap-server bigdata01:9092 --partitions 3 --replication-factor 1
（三）测试步骤
首先启动一个消息生产者，向 topic 中发送消息。
kafka-console-producer.sh --topic kafka-flume --bootstrap-server bigdata01:9092
然后启动 Flume，接收消息并查看 log 日志，这样就可以验证数据是否能够从 Kafka 成功抽取到 Flume 中并进行后续处理。
在flume的flumeconf 文件夹下
flume-ng agent -n a1 -c ../conf -f ./kafka-memory-logger.conf -Dflume.root.logger=INFO,console
二、Kafka 作为 Sink数据从别的地方抽取到kafka里面】
（一）编写配置脚本
编写一个名为 flume - kafka - sink.conf 的脚本，内容如下：
##a1就是flume agent的名称
## source r1
## channel c1
## sink k1
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = bigdata01
a1.sources.r1.port = 44444
# 修改sink为kafka
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = bigdata01:9092
a1.sinks.k1.kafka.topic = five
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1这里的流程是 netcat（模拟数据源）→ memory（内存通道）→ kafka。
（二）创建 topic
使用以下命令创建 topic（flume - kafka）：
kafka-topics.sh --create --topic flume-kafka --bootstrap-server bigdata01:9092 --partitions 3 --replication-factor 1
（三）测试过程
启动 Flume：
flume-ng agent -n a1 -c conf -f $FLUME_HOME/job/flume-kafka-sink.conf -Dflume.root.logger=INFO,console使用 telnet 命令，向端口发送消息：
yum -y install telnet
telnet bigdata01 44444
在窗口不断地发送文本数据，数据就会被抽取到 Kafka 中。
使用消费者获取 Kafka 数据：
kafka-console-consumer.sh --topic flume-kafka --bootstrap-server bigdata01:9092 --from-beginning
三、应用场景示例
假定有这样一个场景：Flume 可以抽取不断产生的日志，抽取到的日志数据，发送给 Kafka，Kafka 经过处理，可以展示在页面上，或者进行汇总统计。这样就实现了一定的实时效果，在实际的大数据处理流程中，这种整合方式能够有效地处理海量的实时数据，提高数据处理的效率和可靠性。
四、总结
通过 Flume 和 Kafka 的整合，我们能够构建更加灵活、高效的数据处理架构，满足不同场景下的大数据处理需求，为后续的数据挖掘、分析等提供坚实的数据基础。