代码编织梦想

Kafka 慌了!这个中间件,要火了?-爱代码爱编程

你知道吗?在消息中间件的编年史上,RocketMQ可谓独当一面。作为Apache 顶级项目(TLP),Apache RocketMQ 是国内首个非 Hadoop 生态体系的顶级项目,开源至今被全球广泛应用,堪称阿里技术中的一颗“掌上明珠”。 阿里高并发架构,为什么用RocketMQ? Kafka主要定位日志传输,特性很难全面满足淘宝的交易、订单、

spring-kafka-消费者暂停与恢复-爱代码爱编程

原生Kafka可以很容易的控制消费者线程暂停与恢复,但是Spring-Kafka中我一直不太清楚如何暂停恢复,直到我在工作中遇到了适当的业务场景,于是我在百度上搜索了一下,再结合看源码,总结出了如下3个步骤: 1: 自动注入KafkaListenerEndpointRegistry @Autowired private KafkaLis

Kafka-消息队列知识要点-爱代码爱编程

KafKa 1.0 简介 1.0.1 消息队列 消息队列是一种用来储存消息的队列(先进先出)。消息队列,就是将需要传输的数据存放在队列中,实现管道作用。消息队列不是一个永久性的储存,是作为临时存储存在的(设定一个期限:设置消息在MQ中保存10天)。 1.0.2 消息中间键(消息队列的组件) 消息中间件就是用来储存消息的软件(组件),连接各个系统。

大数据基础-kakfa的安装教程-爱代码爱编程

序 1、准备 kafka集群搭建是需要一定的基础作为支撑。 材料版本数量备注安装包kafka_2.11-2.0.0 .tgz3虚拟机CentOS 7.53IP/3192.168.28.51/52/53zookeeper版本任意3jdk版本7以上3提前安装好2、安装 2.1 安装jdk 略 2.2安装zookeeper 参考另一篇文章:zook

java编写kafka生产者、消费者示例-爱代码爱编程

一、新建maven项目 添加依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0<

spark Streaming 报错 StreamingQueryException: null-爱代码爱编程

org.apache.spark.sql.streaming.StreamingQueryException: null Current Committed Offsets: {} Current Available Offsets: {} Caused by: java.lang.NumberFormatException: null   这个问

阿里云单服务器kafka伪集群搭建-爱代码爱编程

下载并解压kafka (前提是安装并配置好jdk环境变量,原因是kafka依赖于zookeeper,而zookeeper使用java编写,kafka使用scala编写都需要JVM运行环境) kafka下载地址:http://kafka.apache.org/downloads zookeeper下载地址:https://zookeeper.apa

Java实现Kafka生产者和消费者的示例-爱代码爱编程

文章持续更新,微信搜索「万猫学社」第一时间阅读。 关注后回复「电子书」,免费获取12本Java必读技术书籍。 Kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。 方式一:kafka-clients 引入依赖 在

springboot集成kafka消息中间件-爱代码爱编程

前言 目前消息中间件有很多,比如rabbitmq、rocketmq、activemq、kafka,集成方法和使用方法大同小异,消息中间件主要是解决三方面的问题:削峰、异步、解耦。曾用过rabbitmq上传机器人状态信息、用rocketmq进行订单超时取消功能。 集成说明 kafka原生并不支持传输对象,具体可用传输类型可参照下图 以Serialize

kafka如何保证消息不丢失不被重复消费-爱代码爱编程

文章目录 kafka如何保证消息不丢失不被重复消费 消息的发送机制消息的接受机制消息的重复消费如何解决  kafka如何保证消息不丢失不被重复消费 在解决这个问题之前,我们首先梳理一下kafka消息的发送和消费机制。 消息的发送机制 kafka的消息发送机制分为同步和异步机制。可以通过producer.type属性进行配置。使用

Spring-Kafka —— 实现批量消费和手动提交offset-爱代码爱编程

spring-kafka的官方文档介绍,可以知道自1.1版本之后, @KafkaListener开始支持批量消费,只需要设置batchListener参数为true 把application.yml中的enable-auto-commit设置为false,设置为不自动提交   @Bean public KafkaListenerContainerFa

spring boot整合kafka(springBoot默认自动配置和自定义手动配置)-爱代码爱编程

spring boot自动配置方式整合 spring boot具有许多自动化配置,对于kafka的自动化配置当然也包含在内,基于spring boot自动配置方式整合kafka,需要做以下步骤。 1. 引入kafka的pom依赖包 <!-- https://mvnrepository.com/artifact/org.springframew

Kafka消费者分区分配策略RangeAssignor、RoundRobinAssignor和StickyAssignor-爱代码爱编程

引言 按照Kafka默认的消费逻辑设定,一个分区只能被同一个消费组(ConsumerGroup)内的一个消费者消费。假设目前某消费组内只有一个消费者C0,订阅了一个topic,这个topic包含7个分区,也就是说这个消费者C0订阅了7个分区,参考下图(1)。 此时消费组内又加入了一个新的消费者C1,按照既定的逻辑需要将原来消费者C0的部分分区分配给

kafka从指定位置重播-爱代码爱编程

..... //配置 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties); List<PartitionInfo> partitions = consumer.partitionsFor("test-topic"); List&

openresty lua集成kafka-爱代码爱编程

前提 1、 安装openresty,记得安装nginx的监控模块 2、 安装kafka 3、 下载lua+kafka插件:https://github.com/doujiang24/lua-resty-kafka/archive/master.zip 4、 解压插件,将lua-resty-kafka-master\lib\resty\kafka文件夹放到

python3 读取kafka-爱代码爱编程

概述 代码环境依赖:debian9,python - 3.8.5,kafka-python,其中kafka-python需要使用pip安装(pip3 install kafka-python)。性能上,kafkaComsumer的读速度和java相当(单进程单线程下)。 例程 #!/usr/bin/python3 import json from

kafka架构三之数据文件-爱代码爱编程

目录 Kafka高效文件存储设计特点配置Broker创建topicKafka文件的存储机制常用命令分组的位移信息kafka-文件存储格式零拷贝 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段,通过多个小文件段,就容易- 定期清除或删除已经消费完文件,减少磁盘占用。通过索引信息可以快速定位me

基于Zookeeper的kafka集群搭建及简单使用-爱代码爱编程

基于Zookeeper的kafka集群搭建(详细) 1.前期准备 创建三台linux服务器,我是在虚拟机中创建的三台服务器 主机名IPmaser192.168.164.129salve1192.168.164.130salve2192.168.164.131我安装的linux版本是centos7 linux的安装可以参考centos7安装教程 2.

Kafka 常用命令记录-爱代码爱编程

操作 kafka 时记不住shell命令、肿么办? 1、查看当前的集群Topic列表[root@node173 ~]# cd /usr/hdp/3.0.1.0-187/kafka/bin[root@node173 bin]# ./kafka-topics.sh --list --zookeeper node173.data:2181 输出为 __cons

通过Nginx代理Kafka实现跨网络消费-爱代码爱编程

通过Nginx代理Kafka实现跨网络消费 1. 服务器环境2. 服务搭建2.1 服务器B服务搭建2.2 服务器A服务搭建3. 测试连通性 1. 服务器环境 两台服务器同在一个网段(都开打开防火墙模拟跨网)分别为服务器A、服务器B 服务器A(172.**.**.219):安装Nginx(1.8.0以上的Nginx才支持str