kafka原理解析之-日志管理-爱代码爱编程
一、日志文件结构 1、在磁盘的组织形式 从上图可以看到segment的文件组成： 以 *.log 结尾的日志文件以 *.index 结尾的 offset 索引 文件以 *.timeindex 结尾的 time offset 时间索引 文件2、SEGMENT 日志文件达到一定的条件的时候需要进行切分，其对应的索引文件也会进行切分，日志文件满足以下条件
kafka集群搭建-爱代码爱编程
kafka集群环境搭建 一、背景二、安装软件三、安装步骤1、搭建一个 3 个节点的 zk 伪集群1、下载 zookeeper 安装包2、解压三份，并放置在 zookeeper 目录中3、修改 zookeeper 配置文件，此处以 zk01 为例子5、启动3个zk节点6、连接 `zk` 集群2、搭建一个3个节点的 kafka 集群1、下载 kafka
首次探索消息队列——kafka-爱代码爱编程
1.kafka消息队列（基于发布订阅模式的消息队列，应用于大数据实时处理领域） 1.点对点模式（一对一，消费者主动拉去，使用后删除）2.发布订阅模式（一对多，很多消费者消费，消费后不删除，记住自己消费到的地方）celery是基于任务的队列，而不是消息2.基础架构 1.方便扩展，提高吞吐量，一个topic分为多个partition2.配合分区设计，提出消
kafka原理解析之-消息格式-爱代码爱编程
kafka经过多个版本的演变，消息格式也在不断的变化改进，本文讨论kafka使用过的各种消息格式，有些格式在最新的版本中已经不用，但我们可以从中学习一些设计思想 一、消息格式 介绍各版本消息格式及版本变更特性 1、V0： Kafka 0.10.0 之前的版本， 属性说明： LOG_OVERHEAD : offset + message_size
docker搭建kafka+zookeeper集群-爱代码爱编程
开始搭建zookeeper集群 1.首先准备3台服务器或虚拟机并安装docker 10.11.0.19,10.11.0.20,10.11.0.21 2.分别在三台服务器上拉取kafka和zookeeper镜像 3.分别在三台服务器的任意位置执行如下代码: 10.11.0.19 docker run -d -p 2181:2181 -p 2888
kafka原理解析之-消息可靠性保障-爱代码爱编程
本文讨论的是假设存在完美无缺的producer和consumer， 从broker角度保障数据可靠的机制。 一、名词介绍 ISR(In-sync Replication):所有与leader副本保持一定程度同步的副本（包括Leader）,是kafka动态维护的一组同步副本，每当leader挂掉时，在ISR集合中选举出一个follower作为leade
RocketMQ详细入门（二）-爱代码爱编程
1. 案例介绍 1.1 业务分析 模拟电商网站购物场景中的【下单】和【支付】业务 ###1）下单 用户请求订单系统下单订单系统通过RPC调用订单服务下单订单服务调用优惠券服务，扣减优惠券订单服务调用调用库存服务，校验并扣减库存订单服务调用用户服务，扣减用户余额订单服务完成确认订单###2）支付 用户请求支付系统支付系统调用第三方支付平台A
Flink connector学习笔记总结-爱代码爱编程
目录 1. 概述 2. Flink预定义的source和sink 2.1 基于文件的source/sink 2.2 基于Socket的Source和Sink 2.3 基于内存Collections、Iterators的Source 3. Bundled Connectors 4. Apache Bahir 5. Async I/O
Kafka Producer-爱代码爱编程
为了备战四级，这段时间就没有写博客，今天考完，废话不多说，来一篇 下图为Kafka发送消息的主要步骤： 步骤1： 我们首先创建一个ProducerRecord对象，从上图可以看出，里面包含着发送的目标主题，分区，键，值，Partition和key可以不指定，但是Topic和Value必须指定。在发送ProducerRecord对象时，
Zookeeper、Kafka集群一键启动、关闭，脚本编写-爱代码爱编程
Zookeeper集群一键启动 在 /usr/local/bin目录下创建脚本 zk #!/bin/sh case $1 in "start"){ for i in centos3 centos4 centos5 do echo "********$i --> zkServer.sh start **********" ssh $
MQ学习——解决高可用、消息重复、消息丢失、消息顺序错乱、消息积压问题-爱代码爱编程
本文是最近看儒猿技术窝视频做的一些笔记 高可用 面试题：如何保证消息队列的高可用？ RabbitMQ的高可用 RabbitMQ有三种模式：单机模式、普通集群模式、镜像集群模式。 kafka的高可用 消息重复 面试题：如何保证消息不被重复消费（如何保证消息消费时的幂等性）？ 消息丢失 面试题：如何保证消息的可靠性传输（如何处理
windows上安装zookeeper、kafka （问题汇总）-爱代码爱编程
windows上安装zookeeper、kafka （问题汇总） Yi. Zookeeper启动时端口被占用Er. Kfaka启动报错San. 解决启动zookeeper时Could not find or Load main class org.apache.zookeeper.server.quorum. QuorumPeerMain的报错
kafka原理解析之-消息交付语义-爱代码爱编程
消息交付语义 kafka消息交付语义假设存在完美无缺的 broker， 从producer 和 consumer 角度讨论数据保证机制，主要表现重试生产消息或重新消费消息（可能是不同的消费实例）时的情况。 Kafka提供了三种消息交付语义，如下。 At most once——消息可能会丢失但绝不重传。At least once——消息可以重传但绝不丢
Kafka 使用java api从指定位移消费 （从开头消费/从结尾消费）-爱代码爱编程
一、auto.offset.reset值详解 在 Kafka 中，每当消费者组内的消费者查找不到所记录的消费位移或发生位移越界时，就会根据消费者客户端参数 auto.offset.reset 的配置来决定从何处开始进行消费，这个参数的默认值为 “latest” 。 auto.offset.reset 的值可以为 earliest、latest 和 no
kafka原理解析之-高性能内幕-爱代码爱编程
一、日志持久化设计 1. partition的持久化队列结构：数据按先后顺序依次追加在文件末尾，读写操作分开，如下图所示。 这种结构有如下优势： 所有的操作复杂度都是O(1)，读操作不会阻塞写操作，读操作之间也不会互相影响。由于性能和数据大小完全分离开来——服务器现在可以充分利用大量廉价、低转速的1+TB SATA硬盘，通过顺序写的方式追加数据。
kafka原理解析之-整体架构-爱代码爱编程
kafka整体架构 先上一个整体架构图，如下图。 图一：集群整体架构，P代表partition的leader, r代表partition的follower 对各个组件说明如下： Broker： Kafka服务器节点就是被称为Broker，Broker主要负责创建并存储Topic，存储Producer所发布的消息，记录消息处理的过程，现是将消息保存到
从小白的角度讲解kafka并使用java、python_API-爱代码爱编程
目录 1. 什么是kafka 1.1 基本概述 1.2 深度讲解 2. kafka的安全机制 3. python_API 3.1 作为生产者连接kafka并发送数据 1. 什么是kafka 1.1 基本概述 提前说明，以下主要涉及kafka、topic、partition、broker、offset、replica、leader、foll
kafka核心内容讲解-爱代码爱编程
存储策略 每个topic有多个分区组成，而每个分区由多个segmet组成，每个segment由.log文件和.index文件组成index文件主要保存消息的偏移量，根据消息的偏移量以及消息大小快速定位到消息的位置 当查找消息时采用二分查找 生产者 分区原因 方便在集群中扩展提高并发分区原则 producer在发送消息时把每条消息包装成一个produ
悄悄掌握 Kafka 常用命令，再也不用全网搜索了（建议收藏）-爱代码爱编程
点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶” 回复“资源”领取独家整理的学习资料！ 每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。 放弃不难，但坚持很酷~ 前言 对于从事大数据相关职位的朋友们来说，使用 kafka 的频率应该不会少。为了解决各位在操作 kafka 时记不住命令参数的痛点，所以我整理了
消息队列简史-爱代码爱编程
1983年，Teknekron。 孟买26岁的工程师Vivek Ranadive设想一种软件总线，同年Teknekron诞生了。1985年，The Information Bus（TIB）。 用于高盛，用于解决金融交易。于是发布订阅模式（PubSub）诞生了，同时还诞生了世界上第一个现代消息队列软件：Teknekron的The Information Bu