代码编织梦想

【rabbitmq | 第七篇】rabbitmq实现json、map格式数据的发送与接收-爱代码爱编程

文章目录 7.RabbitMQ实现JSON、Map格式数据的发送与接收7.1消息发送端7.1.1引入依赖7.1.2yml配置7.1.3RabbitMQConfig配置类——(非常重要)(1)创建交换器方法(2

如何设计一个kafka(理解)-爱代码爱编程

因业务需要而对消息中间件的频繁使用后,每次总会问自己一个问题:kafka为什么快?然后再去背一背八卦找找答案。直到近日终于能站在一个新奇的角度理解kafka,且积累的各种细节串通了起来,实属惊喜。 回到最开始的问

每天学习几道面试题|kafka(四)内部原理、高级特性以及与其他分布式系统的集成等方面-爱代码爱编程

文章目录 1. Kafka 内部原理1.1 Kafka 是如何实现持久化消息存储的?1.2 Kafka 的消息传递模型是怎样的? 2. Kafka 高级特性2.1 什么是 Kafka 事务?2.2 Kaf

kafka,你了解他吗?-爱代码爱编程

你好,我是kafka 今天带大家初步认识一下中间件kafka. 首先问一下,什么是中间件呢? 中间件意思就是介于操作系统和应用程序的软件,可以进行复用,不依赖域第三方的应用,可独立运行 kafka就是这么一个中间件,一起来了解一下它吧 kafka 是一个消息订阅型中间件,主要采取订阅 发布的模式进行运行. 那么 啥是订阅发布呢?  举例来说就

kafka connect-爱代码爱编程

kafka connect是kafka和外部存储系统交互的工具 bootstrap.servers key.converter:JSON and Avro. value.converter:JSON and Avro. 一

springboot项目无缝集成skywalking:实现分布式追踪与日志透传实战-爱代码爱编程

一、引言 Apache SkyWalking 是一款开源的应用性能监视工具,特别适合于微服务架构下的应用性能管理和分布式追踪。本文将手把手教你如何将SkyWalking整合到Spring Boot项目中,实现服务链路追踪,并同步改造日志中的Transaction ID,便于日志关联和问题定位。 二、集成SkyWalking步骤 添加依赖 在Spri

鸿蒙一次开发,多端部署(十一)交互归一-爱代码爱编程

对于不同类型的智能设备,用户可能有不同的交互方式,如通过触摸屏、鼠标、触控板等。如果针对不同的交互方式单独做适配,会增加开发工作量同时产生大量重复代码。为解决这一问题,我们统一了各种交互方式的API,即实现了交互归一。 基

分布式深度学习中的并行性-爱代码爱编程

分布式深度学习是指使用包含多个工作线程的分布式系统来执行推理或训练深度学习。 参考 Parallelism in Distributed Deep Learning 人们一直在考虑通过横向扩展来加速深度学习,并引入了许多并行化机制(即将计算分发给多个工作线程的方式),主要分为数据并行、张量并行和管道并行三种类型。 1 数据并行

大模型分布式推理ray-爱代码爱编程

一、目录 1 框架 2. 入门 3. 安装教程 4. 相关文档、案例阅读 二、实现 1 框架:Ray:将一个模型拆分到多个显卡中,实现分布式预测、训练等功能。 2. 入门 : 案例:通过ray 实现分布式部署,分布式推

用redis lua脚本实现时间窗分布式限流-爱代码爱编程

需求背景: 限制某sql在30秒内最多只能执行3次 需求分析 微服务分布式部署,既然是分布式限流,首先自然就想到了结合redis的zset数据结构来实现。 分析对zset的操作,有几个步骤,首先,判断zset中符合ra

单机模拟分布式minio(阿里云)-爱代码爱编程

拉取的最新MINIO: minio version RELEASE.2024-03-15T01-07-19Z Runtime: go1.21.8 linux/amd64 分布式 MinIO 至少需要4个节点,也就意味着至少4个硬盘,对于囊中羞涩仅用来开发测试的人来说,这笔花销还是比较高昂。有没有更好的办法,当然是有的。下面就是在单台阿里云安装mi

常用幂等解决方法-爱代码爱编程

什么是幂等? 对于相同的请求应该返回相同的结果,所以查询类接口是天然的幂等性接口。幂等指的是相同请求(identical request)执行一次或者多次所带来的副作用(side-effects)是一样的。 什么常见会出

hadoop namenode 查看日志里面报错8485无法连接-爱代码爱编程

一、通过日志排查问题: 1、首先我通过jpsall命令查看我的进程,发现namenode都没有开启 2、找到问题后首先进入我的日志目录里查看namenode.log [root@node01 ~]# /opt/yjx/hadoop-3.3.4/logs/ [root@node01 ~]# ll [root@node01 ~]# cat hadoop-

「隐语小课」针对大模型!护航数据安全,一文详解如何实现参数可控的分布式训练-爱代码爱编程

 “隐语”是开源的可信隐私计算框架,内置 MPC、TEE、同态等多种密态计算虚拟设备供灵活选择,提供丰富的联邦学习算法和差分隐私机制 开源项目 github.com/secretflow gitee.com/secretflow   导语:聚焦大模型隐私保护前沿技术探索,本文将对隐语团队发表在 ICASSP 2024中的论文——

elastic-爱代码爱编程

一、使用场景 (1)分布式项目中 定时任务。如果只部署一台机器,可用性无法保证,如果定时任务机器宕机,无法故障转移,如果部署多台机器时,同一个任务会执行多次,任务重复执行也会出问题。 (2)分布式项目 任务分片执行。将一个任务拆分为 多个独立的任务项,然后由分布式服务器分别执行 某一个或几个分片项。 Elastic-Job是当当推出的分布式任务调度框

docker-爱代码爱编程

文章目录 RabbitMQ搭建docker-compose.yml安装实操 最后 RabbitMQ搭建 创建RabbitMQ目录文件 mkdir -p /Users/RabbitMQ 进

分布式异步任务框架celery-爱代码爱编程

Celery介绍 github地址:GitHub - celery/celery: Distributed Task Queue (development branch) 文档地址:Celery - Distributed Task Queue — Celery 5.3.6 documentation 1.1 Celery是什么 celery时一个

分布式:这里详细的说一下分布式-爱代码爱编程

分布式系统是由多台计算机节点协同工作的系统,节点之间通过网络进行通信和协调。每个节点可以独立执行任务,但它们共享资源和数据,相互之间通过消息传递进行通信。 在分布式系统中,通信和协调是实现分布式的关键。节点之间可以通过消息传递、远程过程调用(RPC)、远程方法调用(RMI)等方式进行通信。为了保证节点的可靠性和容错性,通常会采用一致性协议、故障检测和容错

分布式id生成方案-爱代码爱编程

分布式ID的特性 唯一性:确保生成的ID是全网唯一的。有序递增性:确保生成的ID是对于某个用户或者业务是按一定的数字有序递增的。高可用性:确保任何时候都能正确的生成ID。带时间:ID里面包含时间,一眼扫过去就知道哪天的交易

分布式简介-爱代码爱编程

来简单介绍一下分布式 文章目录 目录 一、分布式是什么? 二、分布式的特点 三、常见的后端分布式框架 总结 一、分布式是什么? 分布式系统(Distributed System)是由一组相互独立的计算机通过网络连接和协作组成的系统。这些计算机共同工作,对于用户来说,它们就像是单个一致的系统。分布式系统的设