讲解 Zookeeper 的五个核心知识点-爱代码爱编程
1 ZooKeeper简介 ZooKeeper 是一个开源的分布式协调框架，它的定位是为分布式应用提供一致性服务，是整个大数据体系的管理员。ZooKeeper 会封装好复杂易出错的关键服务，将高效、稳定、易用的服务提供给用户使用。 如果上面的官方言语你不太理解，你可以认为 ZooKeeper = 文件系统 + 监听通知机制。
大数据框架Hadoop：第一章 HDFS分布式文件系统(一)【NameNode和SecondaryNameNode】-爱代码爱编程
系列文章目录 大数据框架Hadoop：第一章 HDFS分布式文件系统(一) 大数据框架Hadoop：第一章 HDFS分布式文件系统(二) 大数据框架Hadoop：第二章 计算框架MapReduce（一） 文章目录 系列文章目录前言一、什么是Hadoop?1.hadoop的发展历史起源介绍2.hadoop的发展历史起源构二、HDFS分布式文件系统
hadoop离线阶段（第十六节—2）azkaban的简介和安装-爱代码爱编程
azkaban的简介 azkaban官网： https://azkaban.github.io/ Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 作者：Fant
KeyValueTextInputFormat使用案例-爱代码爱编程
package kvalues; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class
Hadoop之HDFS中的Java API操作-爱代码爱编程
API使用 一、准备工作1.1、解压1.2、环境变量1.3、新建工程1.4、依赖包1.5、测试1.6、注意事项二、使用方法2.1、HDFS 文件上传2.2、HDFS 文件下载2.3、HDFS 文件夹删除2.4、HDFS 文件名更改2.5、HDFS 文件详情查看2.6、HDFS 文件和文件夹判断2.7、HDFS 的 I/O 流操作2.7.1 文件上传
2020西南民大计算机专硕研一课程概述（未写完）-爱代码爱编程
上学期 政治（自然辩证法） 上课内容 会提出8个研究点，让你去做PPT，分别为 1中医是科学还是伪科学 2数学是科学吗 3古代自然观、近代自然观、现代自然观 4附魅 祛魅 返魅 5人类中心主义与非人类中心主义 6证伪主义 7范式和范式转换 8科学研究是否应该设置禁区 考试内容： 根据上面几个研究点出几个简答题，开卷，可以带纸质材料 拿分技巧
Hadoop基础学习-爱代码爱编程
一、大数据概论 1.大数据概念 2.大数据特点4V 3.大数据应用场景 4.大数据部门业务流程分析 5.大数据部门组织结构 二、从Hadoop框架讨论大数据生态 1.Hadoop是什么 2.Hadoop的发行版本 3.Hadoop的优势 4.Hadoop的组成 5.H
“鸿蒙”操作系统关键特性解读-爱代码爱编程
1、计算机为什么需要操作系统？ 大部分人认为，操作系统本来就是与计算机（IT设备）一体的。究竟计算机为什么需要操作系统？可能我们并不会去特意想这个问题。 其实，对于IT产品而言，操作系统的角色，就像我们人类身体中，大脑的角色一样。我们每天面对大量的或大或小、或简单或复杂、或紧迫或宽松的事情。大脑如何处理这些事情的处理的先后顺序和逻辑关系。
分布式系统模式6-Quorum-爱代码爱编程
作者: Unmesh Joshi 译者: java达人 来源: https://martinfowler.com/articles/patterns-of-distributed-systems/ 通过要求法定多数做出每个决策，以避免两组服务器独自决策。 问题 在分布式系统中，每当服务器执行操作时，都需要确保在发生崩溃的情况下，客户端可以使
5分钟完成业务实时监控系统搭建，是一种什么样的体验？-爱代码爱编程
公众号后台回复「产品手册」，下载电子书 获取阿里云原生产品、实践与最新案例 深圳市道旅旅游科技股份有限公司（简称：道旅）是一家总部位于中国的全球酒店资源批发商。自 2012 年成立以来，道旅凭借其全球优质的直签产品和丰富的第三方产品，以及顶尖的技术实力，赢得了包括 OTA、差旅管理公司、航空公司、旅行社等超过 23,000 家客户的信赖和支持
Flink1.12 native kubernetes 演进之路-爱代码爱编程
点击上方 "zhisheng"关注, 星标或置顶一起成长 Flink 从入门到精通 系列文章 Flink 1.10 Flink 1.10 开始支持将 native kubernetes 作为其资源管理器。在该版本中，你可以使用以下命令在你的 kubernetes 集群中创建一个flink session。 ./bin/kubernetes-s
Hadoop3.x中一把锁毁灭的大数据集群-爱代码爱编程
集群版本：HDP3.1.5 Hadoop版本：Hadoop3.1.1 源码地址：https://github.com/hortonworks/hadoop-release/tree/HDP-3.1.5.152-1-tag 一、前置知识 大家都知道hadoop的核心组件是HDFS和YARN，HDFS负责存储，YARN负责计算资源管理，今天要重点扯
Hadoop集群中DataNode启动失败问题-爱代码爱编程
前言 搭建一个HDFS集群，用了3台虚拟机，1台虚拟机是node1作为NameNode节点；3台虚拟机(另外两台虚拟机分别为node2，node3)分别启动DataNode节点，详情参考Hadoop集群环境搭建。 1. 问题描述 HDFS集群搭建并启动成功，一个NameNode节点和三个DataNode节点也运行正
Hadoop配置LZO压缩（编译好的jar直接用）-爱代码爱编程
1）hadoop本身并不支持lzo压缩，需要我们编译，过程复杂，这里直接提供编译好的jar包 链接：https://pan.baidu.com/s/1L5S9geY7fSg1_ToNaTYsEg 提取码：vfaa 复制这段内容后打开百度网盘手机App，操作更方便哦 2）将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop260
MapReduce:Combiner，partition的作用-爱代码爱编程
combiner其实属于优化方案，由于带宽限制，应该尽量map和reduce之间的数据传输数量。它在Map 端把同一个key的键值对合并在一起并计算，计算规则与reduce一致，所以combiner也可以看作特殊的Reducer。 Partition作用 partition意思为分开，划分。它分割map每个节点的结果，按照key分别映射给不同的redu
Hadoop实现join的几种方法-爱代码爱编程
1、reduce side join reduce side join是一种最简单的join方式，其主要思想如下： 在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/value数据对，对每条数据打一个标签> （tag）,比如：tag=0表示来自文件File1，tag=2表示来自文件File2。即：map阶段
基于 flink 的电商用户行为数据分析【8】| 订单支付实时监控-爱代码爱编程
本文已收录github：https://github.com/BigDataScholar/TheKingOfBigData，里面有大数据高频考点，Java一线大厂面试题资源，上百本免费电子书籍，作者亲绘大数据生态圈思维导图…持续更新，欢迎star！ 本篇是flink 的「电商用户行为数据分析」的第 8 篇文章，为大家带来的是市
hadoop mapreduce相关类 FileInputFormat-爱代码爱编程
hadoop mapreduce相关类 FileInputFormat 官方链接 http://hadoop.apache.org/docs/r2.9.1/api/ 功能 InputFormat会生成一个RecordReader。 （inputFile）-> InputFormat->List<InputSplit> (In
在Ubuntu Kylin系统中使用 Eclipse 开发 MapReduce 程序对单词计数-爱代码爱编程
在Ubuntu Kylin系统中使用 Eclipse 开发 MapReduce 程序对单词计数 目录 一、 首先利用Windows中使用VirtualBox安装Ubuntu二、 前期准备工作1. 创建帐户Hadoop2. 设置hadoop密码3. 给hadoop用户增加管理员权限4. 更新 apt5. 安装vim6. 配置SSH三、 安装Java
Hive-爱代码爱编程
一、Hive的简介 1.Hive是一个数据仓库软件 hive可以使用SQL来促进对已经存在在分布式设备中的数据进行读，写和管理等操作！ Hive在使用时，需要对已经存储的数据进行结构的投影（映射）。 Hive提供了一个命令行和JDBC的方式，让用户可以连接到Hive. 注意：Hive只能分析结构化数据！hive在Hadoop之上，使用hive的前提是要安装