代码编织梦想

xx集团it需求解决方案和实施路线图(54页ppt)-爱代码爱编程

一、资料介绍 文件格式:PPTX,文件为格式转化后文件 源文件格式:PDF 文件页数:54页 关注【数据化运营圈】下载更多数智解决方案 PPT开篇即明确指出了XX集团在信息化建设方面的核心需求,包括提高业务处理效率、优化数据管理流程、加强信息安全保障等多个方面。随后,通过对市场趋势的深入剖析,结合集团自身的业务特点和发展目标,提出了一系列切实

大数据导论(3)-爱代码爱编程

文章目录 1. 大数据技术概述2. 数据采集与预处理2.1 数据采集2.2 预处理 3. 数据存储和管理3.1 分布式基础架构Hadoop3.2 分布式文件系统HDFS3.3 分布式数据库HBase3.4

hbase学习笔记-爱代码爱编程

Hbase是什么 HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。它利用Hadoop HDFS作为其文件存储系统,并提供实时的读写的数据库系统。HBase的设计思想来源于Google的BigTable论文,

finebi概述-爱代码爱编程

1. 概述 FineBI 是帆软软件有限公司推出的一款商业智能(Business Intelligence)产品。 官方帮助文档:https://help.fanruan.com/finebi/ FineBI 是新一代

大数据之指标计算(7) -爱代码爱编程

目录 前言 题目: 一、读题分析 二、处理过程 三、重难点分析 总结  前言 本题来源于全国职业技能大赛之大数据技术赛项工业数据处理赛题 - 离线数据处理 - 指标计算 注:由于个人设备问题,代码执行结果以及最后数据显示结果将不会给出。 题目: 提示:以下是本篇文章正文内容,下面案例可供参考(使用Scala语言编写) 

大数据之指标计算(3) -爱代码爱编程

目录 前言 题目: 一、读题分析 二、处理过程 三、重难点分析 总结    前言 本题来源于全国职业技能大赛之大数据技术赛项工业数据处理赛题 - 离线数据处理 - 指标计算 注:由于个人设备问题,代码执行结果以及最后数据显示结果将不会给出。 题目:   提示:以下是本篇文章正文内容,下面案例可供参考(使用Scala语言

大数据之指标计算(8) -爱代码爱编程

目录 前言 题目: 一、读题分析 二、处理过程 三、重难点分析 总结  前言 本题来源于全国职业技能大赛之大数据技术赛项工业数据处理赛题 - 离线数据处理 - 指标计算 注:由于个人设备问题,代码执行结果以及最后数据显示结果将不会给出。 题目:   提示:以下是本篇文章正文内容,下面案例可供参考(使用Scala语言编写)

大数据之指标计算(5) -爱代码爱编程

目录 前言 题目: 一、读题分析 二、处理过程 三、重难点分析 总结  前言 本题来源于全国职业技能大赛之大数据技术赛项工业数据处理赛题 - 离线数据处理 - 指标计算 注:由于个人设备问题,代码执行结果以及最后数据显示结果将不会给出。 题目:   提示:以下是本篇文章正文内容,下面案例可供参考(使用Scala语言编写)

大数据之指标计算(4) -爱代码爱编程

目录 前言 题目: 一、读题分析 二、处理过程 三、重难点分析 总结  前言 本题来源于全国职业技能大赛之大数据技术赛项工业数据处理赛题 - 离线数据处理 - 指标计算 注:由于个人设备问题,代码执行结果以及最后数据显示结果将不会给出。 题目: 提示:以下是本篇文章正文内容,下面案例可供参考(使用Scala语言编写

【hadoop大数据技术】——hadoop高可用集群(学习笔记)-爱代码爱编程

📖 前言:Hadoop设计之初,在架构设计和应用性能方面存在很多不如人意的地方,如HDFS和YARN集群的主节点只能有一个,如果主节点宕机无法使用,那么将导致HDFS或YARN集群无法使用,针对上述问题,Hadoop在后续的

【hadoop大数据技术】——zookeeper分布式协调服务(学习笔记)-爱代码爱编程

📖 前言:ZooKeeper是一个开源的分布式协调服务,它是Google Chubby的开源实现,其设计目标是将那些复杂且容易出错的分布式应用封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。

分库分表-爱代码爱编程

分库分表 1 分库分表介绍1.1、分库分表概述1.2、分库分表场景示例1.3、大数据存储下数据库性能分析1.4、小结 2 分库分表方式2.1、垂直分表2.2、垂直分库2.3、水平分表2.4、水平分库2.5

【hadoop大数据技术】——hdfs分布式文件系统(学习笔记)-爱代码爱编程

📖 前言:Hadoop的核心是HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)和MapReduce。其中,HDFS是解决海量大数据文件存储的问题,是目前应用最广泛的分布式文

【hadoop大数据技术】——hadoop概述与搭建环境(学习笔记)-爱代码爱编程

📖 前言:随着大数据时代的到来,大数据已经在金融、交通、物流等各个行业领域得到广泛应用。而Hadoop就是一个用于处理海量数据的框架,它既可以为海量数据提供可靠的存储;也可以为海量数据提供高效的处理。 目

大数据之使用flink消费kafka中topic为ods_mall_log的数据,根据不同的表前缀区分在存入kafka的topic当中_1、使用flink消费kafka中topic为ods_mall_data的数据,根据数据中不同的表将-爱代码爱编程

目录 前言 题目: 一、读题分析 二、处理过程   1.数据处理部分: 2.HBaseSink(未经测试,不能证明其正确性,仅供参考!) 三、重难点分析 总结  什么是HBase? 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题 - 电商数据处理 - 实时数据处理 注:由于设备问题,代码执行结果以及数据的展示无法给出,可参

hadoop 2.7.7无法启动datanode的故障排查_datanode启动不了-爱代码爱编程

Hadoop 2.7.7无法启动datanode的故障排查 步骤如下: 1.确认所有节点是否正常连接: 如果datanode节点与namenode节点之间的网络连接出现问题,datanode可能无法启动。 2.检查dat

hive元数据迁移及升级方案_hive 升级-爱代码爱编程

Hive的架构和工作原理简介 Hive 是基于Hadoop之上的数仓,便于用户可以基于SQL(Hive QL)进行数据分析,其架构图如下: 从上图可知,Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射,以及把SQL语句转换为MapReduce(tez或spark)任务,以便进行分布式查询分析。 具体分布式文件的存储、分布式计算的

大数据之指标计算(2) -爱代码爱编程

目录 前言 题目: 一、读题分析 二、处理过程 三、重难点分析 总结  前言 本题来源于全国职业技能大赛之大数据技术赛项工业数据处理赛题 - 离线数据处理 - 指标计算 注:由于个人设备问题,代码执行结果以及最后数据显示结果将不会给出。 题目:   提示:以下是本篇文章正文内容,下面案例可供参考(使用Scala语言编写)

spark 集群搭建-爱代码爱编程

文章目录 搭建前准备安装搭建解压并重命名环境变量配置配置文件yarn-site.xmlspark-env.sh 官网求 π(PI) 案例启动spark-shell通过浏览器查看显示查看 Spa

spark:rdd编程(python版)-爱代码爱编程

RDD运行原理 RDD设计背景 许多选代目前的MapReduce框架都是把中间结果写入到稳定存储 (比如磁盘)中带来了大量的数据复制、磁盘IO和序列化开销 RDD就是为了满足这种需求而出现的,它提供了一个抽象的数据架构,