大数据技术实训：hadoop完全分布式运行模式配置-爱代码爱编程
准备： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 一、虚拟
什么是主数据？-爱代码爱编程
"主数据"（Master Data）是一个在多个业务过程和应用程序之间共享的关键数据的集合。这些数据通常是静态的或变化缓慢的数据，用于定义和描述业务中的核心实体和属性。主数据是企业运营和管理的基础，对于确保数据质量、支持决策制定、实现业务流程自动化以及与其他系统进行数据交换都至关重要。 以下是关于主数据的一些关键点： 定义：主数据是用于描述企业核心业务
【hadoop大数据技术】——azkaban工作流管理器（学习笔记）_简述azkaban中的project、job和flow元素的关系-爱代码爱编程
📖 前言：在前面HDFS分布式文件系统中，我们使用Linux自带的Crontab（定时任务工具）来定时调度任务，但是当业务规模变大并且需要可视化监控任务执行的时候，Crontab就已经不能满足这些需求了。为此，针对多任务，可
大数据技术实训：zookeeper集群配置-爱代码爱编程
一、本地模式安装部署 1）安装前准备 （1）安装jdk （2）拷贝Zookeeper安装包到Linux系统下 （3）解压到指定目录 tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/ 2）配置修改 （1）将/opt/module/zookeeper-3.5.7/conf这个路径下的zoo_sam
大数据技术相关术语_大数据领域的学术术语-爱代码爱编程
大数据技术是指处理大量、高速、多样化的数据集的技术集合，以下是该领域内一些核心术语： Big Data (大数据)：指数据集的大小超出了传统数据处理软件在合理时间内捕获、管理、处理和存储的能力。 Volume (数据量)：大数据的首要特征，强调数据的总量巨大。 Velocity (数据速度)：数据生成和处理的速度极快，要求实时或近实时的分析能力。
贵州大学大数据实验第十七、十八章一些问题。_大数据实验手册实验十七-爱代码爱编程
一、第十七章部分内容：使用Pycharm实现Neo4j简单操作。 Neo4j3.5.0专业版直接下载链接点击下载 前提：虚拟机的Neo4j已经搭建好，并可通过浏览器查看Neo4j. python代码： from neo
【赵渝强老师】基于rbf的hdfs联邦架构_hadoop rbf-爱代码爱编程
在最新的Hadoop版本中又实现了基于Router的联盟架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来，解决了ViewFS存在的问题。 视频讲解如下： 基于
【hadoop大数据技术】——sqoop数据迁移（学习笔记）-爱代码爱编程
📖 前言：在实际开发中，有时候需要将HDFS或Hive上的数据导出到传统关系型数据库中（如MySQL、Oracle等），或者将传统关系型数据库中的数据导入到HDFS或Hive上，如果通过人工手动进行数据迁移的话，就会显得非常
data ingestion（数据摄取）-爱代码爱编程
Data Ingestion（数据摄取）是获取和导入数据以供立即使用或存储在数据库中的过程。以下是关于Data Ingestion的详细解释： 定义： Data Ingestion是指将外部数据（可能是结构化的、半结构化的或非结构化的）收集、转换并加载到目标系统（如数据库、数据仓库、数据湖等）中的过程。过程： 收集：从各种数据源（如数据库、A
xx数字中台技术栈及能力_数据中台技术栈-爱代码爱编程
XX数字中台技术栈及能力 1 概述 XX数字中台面向数据开发者、数据管理者和数据应用者，提供数据汇聚、融合、治理、开发、挖掘、共享、可视化、智能化等能力，实现数据端到端的全生命周期管理，以共筑数字基础底座，共享数据服务能
flink时间语义 | 大数据技术-爱代码爱编程
⭐简单说两句⭐ ✨ 正在努力的小叮当~ 💖 超级爱分享，分享各种有趣干货！ 👩💻 提供：模拟面试 | 简历诊断 | 独家简历模板 🌈 感谢关注，关注了你就是我的超级粉丝啦！ 🔒 以下内容仅对你可见~ 作者：小叮
flink状态state | 大数据技术_flink state-爱代码爱编程
⭐简单说两句⭐ ✨ 正在努力的小叮当~ 💖 超级爱分享，分享各种有趣干货！ 👩💻 提供：模拟面试 | 简历诊断 | 独家简历模板 🌈 感谢关注，关注了你就是我的超级粉丝啦！ 🔒 以下内容仅对你可见~ 作者：小叮
logstash收集数据库数据_高版本logstash使用数据库-爱代码爱编程
利用logstash收集mysql数据库表中的数据，logstash支持jdbc插件，可以用来采集数据库中的数据。 jdbc插件官方手册参考：https://www.elastic.co/guide/en/logstash
数据资产登记确权_数据确权流程-爱代码爱编程
数据资产登记确权是一个涉及法律、技术和管理多个方面的复杂过程，它旨在明确数据的所有权、使用权和控制权等法律关系，确保数据资产在法律框架内得到保护和合理利用。以下是关于数据资产登记确权的主要步骤和要点的清晰归纳： 一、明确数据资产登记确权的目的和重要性 数据资产登记确权是保护知识产权的重要组成部分，能够保护知识产权的合法性，确保知识产权的所有人能够充分享
【赵渝强老师】hive的分区表-爱代码爱编程
Hive的分区表跟Oracle、MySQL中分区表的概念是一样的。当表上建立了分区，就会根据分区的条件从物理存储上将表中的数据进行分隔存储。而当执行查询语句时候，也会根据分区的条件扫描特定分区中的数据，从而避免全表扫描以
data bricks —— 一种基于apache spark的大数据处理和分析平台-爱代码爱编程
Data Bricks是一种基于Apache Spark的大数据处理和分析平台，以下是对其特点、功能和应用的详细解析： 平台基础： Data Bricks基于Apache Spark构建，这是一个为大规模数据处理而设计的快速、通用的大规模数据处理引擎。它提供了分布式计算架构，能够将数据处理和分析任务分配到多个节点上并行执行，从而提高了数据处理和分析
【hadoop大数据技术】——期末复习（冲刺篇）_大数据期末冲刺-爱代码爱编程
📖 前言：快考试了，做篇期末总结，都是重点与必考点。 题型：简答题、编程题（Java与Shell操作）、看图分析题。题目大概率会从课后习题、实验里出。 课本： 目录 🕒 1. HDFS分布式文件系统
【赵渝强老师】基于zookeeper实现hadoop ha-爱代码爱编程
由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、bigdata113、bigdata114和bigdata
达梦数据库审计日志采集-爱代码爱编程
目录 1. 审计功能简介 2. dm8官方技术参考文档 3. dm8审计功能配置 3.1 登录审计用户 3.2 开启审计开关 3.3 查询审计日志 3
详解es分片-爱代码爱编程
详解ES分片 ES分片是什么 ES 分片（Shard） 可以理解为是将一个大型索引拆分成多个较小部分的机制。 具体来说，分片有以下重要特点和作用： 数据分布：它使得数据可以分布在集群的不同节点上，实现数据的分布式