代码编织梦想

全球etf基金日线行api接口_基金api接口-爱代码爱编程

1. 历史日线 # Restful API https://tsanghi.com/api/fin/etf/{exchange_code}/daily?token={token}&ticker={ticker} 指定交易所和ETF代码,获取该只ETF的日线基本行情(开、高、低、收、量)。默认返回全部历史数据,也可以使用参

hadoop学习笔记-爱代码爱编程

1.基本概念 专为离线和大规模数据分析而设计的,可编写和运行分布式应用处理大规模数据 2.MapReduce 分而治之的思想 一件事情,分给多个机器,每个机器做一部分工作(map),将它们做的工作汇总起来(reduce) 3.数据仓库的构架 底层HDFS,上面跑MapReduce/Tez/Spark,在上面跑Hive,Pig 4.常用命令

hadoop学习笔记1-爱代码爱编程

1.创建文件夹 hadoop fs -mkdir [-p] path hdfs dfs -mkdir [-p] path 2.查看指定目录下内容 -h:人性化显示文件size -R:递归查看指定目录及其子目录 hadoop fs -ls [-h] [-R] path hdfs dfs -ls [-h] [-R] path 3.上传文件到HDFS

hadoop中hdfs、hive 和 hbase三者之间的关系-爱代码爱编程

HDFS(Hadoop Distributed File System)、Hive 和 HBase 是 Hadoop 生态系统中三个重要的组件,它们各自解决了大数据存储和处理的不同层面的问题。我们用大白话来解释这三个组件之间的关系: HDFS - 数据的仓库: HDFS 是一个分布式文件系统,就像是一个巨大的仓库,专门用来存储海量的数据。它把数据分成很

hadoop中的yarn组件-爱代码爱编程

文章目录 YARN 的主要功能YARN 的架构YARN 的工作流程YARN 的优势总结 YARN(Yet Another Resource Negotiator)是 Hadoop 生态系统

hadoop学习记录一-爱代码爱编程

HDFS(Hadoop Distributed File System)是Hadoop项目的一部分,用于存储海量数据。HDFS设计为可以在廉价硬件上运行,同时提供高容错性。HDFS主要由三个关键角色组成:NameNode、DataNode和SecondaryNameNode。下面我用大白话来详细解释这些角色的功能和作用: 1. NameNode Nam

hadoop之/etc目录下各配置文件的作用详解-爱代码爱编程

Hadoop的etc目录下的配置文件是Hadoop集群运行的关键,它们控制着Hadoop如何存储数据、处理任务以及与集群中的其他组件通信。下面我会用大白话来解释这些配置文件的主要作用: core-site.xml 这个文件就像是Hadoop的“总开关”,它定义了Hadoop文件系统的默认设置,比如你希望Hadoop使用哪个HDFS(Hadoop Dis

hadoop3:hdfs-爱代码爱编程

一、基本介绍 1、安全模式 文件系统只接受读数据请求,而不接受删除、修改等变更请求 2、 二、进入安全模式场景 1、NameNode在加载镜像文件和编辑日志期间处于安全模式(就是启动集群的时候); 2、NameNod

hadoop:hdfs-爱代码爱编程

1、下载工具 sudo yum install -y fio 2、顺序读测试 sudo fio -filename=/home/atguigu/test.log -direct=1 -iodepth 1 -threa

【大数据数据应用】-爱代码爱编程

大数据的特征: 数据量大(Volume):非结构化数据的超大规模和增长,导致数据集合的规模不断扩大,数据单位已从GB到TB再到PB,甚至开始以EB和ZB来计数。类型繁多(Variety):大数据的类型不仅包括网络日志、音频、视频、图片、地理位置信息等结构化数据,还包括半结构化数据甚至使非结构化数据,具有异构型和多样性的特点。价值密度低(Value):

大数据核心面试题(hadoop,spark,yarn)-爱代码爱编程

大数据核心面试题(Hadoop,Spark,YARN) 高频面试题及答案1. 什么是Hadoop?它的核心组件有哪些?2. 解释HDFS的架构及其工作原理。3. HDFS如何保证数据的高可用性和容错性?4. 什

摸鱼大数据——kafka——kafka tools工具使用-爱代码爱编程

可以在可视化的工具通过点击来操作kafka完成主题的创建,分区等操作 注意: 安装完后桌面不会有快捷方式,需要去电脑上搜索,或者去自己选的安装位置找到发送快捷方式到桌面!  连接配置 创建主题 删除主题 主题下的数据查看 数据显示问题说明

spark on yarn集群的安装与搭建_spark on yarn集群安装与部署详细步骤-爱代码爱编程

注:(搭建spark on yarn 需要jdk,hadoop环境,其搭建可参照前面jdk和hadoop的安装与搭建) .1.解压spark安装包 [root@master /]# tar -zxvf /h3cu/spark-3.1.1-bin-hadoop3.2.tgz -C /usr/local/src/ 2.进入到src目录下 [root@m

spark与hadoop对比_hadoop spark-爱代码爱编程

目录 核心组件对比  适用场景对比 任务执行流程对比 SQL执行的流程对比 容错对比 核心组件对比 Hadoop:是一个分布式数据存储和计算框架。 HDFS(Hadoop Distributed File System):是一个分布式文件系统,能够大规模的数据分散存储在多个节点上,以提高数据的可靠性和处理效率。HDFS的主要职责是对数据

spark和hadoop作业之间的区别-爱代码爱编程

Spark和Hadoop是两种广泛使用的大数据处理框架,各自有着不同的设计理念和使用场景。以下是它们之间的主要区别: 架构和处理模式 计算模型: Hadoop:基于MapReduce编程模型。任务分为Map和Reduce两个阶段,处理批量数据较为高效,但每个任务之间需要写入和读取HDFS,导致I/O开销较大。Spark:采用内存计算模型,通过弹

【hive sql 每日一题】找出各个商品销售额的中位数-爱代码爱编程

文章目录 测试数据需求说明需求实现方法1 —— 升序计算法方法2 —— 正反排序法 补充 测试数据 -- 创建 orders 表 DROP TABLE IF EXISTS orders

hive 常见问题-爱代码爱编程

Hive 内部表和外部表的区别 外部表在创建时需要加关键字 external;创建内部表时,会将数据移动到数据仓库指定的路径;创建外部表时,不会移动数据,只会记录数据所在的路径;删除内部表时,会删除元数据和数据本身;删除外

大数据最新hive数据存储模型(1),附面试题_hive哪一种数据模型,删除表时,存储目录中的数据不会被删除,只是删除与数据的-爱代码爱编程

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化! 由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项

hive的存储格式与数据类型_hive存储格式查询-爱代码爱编程

Hive 的存储格式与数据类型 一、Hive 的存储格式 Hive 支持多种存储格式,以满足不同数据处理和存储需求。选择合适的存储格式可以显著提高数据的存储效率和查询性能。 1. 文本文件(Text File) 文本文件是默认的存储格式,适用于简单的数据存储,但效率较低。 创建使用文本文件存储格式的表: CREATE TABLE empl

hive中的数据类型和存储格式总结-爱代码爱编程

1.数据类型 Hive 支持多种数据类型,分为原始数据类型和复杂数据类型两类。以下是 Hive 支持的数据类型: 原始数据类型:         1.整数类型:                 tinyint: 1字节有符号整数                 smallint: 2字节有符号整数                 int: 4字节有