代码编织梦想

大数据框架Hadoop:第一章 HDFS分布式文件系统(一)【NameNode和SecondaryNameNode】-爱代码爱编程

系列文章目录 大数据框架Hadoop:第一章 HDFS分布式文件系统(一) 大数据框架Hadoop:第一章 HDFS分布式文件系统(二) 大数据框架Hadoop:第二章 计算框架MapReduce(一) 文章目录 系列文章目录前言一、什么是Hadoop?1.hadoop的发展历史起源介绍2.hadoop的发展历史起源构二、HDFS分布式文件系统

Hadoop之HDFS中的Java API操作-爱代码爱编程

API使用 一、准备工作1.1、解压1.2、环境变量1.3、新建工程1.4、依赖包1.5、测试1.6、注意事项二、使用方法2.1、HDFS 文件上传2.2、HDFS 文件下载2.3、HDFS 文件夹删除2.4、HDFS 文件名更改2.5、HDFS 文件详情查看2.6、HDFS 文件和文件夹判断2.7、HDFS 的 I/O 流操作2.7.1 文件上传

HDFS - 初识-爱代码爱编程

1、HDFS优劣势 优势 高容错性数据自动保存多个副本。它通过增加副本的形式,提高容错性。 某一个副本丢失以后,它可以自动恢复,这是由 HDFS 内部机制实现的。 适合批处理它是通过移动计算而不是移动数据。 它会把数据位置暴露给计算框架。 适合大数据处理处理数据达到 GB、TB、甚至PB级别的数据。 能够处理百万规模以上的文件数量,数量相当之

解决安全模式”mkdir: Cannot create directory /hadoop001/test. Name node is in safe mode.“Bug-爱代码爱编程

刚刚在hadoop想创建一个目录的时候,发现报错了 具体信息如下: 问题: \quad \quad 从错误信息可以看到hadoop当前的Name node是处于安全模式。 问题原因

【大数据】Hadoop | HDFS | 复习笔记-爱代码爱编程

Hadoop Hadoop核心组件包括: HDFS分布式文件系统MapReduce分布式计算构架 偷几张老师的图~HDFS(Hadoop分布式文件系统) NameNode 地位相当于GFS中的Master,主要存储三类信息: 文件目录树文件到Block映射关系Block副本及其存储位置这里和GFS非常类似磁盘中保存两个元数据管理文件:

Hadoop统计单词作业-爱代码爱编程

hadoop期末作业 声明 本次大作业是通过网上的各种资源的学习以及同学的帮忙才能完成的。 途中因为不太了解Ubuntu的运行流程导致出了很多bug,都是通过慢慢从网上寻找bug的解决方法才能完成的。 执行过程 ①终端进入目录cd /usr/local/hadoop 输入命令 ./sbin/start-dfs.sh 启动hadoop,当程序执行完后

Hadoop综合大作业-爱代码爱编程

文章目录 作业要求具体步骤一、安装VirtualBox虚拟机软件,在VirtualBox中安装Ubuntu。二、在Ubuntu中安装Hadoop,Eclipse。三、运行实例。 作业要求 1.将待分析的文件(不少于10000英文单词)上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 4.写

大数据知识-爱代码爱编程

git中文件的颜色分类     棕色: 当前文件不受版本控制,未添加到版本控制     绿色: 当前文件已经加入版本控制,但是没有提提交     黑色: 当前文件和远程保持同步,未修改     蓝色: 本地已修改,未提交     红色: 内容有冲突,未解决 zookeeper     分布式协调服务的开源框架----本质上分布式的小文件存储系统     特

Hadoop(jdk、zookeeper)集群环境搭建-爱代码爱编程

Hadoop1&集群环境搭建 1:Hadoop介绍 2:环境搭建 在 Hadoop 具体开始前, 先来搭建一下环境 创建虚拟机 安装虚拟机 VMWare创建虚拟机安装 CentOS组成集群配置每台主机 关闭防火墙关闭 SELinux设置主机名重启设置时钟同步服务配置用户权限免密登录安装辅助软件 JDKZookeeper安装

Hbase无法stop关闭 解决方法-爱代码爱编程

Hbase无法stop关闭 解决方法 首先去Hbase下查看logs日志 [root@master hbase-1.4.13]# cd logs 然后ll查看 [root@master hbase-1.4.13]# ll 查看mster日志 [root@master logs]# cat 12月 11 10:23 hbase-root-ma

大数据之Hadoop框架之HDFS(二)-爱代码爱编程

HDFS 引言一、DFS二、HDFS 1.02.1 HDFS 定义2.2 HDFS 系统架构2.3 HDFS 相关概念2.4 机架感知策略2.5 数据完整性和容错2.6 HDFS的优缺点2.7 HDFS 写流程2.8 HDFS读流程三、 HDFS 2 ——HDFS 1 的优化3.1 HDFS HA3.2 NameNode Federation3.3

本地浏览器访问不了虚拟机中的HDFS-爱代码爱编程

背景 今天刚装好Hadoop,想在本地测试下能否用浏览器打开Hdfs: http://192.168.163.10:50070/ 出现服务器拒绝访问。 解决方法 关掉防火墙 :systemctl stop firewalld 去掉跟随系统启动:systemctl disable firewalld (可以自己百度怎么关闭防火墙) 这里

初步启动datanode成功,但是data文件夹没有生成Current-爱代码爱编程

集群机器的、/etc/hosts 文件配置成一样很重要。最好使用 scp 复制到各个几点 首先明确以下,我的问题不同于 多数问题(即:统一启动集群时,datacode 无法启动的问题。) 如标题所示,本文问题所指:《成功启动datanode (hadoop-daemon.sh start datanode). 也成功生成 文件夹 /root/hdp

HDFS必知必会-爱代码爱编程

HDFS系统架构 HDFS由3个组件组成 NameNode  Master SecondaryNameNode  Master DataNode  Worker   NameNode

hadoop安装-爱代码爱编程

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04)  下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh 就可以!   cd /usr/local/hadoop mkdir ./input cp ./etc/hado

追随大数据Hadoop的脚步-4-HDFS原理与应用-爱代码爱编程

五、HDFS 5.1 HDFS概述 5.1.1 介绍 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。 HDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和

Hadoop基础(一):分布式文件系统HDFS-爱代码爱编程

文章目录 一、HDFS架构1.HDFS设计思想2.HDFS组成架构Client:客户端NameNode:元数据节点(Master)DateNode:数据存储节点(Slave)Secondary NameNode:从元数据节点(非NameNode热备)3.HDFS副本机制文件块副本机制4.HDFS优缺点优点缺点二、HDFS常用命令基本语法常用命令三、

大数据Hadoop课程进度-爱代码爱编程

第一章 初识hadoop 大数据概论markdown的使用####第二章 搭建Hadoop集群 虚拟机安装虚拟机克隆主机名和IP映射配置网络配置网络参数配置-配置网卡、静态IP地址ssh远程登录功能配置ssh免密登录功能配置Hadoop集群的部署模式-理论课JDK安装Hadoop安装Hadoop集群配置(教师操作)Hadoop集群配置(学生操作)格式化

干货:Hive优化与数据倾斜总结!-爱代码爱编程

Hive优化与数据倾斜 a.优化: 1.使用mapJoin功能,默认为打开状态 2.创建表的时候,采用分区表和分桶表,可以避免全表扫描,加快速度 3.采用行列过滤,join where 改为 先where再join 4.小文件方向: -- JVM重用,重用次数10~20次 -- conbineHiveInputformat合并小

【hadoop权威指南第四版】第三章hadoop分布式文件系统【笔记+代码】-爱代码爱编程

3.1块 显示块信息 % hdfs fsck / -files -blocks 3.5 Java接口 3.5.1从hadoop URL读取数据 使用java.net.URL 对象来打开一个数据流 InputStream in = null; try { in = new URL("hdfs://host/path").openStrea