云计算与大数据技术应用2020.10.15

HDFS
1.HDFS的相关概念
HDFS基本存储单元—Block（数据块）默认为64MB。每个块作为独立存储单元。
HDFS主要组件的功能
在这里插入图片描述

HDFS的命名空间包含目录、文件、块

2.HDFS数据复制
NameNode全权管理数据块的复制，它周期性的从集群中的每个Datanode接收心跳信号和块状态报告。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表
数据块（block）复制：
（1）NameNode发现部分文件的Block数不符合最小复制数或者部分DataNode失效
（2）通知DataNode相互复制Block
（3）DataNode开始相互复制

3.HDFS常用命令
1.列出HDFS文件
Hadoop fs -ls
2.创建指定的一个或多个文件夹
Hadoop fs -mkdir
3.上传文件到HDFS
Hadoop dfs -put test1 test / hadoop目录下的test1文件上传到HDFS上并重命名为test/
4.将HDFS中的文件复制到本地系统中
hadoop dfs -get test0 test00 / 将HDFS中的test0复制到本地系统并命名为test00/
5.删除HDFS下的文档
hadoop dfs -rmr test00 / 删除HDFS下名为test00的文档/
6.查看HDFS下的某个文件
hadoop dfs -cat ttt / 查看HDFS下ttt文件中的内容/
7.报告HDFS的基本统计信息
hadoop dfsadmin -report
8.退出安全模式
hadoop dfsadmin -safemode leave
9.进入安全模式
hadoop dfsadmin -safemode enter

云计算与大数据技术应用2020.10.15相关推荐

解决方案和项目的区别_沃尔玛用大数据提高销售额，云计算和大数据技术之间的区别汇总...
自从<纽约时报>发表有关沃尔玛如何利用大数据分析来最大化其销售额的文章以来,人们就对大数据充满了狂热.零售商发现飓风期间流行的糖果品牌Pop-Tarts的销量激增,并利用此知识增加了利润. ...
浅谈云计算和大数据技术
浅谈云计算和大数据技术背景: 随着计算机技术的发展,数据量日益增长,现有技术也很难满足业务的发展需求,在代码的层层迭代和优化之后,还是很难满足数据的增长需求,迫切需要一项新的技术来从事数据计算,因为 ...
云计算和大数据技术---学习笔记
云计算和大数据技术 Part 1 云计算基础思维导图: 练习题: Part 1 云计算基础思维导图: 练习题: 云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型,通常技术人员在 ...
云计算与大数据技术应用第一章
云计算概述什么是云计算云计算的定义云计算的特点经典的云计算基础架构云计算主要服务模式云计算主要部署模式经典的云计算产品云计算技术的新发展我国的云计算产业现状云计算前景云计算的概念 ...
云计算与大数据技术应用前四章知识点整理
第一章云计算概论 1.1什么是云计算 1.1.1云计算的定义: 定义:指按需使用IT资源和应用程序,通过互联网.按使用量付费. 像水电煤(资源性产品)一样利用你的IT资源,计算存储网络资源. 有三个关 ...
云计算与大数据技术李春燕
第一章云计算概述云计算:指按需使用IT资源和应用程序,通过互联网按使用量付费. 四种云公有云:提供公共的IT资源缺点:保密性较低私有云:提供给政府.学校等地优点:保密性高社区云:研究人 ...
【云计算与大数据技术】云交付模型、云部署模型、云计算优势与挑战、应用的讲解（超详细必看）
一.云交付模型云计算主要分为三种交付模型,而且这三种交付模型主要是从用户体验的角度出发的,分别是软件即服务(SaaS),平台即服务(PaaS),基础设施即服务(IaaS),对于普通用户而言,他们主要 ...
【云计算与大数据技术】大数据概念和发展背景讲解（图文解释超详细）
一.什么是大数据大数据是一个不断发展的概念,可以指任何体量或负载下那个超出常规数据处理方法和处理能力的数据,数据本身可以是结构化,半结构化甚至是非结构化的,随着物联网技术与可穿戴设备的飞速发展,数据 ...
【云计算与大数据技术】大数据系统总体架构概述（Hadoop+MapReduce ）
一.总体架构设计原则企业级大数据应用框架需要满足业务的需求,一是要求能够满足基于数据容量大,数据类型多,数据流通快的大数据基本处理需求,能够支持大数据的采集,存储,处理和分析,二是要能够满足企业级应 ...
【云计算与大数据技术】分布式数据库NoSQL中KV、列式、图、文档数据库的讲解（图文解释超详细）
一.NoSQL数据库概述 NoSQL泛指非关系型数据库,相对于传统关系型数据库,NoSQL有着更复杂的分类,包括KV数据库,文档数据库,列式数据库以及图数据库等等,这些类型的数据库能够更好的适应复杂类 ...

云计算与大数据技术应用2020.10.15

云计算与大数据技术应用2020.10.15相关推荐

最新文章

热门文章