Hadoop之HDFS01【介绍】，字节跳动解决方案架构师
| 3 | 单一文件Block大小一致，文件与 文件可以不一致 |
| 4 | Block可以设置副本数，副本分散在不同节点中
副本数不要超过节点数量（超过多余的副本会重复将浪费空间） |
| 5 | 文件上传可以设置Block大小和副本数 |
| 6 | 已上传的文件Block副本数可以调整，大小不变 |
| 7 | 只支持一次写入多次读取，同一时刻只有一个写入者（避免修改后要变动后面所有节点的偏移量） |
| 8 | 可以append追加数据 |
上传文件指定block大小和副本数量
hadoop fs -Ddfs.replication=2 -put a.txt /
hadoop fs -Ddfs.blocksize=67108864 -put fun1.sh /
已上传的文件Block副本数可以调整，大小不变
[root@hadoop-node01 ~]# hadoop fs -setrep -w 3 /fun1.sh
Replication 3 set: /fun1.sh
Waiting for /fun1.sh … done
append追加数据
hadoop fs -appendToFile b.txt /a.txt
架构模型
==================================================================
- 文件元数据MetaData，文件数据
元数据
数据本身
（主）NameNode节点保存文件元数据：单节点 posix
（从）DataNode节点保存文件Block数据：多节点
DataNode与NameNode保持心跳，提交Block列表
HdfsClient与NameNode交互元数据信息
HdfsClient与DataNode交互文件Block数据
NameNode
======================================================================
存储元数据(MetaData)，不存储具体的block
| 序号 | 特点 |
| — | :-- |
| 1 | 基于内存存储，不和硬盘发生交互 |
| 2 | 持久化 |
NameNode主要功能：
| 序号 | 功能 |
| — | :-- |
| 1 | 接受客户端的读写服务 |
| 2 | 收集DataNode汇报的Block列表信息 |
| 3 | NameNode保存metadata信息包括:文件owership和permissions,文件大小，
时间（Block列表：Block偏移量），位置信息 |
NameNode持久化
NameNode的metadate信息在启动后会加载到内存
metadata存储到磁盘文件名为”fsimage”
Block的位置信息不会保存到fsimage
edits记录对metadata的操作日志。。。
DataNode
======================================================================
本地磁盘目录存储数据（Block），文件形式,同时存储Block的元数据信息文件,启动DN时会向NN汇报block信息,通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN
Hadoop之HDFS01【介绍】，字节跳动解决方案架构师相关推荐
- 2种Android图表的简单介绍+折线图、饼图的例子，字节跳动移动架构师学习笔记
setTitle("PieChartActivity"); pie = (PieChart) findViewById(R.id.pie); //②输入数据 //其中两个数字对应的 ...
- 字节跳动移动架构师学习笔记，Android篇
导语 你想做安卓开发,怎么系统学习?你只需要看完这一篇就够了!!为什么只看这一篇就够了?现在CSDN.知乎.掘金.GitHub上各路大佬层出不穷,他们深耕Android开发多年,总结出满满的学习干货. ...
- 31道Android面试题，字节跳动移动架构师学习笔记，大厂直通车！
关于Android的近况 大家都知道,今年移动开发不那么火热了,完全没有了前两年Android开发那种火热的势头,如此同时,AI热火朝天,很多言论都说Android不行了.其实不光是Android,i ...
- android内录音频，字节跳动Android架构师学习笔记
缘起 随着互联网企业的不断发展,产品项目中的模块越来越多,用户体验要求也越来越高,想实现小步快跑.快速迭代的目的越来越难,还有应用之间的互相调用等等问题,插件化技术应用而生.如果没有插件化技术,美团. ...
- 今日头条 字节跳动 Flutter架构实践
今日头条 字节跳动 Flutter架构实践 1 移动跨平台技术探究 ◆ 为什么需要跨平台? 今日头条 字节跳动 Flutter架构实践 ◆ 跨平台技术是如何发展起来的? 今日头条 字节跳动 Flutt ...
- Flutter 沙龙回顾 | 跨平台技术趋势及字节跳动 Flutter 架构实践
11 月 23 日,字节跳动技术沙龙 | Flutter 技术专场 在北京后山艺术空间圆满结束.我们邀请到字节跳动移动平台部 Flutter 架构师袁辉辉,Google Flutter 团队工程师 J ...
- 字节跳动视频架构(一面面经)
字节跳动视频架构(一面面经) 算法:判断是否有环 java基础 String StringBuilder StringBuffer hashmap jvm,多线程 jvm各个部分介绍 threadlo ...
- 前沿分享｜阿里云数据库解决方案架构师 王宏宇：云原生数据仓库AnalyticDB在零售行业的深度应用和业务价值
简介:本篇内容为2021云栖大会-云原生数据仓库AnalyticDB技术与实践峰会分论坛中,阿里云数据库解决方案架构师 王宏宇关于"云原生数据仓库AnalyticDB在零售行业的深度应用和业 ...
- 红帽资深解决方案架构师魏新宇：云原生应用构建之路
魏新宇 读完需要 7 分钟 速读仅需 3 分钟 魏新宇,红帽资深解决方案架构师.在 IaaS.PaaS 方面有丰富的经验,致力于开源解决方案在企业中的推广和应用.从售前角度主导了红帽在金融.汽车行业的 ...
最新文章
- 液晶12864COG 液晶模块串口/并口ST7565R带背3.3v 12864-14显示屏
- F2etest+UIRecorder（录制脚本）【2】
- ffmpeg linux 命令,Linux命令行下转换媒体格式工具FFMPEG介绍
- 框架设计：实现数据的按需更新与插入的改进--用数据对比进一步说明
- 聊一聊 RestTemplate
- c语言 判断乘法是否溢出,如何判断C语言算术运算的越界问题
- ajax实现文件表单上传,ajax文件异步实现表单上传
- 判定表与判定树的画法_判定树和判定表
- Elasticsearch中keyword和numeric对性能的影响分析
- android 一种键盘不能调起的解决方法
- NYOJ-求和求到手软（抖机灵题）
- 各种内部排序方法及其比较实验报告
- 从音视频技术看AI的机会和挑战
- 云上城之个服务器维护时间,云上城之歌开服时间表 官方最新开服情况
- Python爬虫，爬取51job上有关大数据的招聘信息
- 详细分析contrex-A9的汇编代码__switch_to（进程切换）
- 图片转JPG格式怎么转换
- python计算时间加减,python datetime库使用和时间加减计算
- 小i机器人与科天达成战略合作 携手打造智能化未来工厂
- WINDOWS网络服务第一章预习导图