Hadoop学习心得一
浅语：我们学习一门心得技术，肯定好奇它为什么应运而生，因此了解它的背景十分重要。它能解决什么才是它的优势。技术都有过时的时候，不过时的是我们使用手中的技术创造新的技术
1、现状：新时代的数据格式多样化，视频，音频，图像等非结构化的数据，传统数据库无法存储，多样化的数据格式，关系型数据库无法建表
如何解决传统数据库的存储问题？答案是文件存储。把网站的TB级以上数据量保存在一个文件里，通过对文件读操作，实现对大数据的分析，方案是不是很完美，NO，面临一个很实际的问题，读取效率低！
那如何解决文件存储慢的问题，答案是分而治之，采取分布式文件存储！！！
分布式文件系统HDFS的原理就是这样的。Hadoop的核心
采用分布式文件系统HDFS已经解决了大数据的存储问题和读取效率问题，试问，如果存储文件的一个服务器出现了故障，文件被损坏，造成数据的丢失，该如何避免这种情况？答案是备份，至少做3个备份，如下图：
HDFS优点总结：
1、支持任意超大文件存储；硬件节点可不断扩展，低成本存储（真实案例为：4000节点，目前最大5000节点）；
2 、对上层应用屏蔽分布式部署结构，提供统一的文件系统访问接口，感觉就是一个大硬盘；应用无需知道文件具体存放位置，使用简单；
3、文件分块存储（1块缺省64MB)，不同块可分布在不同机器节点上，通过元数据记录文件块位置；应用顺序读取各个块；
4 、系统设计为高容错性，允许廉价PC故障；每块文件数据在不同机器节点上保存3份；这种备份的另一个好处是可方便不同应用就近读取，提高访问效率。
HDFS缺点总结：
1、适合大数据文件保存和分析，不适合小文件，由于分布存储需要从不同节点读取数据，效率反而没有集中存储高；一次写入多次读取，不支持文件修改；
2、是最基础的大数据技术，基于文件系统层面提供文件访问能力，不如数据库技术强大，但也是海量数据库技术的底层依托；
3、文件系统接口完全不同于传统文件系统，应用需要重新开发。
疑问：看到这里优点跟缺点还是很明显的。优点在于解决了数据的存储，数据还是需要写入到节点中才能被访问，感觉要不断的爬取数据存储起来便于分析。这只是初见。作为一个新手的疑问。
Hadoop学习心得一相关推荐
- 神经网络程序设计学习心得
神经网络程序设计学习心得 简枢 SB16225001 本学期有幸再次选择了孟宁老师的2016年秋-网络程序设计课程.该课程主要聚焦于神经网络程序设计,基于深度学习神经网络等机器学习技术实现一个医学 ...
- DOCKER学习心得
前言: Docker的主要学习心得来源于<docker技术入门与实战> --2019.1.1->2019.1.5 la 着重从基础部分--实例分析--进阶技能--开源项目几个部分来介 ...
- Java EE学习心得
–Java EE学习心得 1. 称为编程专家的秘诀是: 思考-----编程--------思考------编程--.. 编程不能一步到位,不能一上来就编,必须先思考如何写,怎样写?然后再编程 ...
- Hadoop学习笔记一 简要介绍
Hadoop学习笔记一 简要介绍 这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...
- 我的hadoop学习之路
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上. Ha ...
- Assembly学习心得
http://blog.csdn.net/etmonitor/ Assembly学习心得 说明: 最近开始准备把学到的.NET知识重新整理一遍,眼过千遍不如手过一遍,所以我准备记下我的学习心得,已备参 ...
- 对于mysql存储过程感想_存储过程学习心得
存储过程学习心得 (2014-12-28 17:28:06) 标签: it 我使用过几次SQL Server,但所有与数据库的交互都是通过应用程序的编码来实现的.我不知到在哪里使用存储过程,也不了解实 ...
- Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户能够在不了解分布式底层细节的情况下.开发分布式 ...
- 好程序员Web前端教程分享Vue学习心得
为什么80%的码农都做不了架构师?>>> 好程序员Web前端教程分享Vue学习心得,Vue是一套用于构建用户界面的渐进式框架.与其它大型框架不同的是,Vue 被设计为可以自底向 ...
- 大学计算机课英语心得体会,关于计算机网络辅助大学英语教学的思考学习心得...
关于计算机网络辅助大学英语教学的思考学习心得 ［摘要］计算机网络辅助教学可以增强学生的学习兴趣,提高他们自觉学习的能力,因而得到了大多数学生的认可,取得了比较显著的成效.计算机网络辅助教学也对大学英语 ...
最新文章
- 【笔记】C++ 简化位图图像操作
- python五:运算符
- linux rmi端口,RMI 两个端口 - 差不多先生的个人空间 - OSCHINA - 中文开源技术交流社区...
- 高等数学下-赵立军-北京大学出版社-题解-练习8.4
- 中国地质大学计算机地理信息学院,英文主页 软件工程、计算机科学与技术、地理信息科学等相关专业学生 中国地质大学（武汉）教师个人主页系统...
- 一文读懂GaussDB(openGauss) 的六大关键技术特性
- CentOS 下 Oracle 10g 安装 + 配置 全过程（图解）
- 【BZOJ-2400】Spoj839Optimal Marks 最小割 + DFS
- 【记】微信支付服务器证书更换通知的验证流程
- python操作linux命令行_python调用调用Linux命令
- 【PowerShell】逐行处理文本示例
- URAL-1998 The old Padawan 二分
- 对话(Dialog)
- 【ES 笔记】 ElasticSearch 基本的查询语句介绍
- [WinError 6] 句柄无效。
- 【codeforces 707C】Pythagorean Triples
- 数学建模国赛论文怎么写？
- 技术职称论文查重用什么论文查重软件？
- php无限循环分类,php实现无限分类功能
- STM32 -- 做一块自己的开发板（STM32F103C8T6）