hadoop权威指南读书笔记

第一章概述
1.当今是数据大爆炸的时代，数据的存储与分析成为问题
2.hadoop hdfs解决存储问题 mapreduce解决批量分析问题。
3.大量数据由于好的算法。推荐算法依赖大量用户数据。
4.hadoop名字的由来 doug cutting 孩子的毛绒玩具。
5. 2006年 hadoop诞生 2008成为apache 顶级项目
6. 与传统关系数据库对比：数据量大非实时批量处理数据可以是半结构化
第二章 mapreduce
1.用于数据处理的编程模型特点：并行执行
2.map 函数负责数据预处理（key,[value1,value2,value3]）
3.reduce函数负责得到处理结果遍历map阶段 value数组。
第三章 hdsf分布式文件系统
1.分布式文件系统：管理网络中多台计算机存储的文件系统。架构于网络之上，引入了网络编程的复杂性
2.分布式文件系统的容错不丢失数据
3.hdsf存储超大文件流式数据访问商业硬件

hadoop权威指南读书笔记相关推荐

MapReduce总结 + 相关Hadoop权威指南读书笔记（未完......欢迎补充，互相学习）
文章目录 MapReduce概述 MapReduce优缺点 MapReduce核心思想 MapReduce进程 MapReduce编程规范 WordCount 案例实操本地测试集群测试 Hadoo ...
mysql数据库权威指南_MySQL_MySQL权威指南读书笔记(三)，第二章：MYSQL数据库里面的数 - phpStudy...
MySQL权威指南读书笔记(三) 第二章:MYSQL数据库里面的数据用想用好MYSQL,就必须透彻理解MYSQL是如何看待和处理数据的.本章主要讨论了两个问题:一是SQL所能处理的数据值的类型:二是 ...
MongoDB权威指南读书笔记——CRUD
插入并保存文档插入是向MongoDB中添加数据的基本方法.可以使用Insert方法向目标集合插入一个文档:db.foo.insert({"bar" : "baz&quo ...
HTTP权威指南读书笔记
<<HTTP权威指南>>读书笔记第一部分:Web的基础第1章:HTTP概述主要内容 1.什么是HTTP 2.HTTP的基本组件 HTTP HTTP:HTTP(Hypert ...
HTML5权威指南----读书笔记
<!DOCTYPE html> <html> <head><meta name = 'keywords' content="HTML5权威指南--- ...
Hadoop权威指南学习笔记三
HDFS简单介绍声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考.有什么不到之处还望指出,一起学习一起进步. 转载请注明:http://blog.csdn.net/my ...
Hadoop权威指南学习笔记一
Hadoop简单介绍声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考,有什么不到之处还望指出.一起学习一起进步. 转载请注明:http://blog.csdn.net/ ...
计算机网络和http权威指南读书笔记
计算机网络笔记网络层网络层向上提供无连接的,尽最大努力交付的数据报服务网络层不提供数据质量承诺物理层使用的中间设备叫转发器repeater 数据链路层叫网桥bridge 网络层叫路由器rout ...
Hadoop权威指南阅读笔记
2019独角兽企业重金招聘Python工程师标准>>> 1.MR和关系型数据 MR和传统的关系型数据库处理的数据是不同,传统关系型数据库处理的是较结构化数据,对于半结构化和非机构话数 ...
Hadoop权威指南 - 学习笔记
初识Hadoop.关于MapReduce Hadoop宏观介绍相对于其他系统的优势关系型数据库管理系统为什么不能用配有大量硬盘的数据库进行大规模分析?为什么需要Hadoop? 因为计算机硬盘的发 ...

hadoop权威指南读书笔记

hadoop权威指南读书笔记相关推荐

最新文章

热门文章

hadoop权威指南 读书笔记

hadoop权威指南 读书笔记相关推荐

最新文章

热门文章

hadoop权威指南读书笔记

hadoop权威指南读书笔记相关推荐