Hadoop精华问答 | hadoop能干什么?
Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色,今天,就让我们看看关于Storm的精华问答吧。
1
Q:hadoop是什么
A:Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。
2
Q:hadoop能干什么
A:hadoop擅长日志分析,facebook就用Hive来进行日志分析,2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析;淘宝搜索中的自定义筛选也使用的Hive;利用Pig还可以做高级的数据处理,包括Twitter、LinkedIn 上用于发现您可能认识的人,可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是!在Yahoo!的40%的Hadoop作业是用pig运行的,包括垃圾邮件的识别和过滤,还有用户特征建模。(2012年8月25新更新,天猫的推荐系统是hive,少量尝试mahout!)
3
Q:hadoop的核心
A:1.HDFS: Hadoop Distributed File System 分布式文件系统
2.YARN: Yet Another Resource Negotiator 资源管理调度系统
3.Mapreduce:分布式运算框架
4
Q:HDFS的架构
A:主从结构
•主节点, namenode
•从节点,有很多个: datanode
namenode负责:
•接收用户操作请求
•维护文件系统的目录结构
•管理文件与block之间关系,block与datanode之间关系
datanode负责:
•存储文件
•文件被分成block存储在磁盘上
•为保证数据安全,文件会有多个副本
Secondary NameNode负责:
合并fsimage和edits文件来更新NameNode的metedata
5
Q:Hadoop的特点
A:扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。
成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。
高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。
可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务。
小伙伴们冲鸭,后台留言区等着你!
关于Hadoop,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……
同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~
福利
1、扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!
2、公众号后台回复:白皮书,获取IDC最新数据白皮书整理资料!
推荐阅读:
搞不懂SDN?那是因为你没看这个小故事…
不让华为收专利费?美议员提案“秀下限”
华为最强自研 NPU 问世,麒麟 810 “抛弃”寒武纪
北邮通信博士万字长文,带你秒懂 4G/5G 区别!
LinkedIn最新报告: 区块链成职位需求增长最快领域, 这些地区对区块链人才渴求度最高……
中文NLP的分词真有必要吗?李纪为团队四项任务评测一探究竟 | ACL 2019
6月技术福利限时免费领
真香,朕在看了!
Hadoop精华问答 | hadoop能干什么?相关推荐
- Hadoop精华问答 | Hadoop框架中最核心的设计是什么?
Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色,今天,就让我们看看关于Storm的精华问答吧. 1 Q:hadoop发展史 A: ...
- Hadoop精华问答 | Hadoop 和Spark有什么区别?
我们很荣幸能够见证Hadoop十年从无到有,再到称王.感动于技术的日新月异时,希望通过今天的有问有答深入解读Hadoop的昨天.今天和明天,憧憬下一个十年. 1 Q:Hadoop是什么? A:Hado ...
- hadoop是什么_Hadoop精华问答 | hadoop能干什么?
Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色,今天,就让我们看看关于Storm的精华问答吧. 1 Q:hadoop是什么 A:H ...
- Hadoop精华问答 | NameNode的工作特点
我们很荣幸能够见证Hadoop十年从无到有,再到称王.感动于技术的日新月异时,让我们再来看看关于Hadoop的精华问答. 1 Q:NameNode的工作特点 A:NameNode始终在内存中保存met ...
- Hadoop精华问答 | NameNode是什么?
戳蓝字"CSDN云计算"关注我们哦! 2006年项目成立的一开始,"Hadoop"这个单词只代表了两个组件--HDFS和MapReduce.到现在的13个年头, ...
- Hadoop精华问答:Hadoop框架最核心的设计是?
2006年项目成立的一开始,"Hadoop"这个单词只代表了两个组件--HDFS和MapReduce.到现在的13个年头,这个单词代表的是"核心",今天我们就来 ...
- Hadoop精华问答 | 非大数据的项目能否用Hadoop?
戳蓝字"CSDN云计算"关注我们哦! 技术的日新月异,让我们见证了Hadoop十年从无到有,再到称王.2006年项目成立的一开始,"Hadoop"这个单词只代表 ...
- Hadoop精华问答 | 如何设置单个任务占用的内存量和CPU数目?
我们很荣幸能够见证Hadoop十年从无到有,再到称王.感动于技术的日新月异时,让我们再来看看关于Hadoop的精华问答. 1 Q:默认情况下,各个节点的负载不均衡(任务数目不同),有的节点很多任务在跑 ...
- Hadoop精华问答 | 基于Hadoop的数据中心有什么好处?
戳蓝字"CSDN云计算"关注我们哦! 2006年项目成立的一开始,"Hadoop"这个单词只代表了两个组件--HDFS和MapReduce.到现在的13个年头, ...
最新文章
- java打包没有src_maven 打包时,src/main/java目录下的xml等资源文件没有打包进去的问题...
- 华为鸿蒙2.0操作页面,华为鸿蒙2.0开面界面确认,这一变化你可懂
- C++(21)--Astah uml 画C++类图
- tomcat的安装及配置
- 【2016年第5期】面向图数据管理系统基准评测的知识图谱统计特征分析
- C8051汇编语言递归,基于C8051F310单片机的LED灯控制器汇编语言程序调试
- 计算机技术在多晶体衍射中的应用,材料研究分析方法(研究生)-XRD2.ppt
- 办理美国商务和旅游签证(B1 B2)和面签的奥秘
- python读取大文件csv_python 快速把超大txt文件转存为csv的实例
- 分析:公众号运营+引流,怎么从0到1运营
- c语言数字拆分,在手机上玩C语言—数字拆分
- html5指定透明色,HTML5怎么设置透明色
- 虚拟机的防火墙设置指令
- java报名系统_java在线报名系统
- 1400协议是什么和28181区别_28181平台对接接口详解
- 怎么用MindManager制作鱼骨图
- 游戏产业链:主机游戏
- 学习笔记-----制作图片分类标签
- 计算机名总是有隐藏句号解决办法,电脑怎样输入小写字母
- ssb门限_通信原理(第七版)-樊昌信-第五章-模拟通信系统-重要知识点