Hadoop能做什么
摘要:本文从Hadoop的初衷、大数据时代背景、Hadoop的使用者来探讨“Hadoop能做什么”这个问题。
关键词:Hadoop 大数据
Hadoop是Doug Cutting 基于Google公司的GFS和MapReduce思想不断完善项目Nutch中脱胎而出的。
Hadoop是适合于大数据的分布式存储和处理平台,是一种开源的框架。
大数据时代已经到来,给我们的生活、工作、思维方式都带来变革。如何寻求大数据后面的价值,既是机遇又是挑战。不管是金融数据、还是电商数据、又还是社交数据、游戏数据.......这些数据的规模、结构、增长的速度都给传统数据存储和处理技术带来巨大考验。幸运的是,Hadoop的诞生和所构建成的生态系统给大数据的存储、处理和分析带来了曙光。
不管是国外的著名公司Google、Yahoo!、微软、亚马逊、 EBay、FaceBook、Twitter、LinkedIn等和初创公司Cloudera、Hortonworks等,又还是国内的著名公司中国移动、阿里巴巴、华为、腾讯、百度、网易、京东商城等,都在使用Hadoop及相关技术解决大规模化数据问题,以满足公司需求和创造商业价值。
例如:Yahoo! 的垃圾邮件识别和过滤、用户特征建模;Amazon.com(亚马逊)的协同过滤推荐系统;Facebook的Web日志分析;Twitter、LinkedIn的人脉寻找系统;淘宝商品推荐系统、淘宝搜索中的自定义筛选功能......这些应用都使用到Hadoop及其相关技术。
“Hadoop能做什么?” ,概括如下:
1、搜索引擎(Doug Cutting 设计Hadoop的初衷,为了针对大规模的网页快速建立索引)。
2、大数据存储,利用Hadoop的分布式存储能力,例如数据备份、数据仓库等。
3、大数据处理,利用Hadoop的分布式处理能力,例如数据挖掘、数据分析等。
4、科学研究,Hadoop是一种分布式的开源框架,对于分布式计算有很大程度地参考价值。
Source:
1 http://www.wangluqing.com/2014/02/hadoop-doing/
2 Who uses Hadoop? http://wiki.apache.org/hadoop/PoweredBy
3 Who We Are? http://hadoop.apache.org/who.html
4 http://blog.sina.com.cn/s/blog_687194cd01017lgu.html
5 http://thinkinginhadoop.iteye.com/blog/709947
Hadoop能做什么相关推荐
- hadoop KerberosUtil 做Kerberos认证
网上找了一下,自己写了个KerberosUtil工具类,测试过可以用. 注意这个不是 org.apache.hadoop.security.authentication.util.KerberosUt ...
- Hadoop是做什么的,hadoop集群搭建作用
目的 本文描述了如何安装.配置和管理有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点的超大集群. 如果你希望在单机上安装Hadoop玩玩,从这里能找到相关细节. 更多精彩内容 精彩 ...
- 用通俗易懂的话说下hadoop是什么,能做什么
1.hadoop是什么? (1)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式.Hadoop= ...
- [ZZ]Map/Reduce hadoop 细节
转自:Venus神庙原文:http://www.cnblogs.com/duguguiyu/archive/2009/02/28/1400278.html 分布式计算(Map/Reduce) 分布式计 ...
- 大数据虚拟化:VMware正在虚拟化Hadoop
VMware发布了在vSphere上对Hadoop部署进行管控的插件,给企业在大数据平台上带来更加便捷的操作. VMware今天发布了 vSphere 大数据插件BDE (Big Data Exten ...
- 数据蒋堂 | Hadoop - 一把杀鸡用的牛刀
作者:蒋步星 来源:数据蒋堂 本文共1800字,建议阅读6分钟. 通过本文为大家解读为什么Hadoop不适合小集群实现. Hadoop是个庞大的重型解决方案,它的设计目标本来就是大规模甚至超大规模的集 ...
- 一起学Hadoop——Hadoop的前世今生
Hadoop是什么? Hadoop是一个处理海量数据的开源框架.2002年Nutch项目面世,这是一个爬取网页工具和搜索引擎系统,和其他众多的工具一样,都遇到了在处理海量数据时效率低下,无法存储爬取网 ...
- Hadoop学习笔记:MapReduce框架详解
原文:http://blog.jobbole.com/84089/ 原文出处: 夏天的森林 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手, ...
- hadoop api 复制文件_Hadoop发布新组件:分布式对象存储系统Ozone
大数据 / 人工智能 / 区块链 / 数据库 / 分布式存储 2020年9月,Ozone 1.0.0分布式对象存储系统在Apache Hadoop社区正式发布.据了解,经过2年多的社区持续开发和内部1 ...
最新文章
- MySQL数据库中外键SQL语句的编写
- WordPress 2.9.2 使用感受
- interrupt分析
- 在青岛呆了两年之后,我明白了何为工资低消费高。。。
- 关闭 启动_Steam如何关闭开机自动启动
- bzoj 5369: [Pkusc2018]最大前缀和
- python自增_Python的自增运算与Python变量的浅析
- 如何将学术经历整合为求职简历?
- springboot做网站_Github点赞接近 100k 的Spring Boot学习教程+实战项目推荐!
- 省、市联动的SQL脚本
- mac 常用的开发工具
- Mcafee(麦咖啡)8.5i 使用设置图解 --服务器
- flutter从零开发完整好客租房App(已完结)
- iphone 计算机找不到了,电脑找不到苹果手机热点
- nodejs+libreoffice 将word转成pdf
- 互联网晚报 | 8月15日 星期日 | 第四范式申请港交所上市;招行私人银行客户突破11万户;特斯拉CEO马斯克去年总薪酬为零...
- Centos7 使用cobbler搭建PXE网络装机服务器安装Centos、Windows、PE、自定义wim镜像
- A* 流程+代码详细注释
- mysql显示表已存在_mysql的安装与卸载
- xv6 - lab0 - 操作系统组织