做为一名大数据新手，应该通过这篇文章了解大数据
一、大数据是什么?
大数据，big data，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。
这句话至少传递两种信息：
1、大数据是海量的数据
2、大数据处理无捷径，对分析处理技术提出了更高的要求
二、大数据的处理流程
下图是数据处理流程：
1、底层是数以千亿计的数据源，数据源可以是SCM(供应链数据)，4PL(物流数据)，CRM(客户数据)，网站日志以及其他的数据
2、第二层是数据加工层，数据工程师对数据源按照标准的统计口径和指标对数据进行抽取、清洗、转化、装载(整个过程简称ELT)
3、第三层是数据仓库，加工后的数据流入数据仓库，进行整合和存储，形成一个又一个数据集市。
数据集市，指分类存储数据的集合，即按照不同部门或用户的需求存储数据。
4、第四层是BI(商业智能)，按照业务需求，对数据进行分析建模、挖掘、运算，输出统一的数据分析平台
5、第五层是数据访问层，对不同的需求方开放不同的数据角色和权限，以数据驱动业务。
大数据的量级，决定了大数据处理及应用的难度，需要利用特定的技术工具去处理大数据。
三、大数据处理技术
以最常使用的Hadoop为例：
Hadoop是Apache公司开发的一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。
集群是指，2台或2台以上服务器构建节点，提供数据服务。单台服务器，无法处理海量的大数据。服务器越多，集群的威力越大。
Hadoop类似于一个数据生态圈，不同的模块各司其职。下图是Hadoop官网的生态图。
Hadoop的LOGO是一只灵活的大象。关于LOGO的来源，网上众说纷纭，有人说，是因为大象象征庞然大物，指代大数据，Hadoop让大数据变得灵活。而官方盖章，LOGO来源于创始人Doug Cutting的孩子曾为一个大象玩具取名hadoop。
从上图可以看出，Hadoop的核心是HDFS,YARN和Map Reduce，下面和大家讲一讲，几个主要模块的含义和功能。
1、HDFS(分布式文件存储系统)
数据以块的形式，分布在集群的不同节点。在使用HDFS时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需像使用本地文件系统一样管理和存储文件系统中的数据。
2、Map Reduce(分布式计算框架)
分布式计算框架将复杂的数据集分发给不同的节点去操作，每个节点会周期性的返回它所完成的工作和最新的状态。大家可以结合下图理解Map Reduce原理：
计算机要对输入的单词进行计数：
如果采用集中式计算方式，我们要先算出一个单词如Deer出现了多少次，再算另一个单词出现了多少次，直到所有单词统计完毕，将浪费大量的时间和资源。
如果采用分布式计算方式，计算将变得高效。我们将数据随机分配给三个节点，由节点去分别统计各自处理的数据中单词出现的次数，再将相同的单词进行聚合，输出最后的结果。
3、YARN(资源调度器)
相当于电脑的任务管理器，对资源进行管理和调度。
4、HBASE(分布式数据库)
HBase是非关系型数据库(Nosql)，在某些业务场景下，数据存储查询在Hbase的使用效率更高。
关于关系型数据库和菲关系型数据库的区别，会在以后的文章进行详述。
5、HIVE(数据仓库)
HIVE是基于Hadoop的一个数据仓库工具，可以用SQL的语言转化成Map Reduce任务对hdfs数据的查询分析。HIVE的好处在于，使用者无需写Map Reduce任务，只需要掌握SQL即可完成查询分析工作。
6、 Spark(大数据计算引擎)
Spark是专为大规模数据处理而设计的快速通用的计算引擎
7、Mahout(机器学习挖掘库)
Mahout是一个可扩展的机器学习和数据挖掘库
8、Sqoop
Sqoop可以将关系型数据库导入Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中
除上述模块外，Hadoop还有Zookeeper、Chukwa等多种模块，因为是开源的，所以未来还有出现更多更高效的模块，大家感兴趣可以上网了解。
通过Hadoop强大的生态圈，完成大数据处理流程。
在不久的将来，多智时代一定会彻底走入我们的生活，有兴趣入行未来前沿产业的朋友，可以留心多智时代，及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识，让我们一起携手，引领人工智能的未来！
做为一名大数据新手，应该通过这篇文章了解大数据相关推荐
- 我做为一名软件测试工程师，职业发展方向是什么？
我做为一名测试工程师,职业发展方向是什么? 今天是儿童节,首先祝大朋友们节日快乐! 不知觉间,在软件测试行业野蛮生长了七年之久. 同样是半杯水,对于口渴的人来说,有人会说,哇.还有半杯水,也有人会说, ...
- 我做为一名测试工程师，职业发展方向是什么？
我做为一名测试工程师,职业发展方向是什么? 今天是儿童节,首先祝大朋友们节日快乐! 不知觉间,在软件测试行业野蛮生长了七年之久. 同样是半杯水,对于口渴的人来说,有人会说,哇.还有半杯水,也有人会说, ...
- 数据平台初试（产品篇）——监控大屏初露面
申明:文中涉及到的图片均为原创,未经授权,不得使用. 公众号原文链接: 数据平台初试(产品篇)--监控大屏初露面 本文介绍在数据采集过程中不可或缺的一枚神器--数据采集监控大屏,如果想了解数据采集 ...
- 网页html做捏脸站,[技术研究]想做Web 3D捏脸？看了这篇文章你就会！
原标题:[技术研究]想做Web 3D捏脸?看了这篇文章你就会! 游戏里的人物捏脸见的多了,网页里的捏脸见过么? 3月6日完美世界手游上线,前期需要一个预创角营销活动进行预热.与以往预创角活动不同的是, ...
- 这或许是东半球分析十大排序算法最好的一篇文章
作者 | 不该相遇在秋天 转载自五分钟学算法(ID:CXYxiaowu) 前言 本文全长 14237 字,配有 70 张图片和动画,和你一起一步步看懂排序算法的运行过程. 预计阅读时间 47 分钟,强 ...
- 中希尔排序例题代码_【数据结构与算法】这或许是东半球分析十大排序算法最好的一篇文章...
码农有道 历史文章目录(请戳我) 关于码农有道(请戳我) 前言 本文全长 14237 字,配有 70 张图片和动画,和你一起一步步看懂排序算法的运行过程. 预计阅读时间 47 分钟,强烈建议先收藏然后 ...
- 【数据结构与算法】这或许是东半球分析十大排序算法最好的一篇文章
原地址:https://mp.weixin.qq.com/s?__biz=MzIwNTc4NTEwOQ==&mid=2247486981&idx=1&sn=c63cd080be ...
- 这或许是东半球讲十大排序算法最好的一篇文章
作者 | 不该相遇在秋天 责编 | 程序员小吴 ## 冒泡排序 冒泡排序无疑是最为出名的排序算法之一,从序列的一端开始往另一端冒泡(你可以从左往右冒泡,也可以从右往左冒泡,看心情),依次比较相邻的两个 ...
- tomcat webapps目录文件都能删吗_详细测试实现Tomcat根域名访问的场景，看这篇文章就够了...
写在前面的话 首先吐槽一下,我发现国内的博客大多是垃圾,完全没有人测试代码,就在那瞎扯淡,如果你看到别的地方说的跟我的文章说的不一样,请以我这篇为准,因为我每个场景都经过N次测试,确保没有问题! 场景 ...
- golang实现大顶堆只看这篇文章就够了
文章目录 前言 正文 golang实现堆的代码 堆排序 总结 前言 通过本篇文章,你将学会: 初始化大顶堆 弹出堆顶元素 往堆中插入元素 堆排序 学习的前提是你已经知道在构建好的堆中调整单个元素的原理 ...
最新文章
- 注册与验证码php源代码,一个简单的PHP验证码实现代码
- 宁做程序员，不做 CTO！估值 50 亿美元公司的创始人只想专注编程
- C++ Iterators(迭代器)
- max hit in personalization - CRM My Opportunity搜索的实现
- 对话阿里云：开源与自研如何共处？
- Leetcode PHP题解--D29 973. K Closest Points to Origin
- 一口气说出 6种 @Transactional 注解失效场景
- IBM HMC V7R740虚拟机安装实战
- 最快的存储过程分页 50W
- Python教材（数据分析、数据挖掘与可视化）——第7章课后习题
- Eclipse 跌落“神坛”，这款 IDE 后来居上！
- Cannot modify header information - headers already sent by (output started at 问题
- dis计算机领域中是什么意思,dis
- AI能力在智慧养殖应用现状
- 上位机控制PWM占空比
- Windows 10 使用命令行格式化磁盘/U盘
- python 读取doc 和 docx
- 打开ps提示计算机中丢失,ps打开出现dll文件丢失怎么解决
- 论文管理工具使用初探(主要包括endnote，zotero)
- 用python做一个计数器_Python写一个UP主计数器（送界面定制指南）