什么是大数据,大数据的处理流程介绍
一、大数据是什么?
大数据,bigdata,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。
这句话至少传递两种信息:
1、大数据是海量的数据
2、大数据处理无捷径,对分析处理技术提出了更高的要求
二、大数据的处理流程
下图是数据处理流程:
1、底层是数以千亿计的数据源,数据源可以是SCM(供应链数据),4PL(物流数据),CRM(客户数据),网站日志以及其他的数据
2、第二层是数据加工层,数据工程师对数据源按照标准的统计口径和指标对数据进行抽取、清洗、转化、装载(整个过程简称ELT)
3、第三层是数据仓库,加工后的数据流入数据仓库,进行整合和存储,形成一个又一个数据集市。
数据集市,指分类存储数据的集合,即按照不同部门或用户的需求存储数据。
4、第四层是BI(商业智能),按照业务需求,对数据进行分析建模、挖掘、运算,输出统一的数据分析平台
5、第五层是数据访问层,对不同的需求方开放不同的数据角色和权限,以数据驱动业务。
大数据的量级,决定了大数据处理及应用的难度,需要利用特定的技术工具去处理大数据。
人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
大数据工程师培训,需要学习的有哪些课程?
http://www.duozhishidai.com/article-15081-1.html
大数据工程师就业培训哪个好?
http://www.duozhishidai.com/article-15082-1.html
java大数据与python大数据如何选择?
http://www.duozhishidai.com/article-12540-1.html
多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站
什么是大数据,大数据的处理流程介绍相关推荐
- 数据科学项目的完整流程介绍
和那些数据科学比赛不同,在真实的数据科学中,我们可能更多的时间不是在做算法的开发,而是对需求的定义和数据的治理.所以,如何更好的结合现实业务,让数据真正产生价值成了 个更有意义的话题. 数据科学项目的 ...
- 人脸识别/车牌识别系统安防视频云服务EasyCVR支持大华SDK语音对讲功能流程介绍
TSINGSEE青犀视频平台EasyCVR内,已经能够通过国标GB28181协议实现语音对讲功能,在大华SDK的研发方面,也开发了该功能,本文和大家分享下. EasyCVR语音对讲主要用于实现本地平台 ...
- 用 Python 制作数据大屏,超简单
作者 | 俊欣 来源 | 关于数据分析与可视化 今天我们用Streamlit模块来制作一个数据面板,将数据更加直观地呈现给别人观看,整个页面大致如下图所示: 制作工具栏 在页面的左侧是一个工具栏,工具 ...
- 3000 字推荐一个可视化神器,50 行 Python 代码制作数据大屏
作者 | 俊欣 来源 | 关于数据分析与可视化 今天小编给大家分享一个制作数据大屏的工具,非常的好用,100行左右的Python代码就可以制作出来一个完整的数据大屏,并且代码的逻辑非常容易理解. Py ...
- 工资8000以下的程序员注意了:《零coding数据大屏实战宝典.pdf》
马云曾说:"整个世界将变成数据,这还只是数据时代的开始.新浪潮即将来临,很多就业机会将被夺走.有些人会赶上潮流,变得富有和成功.但是对那些落后的人,未来将是痛苦的. 大数据从2013年一路发 ...
- 除了数据还是数据?2018年5大 AI (人工智能)预测
人工智能 (AI) 在 2017 年已成为多数人日常生活的一部份,不论是在工作场所或是居家生活,而随着新的一年将至,<福布斯>杂志也对 AI 进入 2018 年的成长与发展进行预测: 数据 ...
- 海量大数据大屏分析展示一步到位:DataWorks数据服务对接DataV最佳实践
概述 数据服务(https://ds-cn-shanghai.data.a... 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟"零代码&q ...
- 如何构建可视化的营销数据大屏?
数据可视化大屏是数据展现最直观最全面的方式之一,对于企业重要数据指标的展示和实时数据的监测,是目前极佳的方案. 对于大屏数据展示,某知名汽车制造厂商的信息化团队有着深刻的建设经验. 该公司目前拥有两个 ...
- 大数据环境下数据科学的知识体系
数据科学概论 随着互联网的飞速发展,大数据(Big Data)的概念和技术成为当下流行的领域. 数据科学(Data Science)这一体系也随着大数据的崛起成为讨论热点.在各大招聘网站上," ...
- 大数据数据收集数据困难_大数据架构、大数据开发与数据分析的区别
是新朋友吗?记得先点蓝字关注我哦- 今日课程菜单 Java全栈开发 | Web前端+H5 大数据开发 | 数据分析 人工智能+Python | 人工智能+物联网 来源:小职(z_zhizuobiao ...
最新文章
- 【机器学习基础】Self-Supervised Learning入门介绍
- 全排列代码python_python全排列代码,求解释
- python升级matplotlib包_Python-matplotlib包
- 大锅菜机器人_炒菜机器人——烹饪界的一场革命
- UIView的旋转iOS开发
- MyBatis中in的使用
- 【数据结构与算法】哈夫曼树的Java实现
- openstack network
- 2010-05-19 项目升级计划
- bzoj 2216: [Poi2011]Lightning Conductor(DP决策单调性)
- JAVA里plain_Java中POJO及其细分XO、DAO的概念
- MMDETECTION微调模型
- 百度统计:页面代码安装状态:代码未生效
- PCIE设备如何降速降带宽
- TI Zigbee Light Link 参考设计
- opencv:对`cv :: DescriptorMatcher‘的未定义引用
- PDF编辑_隐私条款
- 探针台选型的注意事项有哪些
- 任何手机都能刷原生android系统吗,如果你的安卓手机能自由地刷系统,你会选择谁?...
- c语言里的fun是什么函数,c语言fun函数有什么作用