大数据学习之大数据概述
目录
一、大数据的产生
二、大数据的概念
三、大数据的特点
1.Volume(大量)
2.Velocity(高速)
3.Variety(多样)
4.Value(低价值密度)
四、大数据的应用场景
五、大数据的发展前景
六、大数据部门间业务流程分析
七、大数据部门内组织结构
一、大数据的产生
大数据是物联网和元计算发展到一定阶段的必然产物。
大数据的产生是一个逐步发展的过程,现在的大数据是一个庞大的概念,大数据不仅代表数据量大,更代表了一系列数据价值化技术的总称。
目前基于大数据的场景化分析是大数据的主要应用之一,未来大数据将应用到更多的智能体系当中,为智能体提供决策支撑服务。目前人工智能的研究也逐渐以大数据为基础进行展开,未来大数据的应用领域将得到扩展。大数据本身也正在成为推动科技发展的主要驱动力,可以说未来谁掌握了数据,也就掌握了主动权。
二、大数据的概念
大数据:指无法再一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据主要解决,海量数据的采集、存储和分析计算的问题。
按顺序给出数据存储单位:TB PB EB
三、大数据的特点
1.Volume(大量)
截至目前,人类生产的所有印刷材料的数据量是200PB,而历史上全人类总共说过的话的数据量大约是5EB。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业大数据量已经接近EB量级。
2.Velocity(高速)
这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2025年,全球数据使用量将达到163ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。
3.Variety(多样)
这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为住的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高的要求。
4.Value(低价值密度)
价值密度的高低与数据总量的大小成反比。
如何对有价值数据“提纯”成为当前大数据背景下待解决的难题。
四、大数据的应用场景
1.抖音:推荐的都是你喜欢的视频
2.电商内的广告推荐:给用户推荐可能喜欢的商品
3.零售:分析用户消费习惯,为用户购买商品提供方便,从而提升商品销量。
4.物流仓库:京东物流,上午下单下午送达、下午下单次日上午送达
5.保险:海量数据挖掘及风险预测,助力保险行业精准营销,提升精细化定价能力
6.金融:多维度体现用户特征,帮助金融机构推荐优质客户,防范欺诈风险。
7.房产:大数据全面助力房地产行业,打造精准投资与营销,选出更适合的地,建造更适合的楼,卖给更合适的人。
8.人工智能+5G+物联网+虚拟与现实
······
五、大数据的发展前景
1.党的十九大提出“推动物联网、大数据、人工智能和实体经济深度融合”。
2.2020年初,中央推出34万亿“新基建”投资计划
"新基建"投资规模拆分 |
|
项目 |
2020年投资规模(亿元) |
5G |
3000 |
特高压 |
600 |
轨道交通 |
5000 |
充电桩 |
100 |
数据中心 |
1000 |
人工智能 |
350 |
工业互联网 |
100 |
合计 |
10150 |
3.大数据下个风口
2020年时5G建设的元年,国家在大力铺设5G设备,2021年就是5G手机应用的开始,也是大数据要爆发的一年。5G带来的是每秒钟10G的数据,会给每家公司都带来海量的数据。那么传统的Java工具根本解决不了海量数据的存储。就更不用说海量数据的计算了。如果你对5G的感触不够深,可以回忆一下3G和4G的区别。
4.人才紧缺
根据十四五规划,大数据产业测算规模突破3万亿,规模逐渐上升,预计到2025年,大数据核心人才缺口将达到230万人。大数据人才往往趋向于互联网和金融行业,而在传统制造业上面人才匮乏,这严重制约着制造行业产业升级和发展。
六、大数据部门间业务流程分析
七、大数据部门内组织结构
大数据学习之大数据概述相关推荐
- 大数据学习1——大数据概述
一.三次信息化浪潮的标志 第一次:PC 第二次:互联网 第三次:大数据.云计算.物联网 二.大数据关键技术 大数据特点:4V,数据量大(Volume).数据类型多(Variety).处理速度快(Vel ...
- (一)大数据学习引言——大数据概述
一.大数据的概念 概念 大数据是指:无法在现有的常规软件工具对其内容进行抓取.管理和处理的数据集合. 特征 Volume:数据量足够大 Variety:数据的种类多样 Velocity:数据的增长速度 ...
- 大数据学习系列----大数据项目的思考
2019独角兽企业重金招聘Python工程师标准>>> 最近做了一个大数据可视化的项目,目前阶段还仅仅对我们关心的指标做一些年度,季度,月度维度的汇总和展示,提供了简单的纵向横向的指 ...
- 大数据学习:大数据就业前景和就业方向
对于想要学习数据分析的同学来说,最重要的应该就是学完之后的就业吧.那么,大数据的就业前景和就业方向是怎样的呢? 大数据的就业领域是很宽广的,不管是科技领域,还是食品产业,零售业等等,都是需要大数据人才 ...
- 大数据学习笔记—大数据概论
大数据概论 一. 大数据的概念 二.大数据的特点(4V) 三. 大数据的应用场景 四.大数据的发展前景 五.大数据部门的业务流程/组织结构 一. 大数据的概念 大数据(big data),指无法在一定 ...
- 02云计算与大数据学习之大数据关键技术与应用
文章目录 1.应知应会 2.大数据总体框架 架构设计原则 总体架构特点 3.大数据存储技术 4.大数据处理技术 大数据处理模式 大数据处理Storm平台 5.大数据分析技术 大数据分析特点 大数据分析 ...
- 嘉明的云计算与大数据学习之大数据综合实验案例
1.实验环境 (1)Linux:Ubuntu 16.04. 虚拟机镜像下载链接:https://pan.baidu.com/s/1i_B-2rAfPM53jf7Besi0tw 提取码:WZJM (2) ...
- 大数据学习——基于大数据平台的数据仓库ETL基本思路
大数据平台数据仓库ETL基本思路 ETL工具 开源工具: Sqoop:Hadoop(hive)和关系型数据库之间传输数据的开源ETL工具. Beeline:hive客户端工具,基于SQLline的JD ...
- 02云计算与大数据学习之大数据关键技术与应用习题
一.选择题 以下是大数据技术架构的特点的是( ). A.集成性 B.架构先进性 C.实时性 D.以上都是 大数据分析的理论核心是( ). A.数据挖掘算法 B.聚类算法 C.统计分析算法 ...
- 大数据学习——sqoop导入数据
把数据从关系型数据库导入到hadoop 启动sqoop 导入表表数据到HDFS 下面的命令用于从MySQL数据库服务器中的emp表导入HDFS. sqoop import \ --connect jd ...
最新文章
- 对python的认识2000字_给那些想学Python的人之2000字谏言
- 动态链接库dll的两种加载方式
- 函数参数的传递问题(一级指针和二级指针)
- 关于windows上的exe可执行程序在黑色窗口运行时候不能点击屏幕,要不然会暂定程序
- 随想,对嵌入式职场建议
- Appium 解决微信公众号、小程序切换 webview 后无法定位元素的问题
- 工具的使用 —— windows 实用工具
- 2-PowerShell 对象,查询操作和格式化
- Memcached、Redis、RabbitMQ
- jquery以及jquery对象介绍
- ASP.net防止SQL注入方法
- M1芯片CAD如何安装?M1 mac怎么安装AutoCAD?
- 微信小程序如何跳转视频号直播间
- 保存网页图片的八种方法
- linux 串口 ~(icanon,linux 串口uart的使用详解
- 【深度学习】眼底图像之视盘和黄斑分割的探索
- 谷歌浏览器的internet选项在哪里
- 与世界有怎样的关系,便拥有了怎样的自己
- mysqld: [ERROR] Found option without preceding group in config file【解决】
- 袋鼠云数据中台专栏2.0 | 数据中台之数据源
热门文章
- 谈2010年WEBGAME的发展趋势
- SPLUS数据库导入导出操作
- tinymce的中文语言包
- Titanic(泰坦尼克号数据集)
- python计算化学浓度_理论与计算化学 - 计算模拟 - 程序代码 - 小木虫论坛-学术科研互动平台...
- VARCHART XGantt Activex 5.2.095 Crack
- VARCHART XGantt资讯:视觉计划咨询服务现已在AppSource上
- 编译bug can not be used when making a shared object; recompile with -fPIC
- 基于matlab的负反馈仿真,MATLAB的单闭环转速负反馈直流调速系统仿真
- 罪恶都市中文java版_搜神录之罪恶都市BT版