什么是大数据?大数据能做什么?
本篇文章主要为我们介绍了大数据的概念、发展以及相关应用。
“Big Data is like teenage sex:Everyone talks about it,nobody really knows how to do it,everyone thinks everyone else is doing it,so everyone claims they are doing it too.”
2013年被称为大数据元年,各行各业都逐渐开启大数据应用时代。直至现在,大数据依然为人所津津乐道。
何为大数据?
1PB够大吗?
如果你没有直观印象,可以联想一下你的电脑硬盘容量,标配是500G-1TB,大部分人用了一两年,可能这部分容量都没用完。而1PB=1024TB=1048576GB。
在实际中,一个小有名气的游戏一天的数据量就在数十TB左右,甚至更多。
如果你以为PB单位已经是最大了?那就大错特错了!!!!
在PB之上,还有EB(Exabyte 百亿亿字节 艾字节),ZB(Zettabyte 十万亿亿字节 泽字节),YB(Yottabyte 一亿亿亿字节 尧字节),而这些单位也只是为了方便统计海量数据所给出的当前单位,在未来还可能出现更大的单位。
因特尔公司首席执行官Brian Krzanich表示,2020年互联网用户每天将产生1.5GB的数据。
HIS数据预测,到2025年,全球互联网(IoT)连接设备的总安装量预计将达到754.4亿,这部分设备每天产生的数据量可想而知。
按照前面的数据关系,得出1ZB大概是1.1万亿GB,等同于全世界沙子数量总和。
从上图中不难看出,互联网数据每年都在爆炸式增长。当然,大数据并不只是数据量大而已,它还有其他更深的含义。
对于大数据,麦肯锡全球研究所给出的定义是:
”一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。“
大数据具有五大特点,称为5V。
1. 多样(Variety)
大数据的多样性是指数据的种类和来源是多样化的,数据可以是结构化的、半结构化的以及非结构化的,数据的呈现形式包括但不仅限于文本,图像,视频,HTML页面等等。
2. 大量(Volume)
大数据的大量性是指数据量的大小,这个就是上面笔者介绍的内容,不再赘述。
3. 高速(Velocity)
大数据的高速性是指数据增长快速,处理快速,每一天,各行各业的数据都在呈现指数性爆炸增长。在许多场景下,数据都具有时效性,如搜索引擎要在几秒中内呈现出用户所需数据。企业或系统在面对快速增长的海量数据时,必须要高速处理,快速响应。
4. 低价值密度(Value)
大数据的低价值密度性是指在海量的数据源中,真正有价值的数据少之又少,许多数据可能是错误的,是不完整的,是无法利用的。总体而言, 大数据学习扣群522189307,有价值的数据占据数据总量的密度极低,提炼数据好比浪里淘沙。
5. 真实性(Veracity)
大数据的真实性是指数据的准确度和可信赖度,代表数据的质量。
数据一直都在,变革的是方式
大数据的意义不仅仅在于生产和掌握庞大的数据信息,更重要的是对有价值的数据进行专业化处理。
人类从来不缺数据,缺的是对数据进行深度价值挖掘与利用。可以说,从人类社会有了文字以来,数据就开始存在了,现在亦是如此。这其中唯一改变的是数据从产生,到记录,再到使用这整个流程的形式。
1. 数据生产
在人类社会的早期,民以食为天,数据的产生大多与商品,食物,土地等挂钩。旧石器时代的部落人民在树枝或骨头上刻下凹痕来记录日常的交易活动或物品供应。
为了衡量商品长度,中国人发明了尺、里、寸、丈、步、仞等长度单位;为了衡量重量,发明了升、斗,斛等重量单位。
在互联网时代,数据的生产变得更为容易。美国互联网数据中心曾指出,互联网上的数据每年都将增长50%,每两年便将翻一倍,而目前世界上90%以上的数据是最近几年才产生的。
每人每天都会产生海量数据,如视频数据,电商数据,社交数据等等。
全球每60秒产生的数据
2. 数据记录
千年之前,人们用龟甲石鼓、简牍绢帛到造纸术成熟后的刻本等一切触手可及的器物来作为数据的载体。
千年之后,人们用图书,报纸,硬盘,光盘,存储器等各种更为灵活,简便的方式记录数据。
3. 数据利用
古人利用利用甲骨文占卜判断凶吉,利用占星术预测朝代兴衰;利用蚂蚁搬家,燕子低飞,蚯蚓出洞来预测天气。
互联网时代,企业或产品利用电商数据为用户推荐商品,利用社交数据做广告营销等等。
在大数据概念兴起之前,大部分企业并没有注意到数据的宝贵价值,只是在纯粹的生产和记录数据。更有甚者视海量数据为累赘,因为数据的存储与管理需要耗费企业大量的成本,极少有企业能把数据作为一种资源,嗅到大数据背后的价值,从而加以利用。就算到现在,数据资源的整合利用能力依然是考验每个企业的一大难点。
大数据应用
大数据作为一个能够改变产业应用的技术,只有切实落地才能带来真正的价值。
其实大数据的应用范围非常广,不单单限于互联网行业,在其他诸如金融,制造业,交通物流方面也都有非常大的应用价值。
1. 大数据让借贷款更加放心
在金融行业中,以借贷款为例。在贷款前,贷款借出方会先利用大数据对借款人进行贷前审核,以此来保障贷后的还款率。
借出方从各个渠道合法收集借款人的标签信息,如学历,职业,薪资状况,历史借还款情况等(据说一个用户的标签维度可以达到7000个)。海量数据被放入反欺诈模型,还款能力模型,身份验证模型等数个中做训练,最终得出是否通过本次贷款申请,贷款的额度,贷款人的还款意愿等评估信息。
借款人数据收集的越多,标签维度越细,数据越真实,则审核效果越全面。
2. 大数据让广告营销更高效
广告作为互联网行业最常见的变现手段之一,大数据赋能广告营销,让广告从惹人恼转变为广告即内容,广告即服务。
曾几何时,你会发现日常生活中看到的广告居然那么懂你。点开淘宝,你最爱的商品被推荐在Banner首页;打开微信朋友圈,映入眼帘的是你正想要做的汽车保养;打开百度搜索,你前两天看的别墅信息赫然出现。
这一切的实现都得益于大数据赋能广告。
在广告投放前期,通过大数据手段大量的整合、分析数据,包括用户的浏览习惯、消费行为、浏览记录、对广告的点击数量等,并从中挖掘出有效的信息;构建全面的用户画像,结合广告业务,精准定位目标用户,保证广告定向投放。
大数据构建用户画像
在广告投放的中后期,通过实时数据反馈,结合用户所处地域,时间的变化,动态优化广告素材,调整广告的呈现方式与广告的展览位置,让同一个用户在不同的场景下享受不一样的广告服务,实现一人千面,增加广告营销效果,提升广告主KPI。
3. 大数据赋能零售
新零售时代,客户的需求无时无刻不在变化,大数据赋能零售,让零售在人,货,场上进行变革。
零售商可以借助大数据对未来市场需求进行预测,抢先一步对库存进行管理。在流量高发的前期,及时补足库存,提升商品供应率;在流量散去的前期,及时去库存,避免库存积压。
借助大数据分析用户地域分布情况,商店流量,消费者习惯等那个,在合适的地区开设商店,建造仓库。在物流发货时,从数据出发,合理规划运输路劲,降低运输成本。
利用数据还可以统一上下游供应链交互,解决数据不对成问题,减小牛鞭效应,提升供应链中每个环节的利用效率。
总结
数据一直都在,大数据变革的只是方式。大数据并不神秘,神秘的是对未知数据的探索与利用。
什么是大数据?大数据能做什么?相关推荐
- 数据蒋堂 | 大清单报表应当怎么做?
作者:蒋步星 来源:数据蒋堂 本文共1200字,建议阅读9分钟.在数据查询时,有时会碰到数据量很大的清单报表. 在数据查询时,有时会碰到数据量很大的清单报表.用户输入的查询条件很宽泛,可能会从数据库中 ...
- 数据可视化demo_火出圈的大屏你真的会做吗?这才是老板最爱的可视化大屏
人们一提到数据可视化这个词,很多人大脑会直接闪过两个字,那就是"火"出圈的大屏. 数据大屏,对内是企业运维透明化的看板.业务决策的驾驶舱,对外是展现运营形象的窗口.它 可是,你真的 ...
- 从腾讯入职到离职,我仅用了三周:做大数据的同事看不起做报表的
这是很多年前的事情了,从腾讯入职到离职,我用了三周,理由很简单,做大数据的同事看不起做报表的,当然,我是做报表的那个. 做大数据的,就一定能做好报表吗? 报表是企业IT数据建设必不可少的一环,小到一张 ...
- 分析如烹饪:让我们一起做数据大厨吧!
来源:一个数据人的自留地 作者:鲸歌 还记得,指引我数据分析入门的那本书,它将数据分析的步骤类比为烹饪的每一步,形象而生动,让我印象深刻.选择数据分析,是基于自己所在的行业以及自己与职业发展的契合 ...
- 【工业大数据】工业大数据应用场景分析;工业大数据,从何做起
工业大数据也是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据.随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码.二维码.RFID.工业传 ...
- 转行成为大数据工程师要怎么做?
转行成为大数据工程师要怎么做? [导语]近几年,大数据行业的发展非常迅速,大数据方向也成了许多人转行得目标,因为前景好,薪资高,不少人已经考虑转行成为大数据工程师,那么转行成为大数据工程师要怎么做?下 ...
- 大数据开发工程师是做什么的?
大数据开发工程师要负责数据仓库建设.ETL开发.数据分析.数据指标统计.大数据实时计算平台及业务开发.平台建设及维护等工作内容.熟练掌握数据仓库.hadoop生态体系.计算及二次开发.大数据平台工具的 ...
- 爱国者冯军:BAT做大是因为大数据做得好
原文链接 爱国者冯军:BAT做大是因为大数据做得好 王二辉 2017-05-02 23:41:00 浏览44 评论0 发表于: 大数据文摘 大数据 阿里巴巴 摘要: 2014中国绿公司年会&q ...
- 大数据风控是在做什么?
不定期更新信贷大数据风控的相关内容(命名为#大数据风控手册#),一是对工作的沉淀和总结,二是为对大数据风控感兴趣的大家提供参考.今天来看看做大数据风控,到底做什么. 欢迎添加微信"huaip ...
- 大数据学习完可以做什么
如果要推荐一种人人都能掌握的编程语言,应该没有比Python更合适的了.如果想学习大数据,可以选择从python语言入手~ Python 简单易学,用途广泛,不仅可以在日常办公中提高大家的职场效率,还 ...
最新文章
- es6箭头函数(=)与展开特性运算符(...)的使用
- python库引用的3种方式比较
- 正则表达式(2.实例)
- Java并发—基础操作
- python中下拉菜单大小_自动化测试——Selenium+Python之下拉菜单的定位
- spring中context:property-placeholder/元素
- 洛谷 P1451【细胞】
- html只能输入两位小数,JQuery控制input只能输入数字和两位小数(有关金额)代码...
- C++和MFC的常用总结
- Exchange2010重装注意事项
- 人生感悟-人生需学会放下
- 汽车CAN总线入门,通俗易懂
- esp32运行linux,ubuntu系统搭建ESP32 开发环境
- RK3399平台开发系列讲解(USB网卡)5.47、USBNET驱动模型
- 骡马盒子搭建详细教程
- 285. 没有上司的舞会
- 【AI视野·今日CV 计算机视觉论文速览 第236期】Tue, 28 Sep 2021
- linux命令的含义,Linux常见命令及含义
- 牛视系统源码,抖音矩阵系统功能开发定制。I‘m here
- TOA与TDOA算法实现【MATLAB】