大数据之路之为什么要用大数据
数据自古就存在
古代从结绳记事到仓颉造字到甲骨八卦再到蔡伦制纸
近代从1800年第一块伏特电池到1946年人类发明第一台电脑
现代从世纪初开发出Hadoop生态到十三五计划把大数据上升到国家级战略
数据作为一种资源自古就存在着，尤其到了近现代，数据通过电子化，数字化无线增值，人类存储的数据量以指数级在增长，数据传输速度也从天级到秒级甚至毫秒级
4G让短视频，直播走上风口浪尖，而5G元年的到来，数据应该直接是爆炸，可能一个普通APP的日志都能达到一个MySql的存储极限(1亿行 or 1TB)
现在的背景就是我们正式进入了大数据时代
讲为什么要用大数据必须要理清当前业务的痛点，抓住痛点，才能开发解决达到爽点
通俗一点的说，大数据当前痛点有三个:
装不下，存不了，算不动
装不下：前面介绍背景时已经说过，数据爆炸带来的数据极大增长已经不是扩建机房，扩建服务器所能解决的，即使能解决也入不敷出，代价极大
存不了：数据除了过大无法装下之外，还有一个痛点就是存不了，比如信息孤岛，各地业务差异造成的数据库不一致或者网络无法共通，同一家公司，有的分店用sqlserver，有的用oracle，甚至有的在国内，有的在国外，数据无法统一汇总查看
算不动：这个比较好理解，拿MySql数据库来说，数据量达到百万级别的可能就需要分钟来实现回馈，这对于需要实时业务分析的是个很大的痛点，此外几个TB的数据在各个数据库里即使能存得下，也难以算得动，跑得动，曾经实习那会，在oracle里跑个sql，跑了周末两天都没有出来。
所以综上所述，如果数据量巨大无法存储，信息孤岛无法解决或者解决代价过大，还有在完全优化查询的情况下还无法快速得到，那么就需要考虑大数据了
大数据有5V特性
Volume（大量）
Velocity（高速）
Variety（多样）
Value（价值）
Veracity（真实性）
即大数据技术对企业而言，它的战略意义不仅在于掌握庞大的数据量，更在于对数据的加工能力，对数据有专业处理专业加工的能力，使其能快速有效的转化为有用有价值的信息
大数据的模式目前分为三种
公有云：即数据放在公有云网络上，各个地方都可以通过外网来访问，也不用另外搭建服务器平台，部署代价，机房代价很少，对于一些公开数据很适合，但是公有云由于其防火墙本身的特性不适合保密性要求很大的数据，如税务，交通等涉嫌公众隐私数据
私有云：需要自行部署搭建服务器平台，无法连接外网，很多软件和服务需要离线安装，部署安装代价大，但适合保密性数据，一些政府企业大多采用此模式
混合云：即公有云+私有云，结合两者的特点，因为即使是保密业务，也存在部分可公开数据，这样一来减少了私有云部署成本，也能更方便的与大众交互，目前很多厂商都处于研发测试阶段
市面上的云服务厂商有开源的Hadoop，还有一些企业云如阿里云，腾讯云，华为云，同盾云等，各个企业可根据自身业务选择，当然也可以自己搭建云服务，比如网易的网易云
大数据之路之为什么要用大数据相关推荐
- 大数据之路读书笔记-09阿里巴巴数据整合及管理体系
大数据之路读书笔记-09阿里巴巴数据整合及管理体系 面对爆炸式增长的数据,如何建设高效的数据模型和体系,对这些数据进行有序和有结构地分类组织和存储,避免重复建设和数据不一致性,保证数据的规范性, 直是 ...
- 什么是大数据，企业如何正确使用大数据
如今大数据已经成为了大家口中的热门话题,很多企业能够对其进行合理的挖掘使用,产生良好的商业价值.但是有一些企业依然不知道或者不能够正确的使用它.那么,我们要怎么合理并且以一种合适的方式加以开发.使用大 ...
- 大数据标签获取处理步骤_用大数据给用户“打标签”，精准营销就是这么简单！...
原标题:用大数据给用户"打标签",精准营销就是这么简单! 在互联网逐渐步入大数据时代后,不可避免的为企业及消费者行为带来一系列改变与重塑.其中最大的变化莫过于,消费者的一切行为在企 ...
- 【数据博彩】如何使用大数据机器学习预测NBA比赛结果？
引言 伴随着大数据时代的来临,机器学习.深度学习.人工智能等越来越多的出现在我们的视野中,数据技术正在颠覆着包括体育和博彩在内的各行各业,本文着手于使用大数据机器学习预测NBA比赛结果,希望给相关行业 ...
- 胖子哥的大数据之路（14）：数据价值链模型
一.模型示意图 二.模型解读 Knowledge is also defined using taxonomy, with levels describing data, information, k ...
- 给力！数据攻城狮教你用大数据找女朋友
小柯25岁,单身男,热衷大数据,并决定认真钻研,用数据分析来实现自己的"脱单计划". 找女友第一步:整理思路 找女友第二步:界定问题 1 Why--为什么要找女朋友? 小柯用马洛斯 ...
- 【大数据24小时】毕节用大数据种猕猴桃；全国统一电子社保卡签发
[数据猿导读]贵州毕节用大数据种猕猴桃:阿里联合浙大推出可计算情感的人工智能:人社部签发首张全国统一的电子社保卡 编辑 | sharon 官网 | www.datayuan.cn 微信公众号ID | ...
- 中小企业如何巧用大数据?
移动互联网时代,大数据显得越来越重要,大数据作为信息技术未来发展方向和各行各业在未来企业发展的战略高地.大数据如此的重要,然而并不是所有的企业都如同百度.腾讯.阿里巴巴等大企业那样有着雄厚的实力,很多 ...
- 如何用大数据看风水？以星巴克和海底捞的选址为例
有人问小度,你们整天说大数据大数据的,它到底有啥用啊?今天就给大家用三分钟讲讲看看如何用大数据来看"风水"! 说起看风水开店选址,大家脑海里浮现出来的十有八九是风水先生们拿着罗盘走 ...
最新文章
- MiniGUI - UNIX Domain Socket 封装
- 独立成分分析ICA、因子分析、LDA降维、NMF非负矩阵分解
- python环境变量配置_Anaconda从下载到环境变量配置(windows)
- wsl ubuntu拒绝访问_一起聊聊WSL的那些事儿（下）
- 改进初学者的PID-介绍
- js函数、作用域和闭包
- （31）SystemVerilog语言编写D触发器
- python如何请求curl_Python爬虫偷懒神器 —— 一键构造请求头!
- java 实现敏感词汇的过滤
- 广义表的概念及其存储结构
- Android Studio 部分查找快捷键
- mysql 1033_mysql1033错误 InnoDB临时表空间报错
- 什么是JAVA？JAVA能用来干什么？
- 某私募基金投资公司面经+字节基础架构面经——11.18日
- 去除图片链接边框及其链接虚线
- 如何实现视频加密全平台播放
- java中提示确认_javascript对话框使用方法(警告框 javascript确认框 提示框)
- 集合的基本操作和基本运算
- 2022 届大四学长实习心得、职场经验分享、转型思考
- typora中输入数学公式