大数据的接触,带你初步认识什么是大数据,云计算以及物联网
1.什么是大数据时代?大数据时代的到来又意味着什么?
概念:最早提出大数据时代到来的是麦肯基公司,麦肯基又称为数据.简单来说:大量数据+云计算=大数据
2.特征
- 数据量庞大:第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
- 种类繁多:包括网络杂志,音频,视频,图片,地理位置信息等
- 价值密度低:随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值"提纯",是大数据时代亟待解决的难题。
- 速度快,失效高:处理速度快时间效率高
3.大数据和生活
个人理解:你可能难以理解大数据这个抽象的词语,但是你有没有发现,你的淘宝账号和你家人设置了亲密账号,当你家人浏览过一些商品比如说一件耐克鞋,然后程序就会根据你最近浏览的数据进行一个筛选,将你浏览次数最多的数据就会推送到你的商品主页,过一阵子你就会发现,你的淘宝首页都是家人看的耐克鞋,同时他本人的账号也是推送很多关于鞋的信息.
再举例:比方说,最近美国大选总统,根据投票趋势就可以分析出谁的得票会更高;虽然大数据会给人们带来很多方便,但是也存在了安全隐患.
4.大数据的作用
简而言之:
- 根据个人喜好,匹配最适合你需要的.
- 根据趋势,进行预测.
5.大数据关键技术
1.大数据采集技术
通过社交网络交换数据,传感数据,移动互联网数据等方式获得各种来类型的数据结构化,半结构化以及非结构化的海量数据,是大数据知识服务模型的根本.
大数据的采集一般分为:
- 大数据智能感知层
- 基础支撑层
2.大数据预处理技术
主要完成对已接收数据的辨析、抽取、清洗等操作。
顾名思义
辨析:分析辨认
抽取:抽取需要的数据
清洗:消除无用数据
3.大数据存储和管理技术
大数据存储与管理要用存储器把采集到的数据存储起来,建立相应的数据库,并进行管理和调用.
一般我们把数据库分为关系型和非关系型
关系型数据库包括:Oracle,mysql
非关系型数据库包括:Redis,noSQL -> 这类数据一般是按照(key,value)形式存储
开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。
4.大数据分析以及挖掘技术
改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
5.大数据展现和应用技术
大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。
在我国,大数据将重点应用于以下三大领域:商业智能、政府决策、公共服务。例如:商业智能技术,政府决策技术,电信数据信息处理与挖掘技术,电网数据信息处理与挖掘技术,气象信息分析技术,环境监测技术,警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统),大规模基因序列分析比对技术,Web信息挖掘技术,多媒体数据并行化处理技术,影视制作渲染技术,其他各种行业的云计算和海量数据处理应用技术等。
6.云计算
何为云?
我的理解就是,他类似于一个盒子,这个盒子中装有很多粉笔(资源或者数据),当我们用的时候就从这个盒子中获取即可,用完放回去.这个盒子就相当于云,是汇总了资源的载体.
何为云计算?
水龙头观点论:
当需要的时候,扭开水龙头,水就来了,我只需要操心交水费就是了!
当你需要用一个软件时,你不用跑去电脑城,打开应用商店,它就下载下来了,你只需要交钱就是了;
当你想看报纸的时候,你不用跑去报刊亭,只要打开头条新闻,新闻唾手可得;
当你想看书的时候,你不用跑去书城,只需要打开阅读软件,找到这样的一本书,在手机上阅读;
当你想听音乐的时候,你不用再跑去音像店苦苦找寻CD光碟,打开音乐软件,就能聆听音乐;
荤段子观点论:
网上很流行的一种比喻:男人找个女友或老婆是自建私有云,单身约炮或者到娱乐场所消费是公有云服务,按需使用并可弹性扩容,已婚男人找二奶小蜜则属于混合云。
这种解释方式对男人比较适用,通常稍微一解释就心领神会!
一日三餐吃货论:
饿了要吃饭,在家里自己做饭属于自建私有云,需要建造厨房购买锅碗瓢盆柴米油盐等,吃完饭还需要自己刷锅洗碗等运维工作,费时费力;
外面餐馆提供的就相当于公有云服务,按需胡吃海塞吃完结账抹嘴走人,餐馆后厨如何安排做菜顺序并加快出菜速度就是负载均衡和虚拟化概念;
请厨师到家里上门做饭则属于典型的混合云,在资产安全的情况下有限使用公有云。
7.云计算的特点
大规模,分布式:云需要相当大的规模,比如阿里云,Google云,华为云等上百万的服务器才可以.
虚拟化
云计算都会采用虚拟化技术,用户并不需要关注具体的硬件实体,只需要选择一家云服务提供商,注册一个账号,登陆到它们的云控制台,去购买和配置你需要的服务(比如 云服务器,云存储,CDN等等),再为你的应用做一些简单的配置之后,你就可以让你的应用对外服务了,这比传统的在企业的数据中心去部署一套应用要简单方便得多。
高可用性和扩展性
那些知名的云计算供应商一般都会采用数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。
用户可以根据自己的需求,来进行选购云服务的规模.资源得到很好的利用.
安全
云服务可以借助更专业的安全团队来有效降低安全风险。
8.物联网
物联网我们其实可以理解为将所有的物品智能化.智能机器.比如说车载智能语音,天猫精灵……
它具有将普通对象设备化、自治终端互联化和普适服务智能化3个重要特征。
主要应用领域:
智能家居:WiFi,蓝牙,天猫精灵(本人就拥有一个)
智慧交通:自动泊车,自适应巡航,自动导航
智能安防,只能电力,智能物流(阿里仓库中的智能运送机器人)
互联网和物联网
物联网是依附于互联网的,也就是说没有互联网,物联网就是无稽之谈,物联网是建设在互联网之上的,离开了互联网,物联网概念就是无本之木,无源之水.
9.物联网的发展前景
俗话说"人类在进步,社会在发展",物联网是人类科技文明发展的重要趋势,把所有的物品智能化,赋予"生命".连接到网络,从而可以省去人力,只需要对其发出指令即可.
物联网的流程大概分为四个步骤:
- 连接:将电器或者物品连接到网络
- 传感:所有的设备采集信息,反馈给云服务器,
- 分析:云服务器采用数据分析技术(也就是AI技术了),然后向物品发出指令
- 控制:最后是根据这些控制信息,对电器进行具体的控制
大数据的接触,带你初步认识什么是大数据,云计算以及物联网相关推荐
- 大数据入门基础系列之初步认识大数据生态系统圈(博主推荐)
不多说,直接上干货! 之前在微信公众平台里写过 大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大 ...
- 1.1初步了解和认识大数据
初步了解认识大数据 任务目的 了解大数据的概念及其特征 熟悉大数据的典型应用场景 了解大数据部门的业务流程 任务清单 任务1:大数据概念 任务2:大数据特点 任务3:大数据应用场景 任务4:大数据发展 ...
- BATJ大数据架构师带你领略实时计算框架Flink的魅力!
你是不是经常体验或看到以下这些场景? "小张,你看能不能做个监控大屏实时查看促销活动销售额(GMV)?" "小王,我们现在搞促销活动能不能实时统计销量 Top3 啊?&q ...
- 所见不凡,带你探秘独角兽背后的大数据力量 | MaxCompute杭州Meetup报名中
阿里云MaxCompute X 众安保险 X 亲宝宝 X 中金易云 X 蚂蚁金服 邀您共赴杭州大数据计算线下Meetup 现在报名>> 双11的热度还未退却,大数据力量强势来袭. 是什么拖 ...
- 带你走进微博背后的大数据原理:微博推荐算法
在介绍微博推荐算法之前,我们先聊一聊推荐系统和推荐算法.有这样一些问题:推荐系统适用哪些场景?用来解决什么问题.具有怎样的价值?效果如何衡量? 推荐系统诞生很早,但真正被大家所重视,缘起于以" ...
- 数据可视化软件系统大屏模板展示带后台项目BI系统
可视化展示平台采用简单的软件操作界面,内容简洁易懂,无需技术基础,使得小白或者普通人便可以直接使用系统的内置的模板创建自己的可视化数据展示看板.看板后期可以直接在线进行查看或者通过电脑投屏将可看板直接 ...
- 带上皮皮虾一起探讨大数据啦
大数据概述 传统数据处理介绍 数据来源: 数据特征 数据处理方式 遇到的问题: 什么是大数据?``Big Data`` 数据的存储单位 传统数据与大数据的对比 大数据的特点 传统数据与大数据处理服务器 ...
- 云计算与大数据第11章 大数据隐私保护习题带答案
第11章 大数据隐私保护习题 11.1 选择题 1.以下( D )通常不是导致数据隐私泄露问题的来源. A. 数据被肆意收集 B. 数据集成融合 C. 大数据分析 D. DDOS攻击 ...
- 一文带你全面了解,自动驾驶数据闭环之——大数据管理
推荐 |焉知智能汽车 作者 | 高工(汽车主机厂ADAS研发人员) 来源 | 无人驾驶俱乐部 知圈 | 进"计算平台群"请加微yanzhi-6,备注计算 数据闭环涉及较多领域,后 ...
最新文章
- 【译】Spring官方教程:使用STS的入门指南
- 【数字信号处理】线性时不变系统 LTI ( 判断某个系统是否是 “ 非时变 “ 系统 | 案例二 )
- 关于typedef的使用
- xgboost安装_机器学习笔记(七)Boost算法(GDBT,AdaBoost,XGBoost)原理及实践
- 重载map排序(降序)及结构体新的赋值方式
- linux -IOMMU
- Python学习总结(九)正则表达式
- 如何正确使用RS485半双工芯片
- 酒店客房管理系统(ssm,jsp,mysql,html,css,javascript)
- 微信小程序富文本解析点击图片放大_小程序富文本提取图片可放大缩小
- Image Signal Processor
- elementUi上传视频组件
- Netstat -tln 命令是Linux查看端口使用情况
- 小虎电商浏览器:店透视应该如何查黑号?
- CSS的前景色和背景色,高度和宽度,字体属性,文本阴影,抖音字体
- Java生成临时文件
- 将压缩包变成图片的小技巧
- 孙子兵法 三十六计(猫鼠版)
- App测试中有哪些常见的性能测试指标?出具App测试报告的软件测试机构推荐
- SLAM论文粗译:3D Mapping with an RGB-D Camera