大数据技术原理-----期末复习-基础知识

一、大数据技术
1、试述数据产生方式经历的几个阶段。
运营式系统阶段：在这个阶段，数据的产生方式是被动的，只有当实际企业业务发生时，才会产生新的记录并存入数据库。
用户原创内容阶段：互联网真正的数据爆发。强调自服务，大量上网用户本身就是内容的生成者，数据量开始急剧增加。
感知式系统阶段：原因：物联网的发展，物联网的一些传感设备，每时每刻在产生大量数据，物联网中的自动数据产生方式，在短时间内生成更密集、更大量的数据，使人类社会迅速步入“大数据时代”。
2、试述大数据的4个基本特征。
数据量大：数据以自然方式增长，其产生不以人的意志为转移。各种数据产生速度快，产生数量大，远远超出人类可控的范围。
数据类型繁多：大数据数据类型丰富,包括结构化数据和非结构化数据。
处理速度快：大数据时代的数据产生速度非常迅速。
价值密度低：价值密度远远低于传统关系数据库中已有的那些数据。很多有价值信息都分散在海量数据中。
3、试述大数据对思维方式的重要影响。
思维方式的3种转变:全样而非抽样、效率而非精确、相关而非因果
1)全样而非抽样：过去，由于数据存储和处理能力的限制，在科学分析中，通常采用抽样的方法，通过对样本数据的分析来推断全集数据的总体特征。现在有大数据技术的支持，科学分析可以直接针对全集数据，并且可以在短时间内迅速得到分析结果，速度之快。
2)效率而非精确：过去，采用抽样分析方法，误差会被放大，为了保证误差被放大到全集数据时仍然处于可以接受的范围，需确保抽样分析结果的精确性。其次才提高算法效率。现在，大数据时代采用全样分析而不是抽样分析，不存在误差被放大的问题。数据分析的效率成为关注的核心。
3)相关而非因果：过去，数据分析的目的，解释事物背后的发展机理和用于预测未来可能发生的事件，都反映了一种“因果关系”。在大数据时代人们转而追求“相关性”而非“因果性”。
4、举例说明大数据的具体应用
制造业:利用工业大数据提升制造业水平，如产品故降诊断与预测、分析工艺流程、改进生产工艺、优化生产过程能耗、工业供应链分析与优化等
金融：大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重要作用
汽车：利用大数据和物联网技术实现无人驾驶汽车
互联网：借助大数据技术，分析客户行为，进行商品推荐和有针对性广告投放
餐饮：利用大数据实现餐饮o2o模式，彻底改变传统餐饮经营方式
电信：利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施
能源：利用大数据技术分析用户用电模式，改进电网运行，合理设计电力需求响应系统，确保电网运行安全
物流：利用大数据优化物流网络，提高物流效率，降低物流成本
城市管理：利用大数据实现智能交通、环保监测、城市规划和智能安防
生物医学：通过大数据实现流行病预测、智慧医疗、健康管理，解读DNA等
体育与娱乐：通过大数据训练球队，预测比赛结果，分析投拍哪种题材影视作品
安全领域：政府利用大数据技术构建强大的国家安全保障体系，企业利用大数据抵御网络攻击，警察借助大数据来预防犯罪
个人生活：通过大数据分析个人生活行为习惯，提供更加周到的个性化服务
举例说明大数据的关键性技术
数据采集与预处理：利用ETL工具将分布在异构数据源中的数据，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；利用日志采集工具把实时采集的数据作为流计算系统的输人，进行实时处理分析
数据存储和管理：利用分布式文件系统、数据仓库、关系数据库、NoSQL 数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理
数据处理与分析：利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据
数据安全和隐私保护：在从大数据中挖掘潜在的巨大商业价值和学术价值的同时,构建数据安全体系和隐私数据保护体系，有效保护数据安全和个人隐私

大数据技术原理-----期末复习-基础知识相关推荐

大数据技术原理——期末复习storm
1.Storm设计思想(Streams.Spouts.Bolts.Topology.Stream Groupings) Streams:Storm将流数据Stream描述成一个无限的Tuple序列,这 ...
大数据技术原理与应用第三版林子雨期末复习（二） Hadoop HDFS HBase
大数据技术原理与应用第三版林子雨期末复习(二) Hadoop HDFS HBase Hadoop生态系统 HDFS HDFS结构块 Name Node与Second Name Node与Dat ...
大数据技术原理与应用第一篇大数据基础
目录第一章大数据概述一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...
大数据技术之_23_Python核心基础学习_01_计算机基础知识 + Python 入门（9.5小时）
大数据技术之_23_Python核心基础学习_01 第一章计算机基础知识 1.1 课程介绍 1.2 计算机是什么 1.3 计算机的组成 1.4 计算机的使用方式 1.5 windows 的命令行 1 ...
【大数据处理技术】期末复习整理
所用教材:<大数据技术原理与应用--概念.存储.处理.分析与应用(第2版)>,由厦门大学计算机科学系林子雨编著. 教材官网:http://dblab.xmu.edu.cn/post/big ...
大数据技术原理与应用课程建设经验分享
大数据技术原理与应用课程建设经验分享林子雨厦门大学信息科学与技术学院, 福建厦门 361005 摘要:大数据专业人才的培养是世界各国新一轮科技较量的基础,高等院校承担着大数据人才培养的重任 ...
大数据入门第一课 Hadoop基础知识与电商网站日志数据分析
大数据入门第一课 Hadoop基础知识与电商网站日志数据分析本课程从Hadoop核心技术入手,以电商项目为依托,带领你从0基础开始上手,逐步掌握大数据核心技术(如:HDFS.YARN.MapRedu ...
[渝粤教育] 厦门大学大数据技术原理与应用参考资料
教育 -大数据技术原理与应用-章节资料考试资料-厦门大学[] 第1章大数据概述单元测验 1.[单选题]第三次信息化浪潮的标志是: A.个人电脑的普及 B.互联网的普及 C.云计算.大数据.物联网技 ...
大数据技术原理与应用课后题（林子雨）
大数据技术原理与应用(林子雨) 第1章大数据概述 1单选(2分) 第三次信息化浪潮的标志是: A.个人电脑的普及 B.云计算.大数据.物联网技术的普及 C.虚拟现实技术的普及 D.互联网的普及正确 ...

大数据技术原理-----期末复习-基础知识

大数据技术原理-----期末复习-基础知识相关推荐

最新文章

热门文章