对于普通人来说,大数据离我们的生活很远,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……这些都与大数据有着千丝万缕的关系。

牛津大学教授维克托·迈尔-舍恩伯格在其新书《大数据时代》中说,这是一场“革命”,将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发“数据暴政”的担忧。

如今,信息每天都在以爆炸式的速度增长,其复杂性也越来越高,当人类的认知能力受到传统可视化形式的限制时,隐藏在大数据背后的价值就难以发挥出来。理解大数据并借助其做出决策,才能发挥它的巨大价值和无限潜力。

一、大数据有哪些类型?

交易数据

大数据平台能够获取时间跨度更大、更海量的结构化交易数据,这样就可以对更广泛的交易数据类型进行分析,不仅仅包括POS或电子商务购物数据,还包括行为交易数据,例如Web服务器记录的互联网点击流数据日志。

人为数据

非结构数据广泛存在于电子邮件、文档、图片、音频、视频,以及通过博客、维基,尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

移动数据

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件,从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)。

机器和传感器数据

这包括功能设备创建或生成的数据,例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信,还可以自动向中央服务器传输数据,这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网(IoT)所产生的主要例子。来自物联网的数据可以用于构建分析模型,连续监测预测性行为(如当传感器值表示有问题时进行识别),提供规定的指令(如警示技术人员在真正出问题之前检查设备)。

二、使用大数据需要用到哪些技术?

可视化分析

大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观地呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。

数据挖掘算法

大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学地呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速地处理大数据,如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。

预测性分析能力

大数据分析最重要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学地建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。

语义引擎

大数据分析广泛应用于网络数据挖掘,可从用户的搜索关键词、标签关键词或其他输入语义,分析、判断用户需求,从而实现更好的用户体验和广告匹配。

数据质量和数据管理

大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。大数据分析的基础就是以上几个方面,当然更加深入大数据分析的话,还有很多更加有特点的、更加深入的、更加专业的大数据分析方法。

本文作者:佚名

来源:51CTO

如何让隐藏在大数据背后的价值发挥出来?相关推荐

  1. 大数据背后的神秘定理:贝叶斯公式

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 引子 昨天下午趁着出去调研在湖滨银泰的星巴克做网易机器学习实习生岗 ...

  2. 大数据背后的神秘公式:贝叶斯公式

    大数据.人工智能.海难搜救.生物医学.邮件过滤,这些看起来彼此不相关的领域之间有什么联系?答案是,它们都会用到同一个数学公式--贝叶斯公式.它虽然看起来很简单.很不起眼,但却有着深刻的内涵.那么贝叶斯 ...

  3. 大数据背后的神秘公式(下):“贝叶斯革命”

    在上一篇文章<大数据背后的神秘公式(上):贝叶斯公式>中我们讲到贝叶斯公式在联邦党人文集作者公案和天蝎号核潜艇搜救中大显身手后,开始引起学术界的注意和重视,而其上世纪八十年代在自然语言处理 ...

  4. 窥尽大数据背后被遮掩起来的财富

    当我们在谈大数据的时候,我们在谈论什么?大数据产业火爆的背后,有着深厚的利益驱动性,于是各大商家与企业纷纷趋之若鹜,想要窥尽大数据背后被遮掩起来的财富.毫无疑问,变现,是大数据火爆的背后原因. 大数据 ...

  5. 如何让大数据从发现价值到创造价值

    如何让大数据从发现价值到创造价值 从发现价值到创造价值, 大数据将成为"互联网+" 产业升级的驱动力. 过去,数据的价值主要应用在决策领域,典型应用是商业智能(BI, Busine ...

  6. 如何才能在大数据中获取价值

    从数据中获取价值都是一个挑战,不管你所在的行业和企业规模如何.然而,在早期阶段,这一挑战与可用数据量没多大关系.如果对数据处理过程和数据值提取的结构设计不合理,那么至少按照现在的标准,企业有数据和没数 ...

  7. 什么是大数据的核心价值?

    以下是一些长篇的讨论.这里我把大数据的核心价值理解为核心商业价值. "非常多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了. "--马 ...

  8. 数造未来——探索大数据的应用价值

    文章讲的是数造未来--探索大数据的应用价值,当全世界都还在热议大数据甚至有些质疑大数据的时候,早有一批大数据的先驱已经开始通过实际行动去证明,大数据的应用价值.甚至我们开始畅想,大数据会营造出一个怎样 ...

  9. 互联网时代大数据的核心价值

    都说现在是大数据时代,那么大数据是什么?大数据有什么用?大数据最核心的价值是什么呢?其实大数据的核心价值很简单,就是了解用户行为(更简单说就是了解用户行为习惯).今天我们就细说大数据的核心价值. 一. ...

最新文章

  1. easyexcel导入时读不到数据_EasyExcel简单使用--导入excel数据
  2. ASP.NET那点不为人知的事(四)
  3. android stadio 快捷键最好的材料 android stadio大全 最牛逼的android stadio快捷键
  4. constraint的一些用法总结
  5. selenium启动Firefox示例
  6. lisp 任意点 曲线距离_数学篇|看完这篇,秒杀所有圆锥曲线小技巧
  7. go语言定义二维数组
  8. 电影推荐_亲和性分析_规则提取(数据挖掘入门与实践-实验6)
  9. [LeetCode][JavaScript]Roman to Integer
  10. C++ STL容器之map 简单使用
  11. python水印_Python如何为图片添加水印
  12. 九.jmeter性能测试基础实践(1)
  13. C/C++中printf和C++中cout的输出格式
  14. php元素排序算法,php 4大基础排序算法
  15. 【2019年天梯赛L2-029】特立独行的幸福(模拟)
  16. 分析EOF究竟是什么
  17. 使用cartopy画飞机的航线
  18. ESP8266学习笔记(3)——GPIO接口使用
  19. 杠杆股票平仓后该如何处理?
  20. C语言编程编制职工档案管理程序,c语言人事档案管理程序

热门文章

  1. 特斯拉自动驾驶要命?大白天忽然开启”自杀模式“
  2. 深度学习资源一网打尽!论文、数据集、框架、课程、图书等应有尽有
  3. 谷歌大脑2017总结(Jeff Dean执笔,干货满满,值得收藏)
  4. springmvc项目,浏览器报404错误的问题
  5. JQuery使用deferreds串行多个ajax请求
  6. 在Windows 7 专业版 SP1安装多语言包的办法 摘录
  7. ANT安装与测试和简明教程
  8. 整古专家之恶意批处理命令
  9. mysql配置文件my.cnf的事例并附解释
  10. 有关正则的知识点梳理