大数据讲座一：大数据中的数据流向

文章简述了数据的产生、处理以及价值，作为前嗅大数据培训讲座，此次相关知识点对于大数据爱好者来说是一次不容错过的饕餮盛宴！

在信息技术迅猛发展的当下,大数据的应用已渗透进人们生活中各个领域，每个人直接或间接的都在接触着大数据，可见大数据技术领域的重要性。

大数据领域对于身处于IT行业的工作者来说，既好奇又神秘，在虚心学习的同时，小编将前嗅内部员工培训的知识点详细的记录了下来，今天与大家分享一下此次前嗅培训的知识点~~~

（1）数据产生

①web服务协议。web（World Wide Web）即全球广域网，也称为万维网，它是一种基于超文本和HTTP的、全球性的、动态交互的、跨平台的分布式图形信息系统。

是建立在Internet上的一种网络服务，为浏览者在Internet上查找和浏览信息提供了图形化的、易于访问的直观界面，其中的文档及超级链接将Internet上的信息节点组织成一个互为关联的网状结构。

其中此协议包括HTTP-GET、HTTP-POST、SOAP。

每个协议都由一系列 HTTP 请求头组成，这些请求头与一些其他信息一起定义客户端向服务器请求的内容，而在成功时，服务器将用一系列 HTTP 响应头和所请求的数据响应。

②传感器数据。例如摄像头数据，像超市，政府，企业的话都会安放摄像头，像这些摄像头存储下来的数据就是传感器数据。

③数据源介质包括条形码，二维码，射频码。

④系统数据包括日志数据、监控数据。爬虫软件采集数据时，日志记录了采集过程的历史情况，用于管理采集的日志。

（2）数据处理

①存储。数据存储对象包括数据流在加工过程中产生的临时文件、加工过程中需要查找的信息。

②清洗。是将数据中的垃圾数据清洗掉，从而提高数据的质量。

像ForeSpider这款爬虫软件是通过一个采集模板，采集搜索引擎，挖掘全网特征信息，数据的采集-挖掘-排重-清洗-权重分析-采集入库，同步完成，清洗的作用是：去除重复数据及垃圾数据。

③挖掘。数据挖掘一般是指从大量的数据中通过算法，搜索出隐藏于其中信息的过程。通过爬虫软件采集数据时，如果根据文本中的关键词来判断该数据是否需要，这就属于数据挖掘。

④模拟/学习。模拟数据是由传感器采集得到的连续变化的值，例如温度、压力，以及目前在电话、无线电和电视广播中的声音和图像。

（3）数据的价值

①图表。将庞大的数据采集出来以图表的形式直观的展示出来，ForeSpider导出的数据文件是csv文件，可以用excel打开，也可以采集图片、文件、视频、报表等非结构化数据。

②预测包括模型和指导意义。

其中模型包括确定性模型和概率模型。确定性模型就相当于概率事件中的必然事件，概率模型相当于概率事件。

指导意义相当于数据的应用，例如自动驾驶，大数据应用领域极广，像小编在前嗅工作的这段时间里，接触到了各种采集数据的客户，有需要淘宝电商的数据，或者政府投标的相关信息，再或者新闻网站的数据等。

总之，大数据领域既神秘又吸引人，作为公司内部福利，小编也会定期跟大家分享成果滴~~~让我们一起跟随前嗅的小伙伴开启大数据领域的冒险之旅吧！

大数据讲座一：大数据中的数据流向相关推荐

取出json中的数据php,怎么从Json中取出数据放到一个新组中
如何从Json中取出数据放到一个新组中 JSON数据如下: { "CommunityModel": [ { " UUID ": "xxxxxx-xxx ...
python把数据写入excel_Python向excel中写入数据的方法
Python向excel中写入数据的方法最近做了一项工作需要把处理的数据写入到Excel表格中进行保存,所以在此就简单介绍使用Python如何把数据保存到excel表格中. 数据导入之前需要安装 x ...
使用Properties集合存储数据,遍历取出Properties集合中的数据
package com.learn.demo07.Prop;import java.io.FileOutputStream; import java.io.FileReader; import jav ...
ajax异步获取数据后动态向表格中添加数据的页面
因为某些原因,项目中突然需要做自己做个ajax异步获取数据后动态向表格中添加数据的页面,网上找了半天都没有看到现成的,决定自己写个例子 1.HTML页面 [html] view plaincopyp ...
ajax异步获取数据后动态向表格中添加数据(行)
因为某些原因,项目中突然需要做自己做个ajax异步获取数据后动态向表格中添加数据的页面,网上找了半天都没有看到现成的,决定自己写个例子 1.HTML页面 [html] view plaincopyp ...
大数据_MapperReduce_从CSV文件中读取数据到Hbase_测试---Hbase工作笔记0022
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后我们继续看,这里我们写完以后,一会咱们去测试一下. 可以看到上一节我们已经写了,从csv文件中 ...
大数据_MapperReduce_从CSV文件中读取数据到Hbase_自己动手实现Mapper和Reducer---Hbase工作笔记0021
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 然后我们先来复习一下,上一节说的,这个数据迁移,我们把 hbase中一个表的数据,迁移到另一个表中 ...
python数据入库_python爬虫（中）--数据建模与保存（入库）
前言前面,讲的是提取出来的数据保存进一个extracted_data,再保存进extracted_data_,变成一个list包含list的情况,当然你只提取一项,那就没有必要这么做了,可是我的项目 ...
gan 总结数据增强_深度学习中的数据增强（下）
言有三毕业于中国科学院,计算机视觉方向从业者,有三工作室等创始人编辑 | 言有三今天带来深度学习中的数据增强方法的下篇.我们将从以下几个方向入手.1,介绍一下什么是无监督的数据增强方法.2,简单 ...
（3.1）【多媒体中的数据隐藏】数字音频中的数据隐藏、原理、音频隐写工具 S-TOOLS、提取工具MP3Stego
目录一.多媒体简介 1.1.流行: 1.2.隐患: 二. 数字音频中的数据隐藏 2.1.简介: 2.2.原理: 三.简单音频文件嵌入技术(不可感知的方法) 3.1.历史: 3.2.原理: 3.3. ...

大数据讲座一：大数据中的数据流向

大数据讲座一：大数据中的数据流向相关推荐

最新文章

热门文章