深度神经网络与大数据分析技术之间，有什么相互作用？

大数据数据分析技术，一般分为联机分析处理(OLAP，OnlineAnalyticalProcessing)和数据挖掘(DataMining)两大类。

OLAP技术，一般基于用户的一系列假设，在多维数据集上进行交互式的数据集查询、关联等操作(一般使用SQL语句)来验证这些假设，代表了演绎推理的思想方法。

数据挖掘技术，一般是在海量数据中主动寻找模型，自动发展隐藏在数据中的模式(Pattern)，代表了归纳的思想方法。

传统的数据挖掘算法主要有：

(1)聚类，又称群分析，是研究(样品或指标)分类问题的一种统计分析方法，针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。企业通过使用聚类分析算法可以进行客户分群，在不明确客户群行为特征的情况下对客户数据从不同维度进行分群，再对分群客户进行特征提取和分析，从而抓住客户特点推荐相应的产品和服务。

(2)分类，类似于聚类，但是目的不同，分类可以使用聚类预先生成的模型，也可以通过经验数据找出一组数据对象的共同点，将数据划分成不同的类，其目的是通过分类模型将数据项映射到某个给定的类别中，代表算法是CART(分类与回归树)。企业可以将用户、产品、服务等各业务数据进行分类，构建分类模型，再对新的数据进行预测分析，使之归于已有类中。分类算法比较成熟，分类准确率也比较高，对于客户的精准定位、营销和服务有着非常好的预测能力，帮助企业进行决策。

(3)回归，反映了数据的属性值的特征，通过函数表达数据映射的关系来发现属性值之间的一览关系。它可以应用到对数据序列的预测和相关关系的研究中。企业可以利用回归模型对市场销售情况进行分析和预测，及时作出对应策略调整。在风险防范、反欺诈等方面也可以通过回归模型进行预警。

传统的数据方法，不管是传统的OLAP技术还是数据挖掘技术，都难以应付大数据的挑战。首先是执行效率低。传统数据挖掘技术都是基于集中式的底层软件架构开发，难以并行化，因而在处理TB级以上数据的效率低。其次是数据分析精度难以随着数据量提升而得到改进，特别是难以应对非结构化数据。

在人类全部数字化数据中，仅有非常小的一部分(约占总数据量的1%)数值型数据得到了深入分析和挖掘(如回归、分类、聚类)，大型互联网企业对网页索引、社交数据等半结构化数据进行了浅层分析(如排序)，占总量近60%的语音、图片、视频等非结构化数据还难以进行有效的分析。

所以，大数据分析技术的发展需要在两个方面取得突破，一是对体量庞大的结构化和半结构化数据进行高效率的深度分析，挖掘隐性知识，如从自然语言构成的文本网页中理解和识别语义、情感、意图等;二是对非结构化数据进行分析，将海量复杂多源的语音、图像和视频数据转化为机器可识别的、具有明确语义的信息，进而从中提取有用的知识。

目前来看，以深度神经网络等新兴技术为代表的大数据分析技术已经得到一定发展。

神经网络是一种先进的人工智能技术，具有自身自行处理、分布存储和高度容错等特性，非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据，十分适合解决大数据挖掘的问题。

典型的神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART模型为代表。不过，虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。

随着互联网与传统行业融合程度日益加深，对于web数据的挖掘和分析成为了需求分析和市场预测的重要段。Web数据挖掘是一项综合性的技术，可以从文档结构和使用集合中发现隐藏的输入到输出的映射过程。

目前研究和应用比较多的是PageRank算法。PageRank是Google算法的重要内容，于2001年9月被授予美国专利，以Google创始人之一拉里·佩奇(LarryPage)命名。PageRank根据网站的外部链接和内部链接的数量和质量衡量网站的价值。这个概念的灵感，来自于学术研究中的这样一种现象，即一篇论文的被引述的频度越多，一般会判断这篇论文的权威性和质量越高。

需要指出的是，数据挖掘与分析的行业与企业特点强，除了一些最基本的数据分析工具外，目前还缺少针对性的、一般化的建模与分析工具。各个行业与企业需要根据自身业务构建特定数据模型。数据分析模型构建的能力强弱，成为不同企业在大数据竞争中取胜的关键。
　　人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
1.大数据分析，主要有哪些核心技术？
http://www.duozhishidai.com/article-1938-1.html
2.构建一个企业的大数据分析平台，主要分为哪几步？
http://www.duozhishidai.com/article-8017-1.html
3.数据科学，数据分析和机器学习之间，有什么本质区别？
http://www.duozhishidai.com/article-7892-1.html

多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站

深度神经网络与大数据分析技术之间，有什么相互作用？相关推荐

解决方案和项目的区别_沃尔玛用大数据提高销售额，云计算和大数据技术之间的区别汇总...
自从<纽约时报>发表有关沃尔玛如何利用大数据分析来最大化其销售额的文章以来,人们就对大数据充满了狂热.零售商发现飓风期间流行的糖果品牌Pop-Tarts的销量激增,并利用此知识增加了利润. ...
大数据分析技术未来发展会如何
庞大的数据也为企业发展带来了机遇,庞大的数据量与云计算技术强大的处理能力相结合,可以实现数据大规模的训练和执行制定的算法.未来数据分析技术的发展空间需求巨大,那么为来大数据分析计算的发展将会如何? 1 ...
python运用在大数据中精准生活_大数据分析技术在生活中的广泛应用
段雯琼++薛然++任亚丽摘要文章介绍了大数据技术的即时性.准确性和预测性,并将大数据技术与公共交通.医药领域.移动通信网络优化相结合,从而方便了人们的生活,提高了人们的生活质量. [关键词]大数 ...
基于大数据分析技术在会计方面的研究
第一节摘要在现如今大数据时代的背景下,有越来越多的企业正经受着数据网络的考验,其中很突出的就是管理會计,作为企业财务中一个重要的组成部分,是持续为企业整合和加工财务资料的职务,管理会计正为企业发 ...
大数据分析技术与应用 1
CDA数据分析研究院原创作品一.大数据概念大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化 ...
大数据分析技术有哪些应用步骤
大数据技术经过这么几年的发展,已经不像前几年那样给人一种难懂的感觉,现如今信息的大爆炸,各行各业的信息层出不穷.但是信息的爆炸也就意味着各类杂乱无章数据的诞生,因此要想在众多的数据中找到对于自身有用的 ...
大数据分析技术架构的通用模块
对于企业来说,坐拥庞大的数据资源,想要实现大数据分析,首先要建立自己的大数据系统平台,每个公司都有自己的具体业务场景,因此对大数据平台的要求也不同.今天我们仅从通用的角度,来聊聊大数据分析需要什么技术 ...
健康大数据分析技术有哪些？
21世纪是以生命科学为主导.科学技术迅猛发展的世纪,科技竞争力已成为决定国家前途和命运的重要因素,是推动经济发展.促进社会进步和维护国家安全的关键所在.医学在生命科学中占有极其重要的地位,卫生科技的创 ...
计算机视觉检测白皓月,基于深度神经网络的视线跟踪技术研究
毛云丰沈文忠滕童摘要: 视线跟踪是人机互动技术中重要的组成部分,可以广泛地应用在机器人.手机.笔记本等设备中.针对传统方法在低分辨率图像上的准确率不高和设计步骤繁琐等问题,提出一种基于深度神 ...
记一次徐宗本院士的讲座——大数据分析技术图谱与研究举例
主讲嘉宾:徐宗本院士主持人:申恒涛教授海报原文: 大数据分析与处理依赖特定的计算模式与全新的计算方法(称为大数据算法),设计创新的大数据计算模式与大数据算法是大数据的最核心技术,也是一个全新的领域 ...

深度神经网络与大数据分析技术之间，有什么相互作用？

深度神经网络与大数据分析技术之间，有什么相互作用？相关推荐

最新文章

热门文章