大数据这两年一直是热词。发展中的大数据确实带来了很多有用信息,但也使我们遇到越来越多的难题。其中最大的难题就是如何去伪存真,将那些带来误导的噪音去除。

因此,发展中的大数据需要的不仅是专业的数据信息人才,而是需要更多善于和各个领域的大数据打交道的人,这对统计学的人才培养提出了全新的要求。

人人都知道,我们生活中很多事情都与大数据发生着关联。以我在哈佛大学教的通识课“生活中的统计:你快乐(或痛苦)的几率”为例。罗曼史就与大数据和统计学有密切关系。现在有不少号称可以帮助大家找到心上人的网站。具体怎么找?通常,网站会做一些调查问卷获得个人信息。同时调查那些相爱的人与他们个人的兴趣爱好、教育背景、家庭情况等有多大的相关性。根据这些搜集到的数据建立一个统计公式,给出一种概率上的预测。当达到一定概率时,网站就会显示两个人匹配。这类统计公式的可靠性建立在大量的数据上,而它的形成需要用到许多统计的思想和方法,包括设计问卷、抽样调查、建立模型、分析数据等等。

另外,酒和巧克力的口感也与大数据处理有关。因为这两者中的变量因素特别多,比如天气、地区、葡萄品种、采集及酿造的方法等;巧克力的可可产地、天气、制作方法等。变量越多,不确定性就越多,越需要统计学家们的工作。

所谓大数据,并非越大越美,越大越有价值。现在大数据研究中,这一点误导很多人。

比如,在美国抽取一个1000人的抽样调查。这个调查若是同样在中国做,要达到同样精度,需要抽取多少人?美国的人口是3.2亿人,中国的人口是美国的4倍多一点。每次我在大学讲座问到这个问题,只有10%以下的人说出正确答案--只需抽样1000人,而绝大多数人认为抽样数必须大于4000。

为什么呢?最简单的比喻是:喝汤时,要确定汤的咸淡,大多数人只需要品几口,并不需要把汤全部喝完。这个判断的准确性取决于什么?这碗汤的均匀度。喝汤前把整碗汤搅拌一下,然后品尝几口,这就是我们所说的随机取样。无论是一小碗汤还是一大桶汤,只要搅拌均匀,尝几小口就够了。同样,去医院验血时,每个人不论是胖是瘦,小孩还是大人,医生都只会抽一点点就可以做出判断。这意味着抽样调查需要有一定的样本,但是一旦超过临界点以后,和母体大小的关系是完全可以忽略的。也就是说,大数据再大,只要科学抽样,哪怕只有百分之零点零零几的均匀抽样,效果也可以比95%不均匀的数据好。

所谓大数据,也不能光看绝对量,并非数据越多结果越可靠。以现在最热的个性化治疗为例。如果一个药对95%的人有效,但对我没有用,那显然这个95%的数字对我毫无意义。

一个真实的例子是,在20世纪80年代,英国有一本杂志登了两种治疗肾结石的方法。文章摘要宣称方法A治疗肾结石,成功率是78%;用方案B的话,成功率是83%。在没有其他信息的情况下,任何人都会认为B方案治疗效果更好。但是仔细阅读那篇文章,你会发现当研究人员把病人分成大结石和小结石两组时,方案A比方案B在每组里的成功率都要高。

为什么会出现这样似乎令人困惑的所谓“辛普生悖论”?我们应该如何运用这样的数据去选择我们个人的治疗方案?这些新的问题会随着大数据的发展越来越多地呈现在我们面前。而且这些都是传统的统计学科中不太会遇到的难题。大数据中这类难题越来越多,这对我们大数据研究带来了越来越多的挑战,当然也为我们的人才培养带来了更多的挑战。

找到更高效方法,解决社会问题和科学问题

■范剑青(普林斯顿大学运筹与金融工程系主任、台湾中研院院士)

大数据伴随着技术与信息的革命应运而生,近年来发展非常迅速。大数据发展过程中出现的种种问题也使得一些新的统计思想出现,对统计方法也提出了更高要求。

所谓中国人有中国梦,美国人有美国梦,统计学家也有统计学家的梦。大数据时代,统计学家的梦是找到一些有效的可快速实现的统计方法来解决社会问题和科学挑战。

大数据是信息矿山,有待挖掘与提炼。它是管理决策、商务投资的基因,也是科学技术发展的基石。

大数据,顾名思义,就是大而复杂的数据。互联网、生命科学、工程科学、自然科学、社会学、经济学等都是最先实现大数据化的学科,现在人文、历史学也都数据化了。大数据是刻画当今科学研究与决策的前沿。

大数据有多大?若假设个人电脑的硬盘容量是1TB,2003年全世界数据大约可装满5百万台电脑,现在能装满80亿台,到2020年,全世界数据预计能装满400亿台电脑。这些数据之大可想而知了。

大数据研究是非常有前途的领域。它首先可以为个体化服务提供巨大的便利。科学家们最先想到的是精准医疗,比如,化疗对某些人群有用,对某些人群却有害,这就需要我们考虑引入大数据进行变量的分析。可研究的变量有很多,比如环境因素、个体基因、以及它们的交互作用等,而且人体本身也有很大差异,所以需要从大数据中进行分析和推断。以前医生在一千个病例中看到一个异常值,但不清楚这是特例还是有科学价值的。如今,在一百万个病例中见到一千次异常值,我们就会知道,这些病人需要个体化治疗了。大量的变元和个体的异样性,是研究大数据最本质的难点。

大数据是经济的新资源,发展的新引擎。数据越大,也越容易产生新的问题。也越需要新的解决方案。这就需要有效的崭新的统计学习方法和思想来解决。

大数据分析,既可风险预测,也可寻求因果。比如根据健康大数据预测人体最可能患的疾病,预测最可能得哪一类癌症,这就是大数据下的风险度量。除了预测,人类还希望知道各个因素之间的自变量与因变量的科学关系,从而达到治疗与控制的目的,这是大数据更高一层的应用。

当我们利用大数据进行预测时,最需要解决的是噪音叠加问题。因为大数据涉及到几万个、几百万个乃至数百亿个变量,这就意味着如果每一个变量都造成一点点误差,最后的预测会是很多误差的叠加,亦即失之毫厘,差之千里。

例如我们有3000支股票,要做投资选择的话,至少要分析两两之间的相关系数,3000支股票的相关系数矩阵中有450万个参数,如果对这450万个参数进行估计,就会导致最后的估计误差很大。因此,对大数据的处理最关键的是合理地处理这些变量,将投资风险减少到10%左右。只有在这样低的风险下,投资才能转化成回报。这就是我们通常说的量化投资,量化投资首先是利用市场存在局部的无效性,从中得到套利。例如百度的大数据金融声称他们利用股票搜索的关注度和传统金融理论进行股票投资,可以做得比大市要好得多。如果真是这样的情况,那么最重要的理由就是——大数据金融的量化投资,从关注度中找到新的风险因子。

中国乃至全世界的市场都证明,量化投资仍然有很多套利可寻。中国市场尤其如此——因为美国市场通过统计来量化投资套利的人数比较多,因此获利空间会相对少,而中国这样的人相对少一些,所以获利的机会就多。当然,大数据金融对实体经济有更直接的影响,那就是个人对个人(PtoP)的融资。人们利用大数据来对贷款人偿还能力进行评估,从而得到合理的风险回报。

用大数据来预测,是通过电脑和统计模型来解决,这包括机器学习领域最潮的“深度学习”。如果要预测股票指数,预测宏观经济的指标,通过机器的“深度学习”,结合统计建模的新方法,可以达到良好的效果。

本文转自d1net(转载)

大数据,并非越大越好?相关推荐

  1. 关于大数据,需要你读懂的10个小故事

    自2011年以来,大数据旋风以"迅雷不及掩耳之势"席卷中国.毋庸置疑,大数据已然成为继云计算.物联网之后新一轮的技术变革热潮,不仅是信息领域,经济.政治.社会等诸多领域都" ...

  2. 大数据陷阱:需要读懂的10个小故事

    自2011年以来,大数据旋风以"迅雷不及掩耳之势"席卷中国.毋庸置疑,大数据已然成为继云计算.物联网之后新一轮的技术变革热潮,不仅是信息领域,经济.政治.社会等诸多领域都" ...

  3. 大数据的反思:不可不知的几个小故事

    随着各种技术发展,很多人都在吹捧大数据.然而如同股市一样,越是高涨,越是需要警醒,在大数据热火朝天前行的路上,多一点反思,多一份冷静,或许能让这路走的更好.更远.本文的10个小故事,或许能让你有所得. ...

  4. 周末愉快丨读完这10个的小故事,你也想来吐槽大数据?

    约!约!约!友盟全域数据是[友盟+]品牌的微信公众账号之一,我们将持续为您带来第一手资讯与干货! 作者介绍:张玉宏,博士.2012年毕业于电子科技大学,现执教于河南工业大学.中国计算机协会(CCF)会 ...

  5. 大数据营销的关键是“挑数据”

    传统企业触网过程中,大数据营销的难题日益凸显. 过往,传统企业也积累了大量数据包括:财务数据.客户数据.网络数据等.但是,大数据的出现使其面临前所未有的挑战.首当其冲,即是大数据营销. 11月7月,国 ...

  6. 大数据开发你需要知道的十个技术

      前言 "当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题." – WhyTheLuckyStiff 汇总一些自己在大数据路上走过的弯路,愿大家不再掉坑- 1.分布式存 ...

  7. 基于材料数值计算大数据的材料辐照机理发现

    点击上方蓝字关注我们 基于材料数值计算大数据的材料辐照机理发现 任帅1,2, 陈丹丹1,2, 储根深1,2, 白鹤1,2, 李慧昭1, 何远杰1, 胡长军1,2 1 北京科技大学计算机与通信工程学院, ...

  8. 管理大数据存储的十大技巧

    在1990年,每一台应用服务器都倾向拥有直连式系统(DAS).SAN的构建则是为了更大的规模和更高的效率提供共享的池存储.Hadoop已经逆转了这一趋势回归DAS.每一个Hadoop集群都拥有自身的- ...

  9. 什么是大数据?大数据又有什么用处?

    国家图书馆的藏书量有2600万册,如果从数据来看的话,一个家庭一年产生的数据相当于半个国家图书馆的数据总量.工业和信息化部电信研究院互联网中心主任何宝宏认为,当一个时代的人没有办法用传统的工具来处理的 ...

  10. 漫谈阿里那些大数据技术,大数据学习者必看

    目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象.我也担心我所看到的,只是大数据的冰山一角,毕竟,将引领整个人类下一次变革的 ...

最新文章

  1. 基于Pytorch和RDKit建立QSAR模型
  2. HDU 2149 Public Sale (博弈)
  3. python适合做后端开发吗-Python后端开发是什么职位?
  4. CTFshow 信息收集 web3
  5. CLR Essential Types
  6. Tomcat 输入http://localhost:8080打不开网页的解决方法
  7. iOS 关于集成融云IM的一些常用方法
  8. PHP与C sharp互解加密算法
  9. 计算机二级web题目(6)--动态网页技术概述
  10. jMeter 模拟 web 高并发请求
  11. loadrunner / socket level data and wininet level data
  12. python怎样安装词云库_python词云库wordcloud的使用方法与实例详解
  13. 属性匹配工具_Route-policy的匹配工具If-match的使用简介
  14. Zabbix email 配置
  15. easypoi 大数据 百万_scrapy 解决爬虫IP代理池,百万大数据轻松爬取。
  16. 【HDU5726】GCD(区间GCD查询+统计区间gcd为k的区间个数----线段树/st表+思维)
  17. 【精品毕设】电力电子仿真——母线继电保护动作行为仿真分析系统
  18. SAP中销售价格导致的无法发货的实例分析
  19. PDF修改文字的步骤
  20. 逆向webpack打包,还原出原始文件。

热门文章

  1. 正交多项式曲线拟合(MATLAB代码)
  2. 富翁说:“你懂你妹啊
  3. python如何保留有效数字_Python中的有效数字
  4. Semantic-UI的React实现(四):基本元素组件的共通处理(父类)实现
  5. 每天一道面试题(JAVA)
  6. HALCON 模板匹配的总结
  7. CTF [网络安全实验室] [基础关]
  8. 华为无线AC旁挂POE交换机直接转发配置实验
  9. 【Android-Java】随机数产生,使用SecureRandom替代Random
  10. 深搜:给定整数a1、a2、...an,判断是否可以从中选出若干数,使它们的和恰好为K。