来源:网络大数据
摘要:人工智能的三大发展要素已经是老生常谈了。算法、算力和数据对机器学习的重要性和声望不亚于“谦哥”的喝酒、烫头和抽烟。

那些热衷竞争实施机器学习的公司现在惊讶地发现,其实,实施一些算法使机器变得对某一数据或问题更加智能并不困难。毕竟,这年头“即插即用”又很稳健的算法编程解决方案简直“烂大街了”。例如,从开源机器学习框架谷歌TensorFlow,到微软Azure Machine Learning以及亚马逊SageMaker,应有尽有。

所以,数据已逐渐成为了机器学习竞争中最关键的区分点。一个原因是高质量数据并不常见;另一原因是数据尚未商品化,公司企业之间存在着信息不对称。

希望借助AI一臂之力的企业需要寻求外部数据源,甚至这样的数据甚至可能需要他们自己创建。

有用的数据:有价值、又很稀少

数据逐渐变成竞争中的区分点是因为许多公司根本没有他们需要的数据。尽管几十年来,公司都在使用通用的会计准则这样的系统化方法来评估自己,但是这种评估方法一直关注于实体资产与金融资产,也就是实物和钱。2013年甚至给资产定价理论颁了一个诺贝尔奖,强化了已有的对实体或金融资产重要性的认知。

但是,今天最有价值的那些公司贸易对象是软件或网络,而不仅仅是实体或金融资产。在过去的40年内,资产类型的重心有了很大的变化:1975年,83%的有形资产占整个市场绝大部分份额;而2015年时市场中84%的资产是无形资产。今天的公司巨头们不再生产咖啡壶也不再售卖洗衣机,他们转而提供应用程序,软件等等。这样的转变造成了会计记账的对象和实际产生价值的对象极其不匹配。

结果就是有用数据的缺少已经成为了一个问题。市面价值与账面价值的差别越来越大。公司们正在试图利用机器学习辅助重要的商业决策来改善这一差别。有时,机器学习甚至会取代一些昂贵的咨询顾问们,而最后他们经常会意识到算法所需的数据压根不存在。所以实际上,那些闪瞎人眼的先进AI系统最后依旧只是在同样老旧的数据上试图实施新技术。

和人类一样,除非有人教,机器学习系统并不会精通任何领域。不过比起人类,机器会需要更多的信息来进行学习,并且它们确实比人类读取数据的速度更快。因此,表面上公司间会互相竞争谁拥有更好的机器学习程序员以及谁先启动AI项目,在幕后其实是对于数据新颖度和广泛度的竞争。

比如说在金融领域,可供选择的数据来源远远超过了传统证券交易报告以及投资者展示等。数据还可以来源于社交网络情感分析或者获批专利数量等。

这些数据源的重要性主要基于两点原因。首先,传统数据局限于传统资产,在当今无形资产当道的时代,覆盖面上远远不够。第二,并没有任何必要在市场上所有人都在分析的数据上使用机器学习方法。所有对此感兴趣的人都早已经尝试过分析产业趋势、利润率、增长率、息税前利润、资产周转率以及资产回报率和其它上千个常见的变量与股东回报率之间的相关性。

在所有人都在分析的数据上试图发现相关性并不会帮助公司取胜。相反,希望使用AI取胜的公司需要寻找新数据集之间的联系,因此他们可能必须自己创建那些新数据集来评估无形资产。

谨慎思考:你想知道什么?

创建数据比仅仅把销售点与顾客信息两个表聚合到一起然后丢进数据库复杂得多。大多数企业错误地相信通过这样一种权宜的方法能够预测或区分出他们关心的信息:把所有能找到的数据都大费周章地聚合到一起然后指望能够找到一丝希望之光。

尽管机器学习有时会突然发现某些从未有人意识到的事物从而使所有人都大吃一惊,但它并不能够持续稳定提供这样的洞察。这并不意味着这项工具很垃圾,这意味着我们需要更明智地使用它。但说起来容易做起来难:比如,在我们研究外部数据市场时,我们发现大多数新数据提供者依旧在关注实体与金融资产。

许多企业遗漏的一步是提出一项真正重要的假设。机器学习真正体现优越性之处在于,它们能够通过采用人类已经拥有的见解,这可以来自于经验法则、广泛认知或者几乎完全不被理解的相关性,来建设一种速度更快、更易于理解、更易于扩展且更低错误率的方法。

为了这样使用机器学习方法,不应向系统塞进任何你能找到的数据。你仅仅输入被谨慎思考过的一组信息,希望它能够学习并拓展,得到比人类掌握的更多的信息。

有意义的机器学习来自于不同的数据

以下是为希望搭建有影响力、有价值的机器学习应用的公司提出的三点建议:

  • 1.成功的AI在于与众不同的数据。在你的竞争对手都已经掌握的数据上你是得不出什么新颖信息的。审视企业内部,找出只有你们知道并理解的信息并以此创建一个独特的数据集。机器学习算法确实需要大量的数据支持,但这并不意味着模型需要考虑大量变量。你应当把关注点放在企业已经具有独特之处的数据上。

  • 2.有意义的数据比全面的数据好。你可能就某问题上拥有大量详尽数据,但它们可能压根没什么用。如果你的公司根本不会在决策过程中随时使用这些信息,那这样的数据八成对机器学习也没有什么价值。专业的机器学习工程师会询问许多困难的问题来找出什么才是真正重要的领域,以及那些领域将如何对该应用程序输出结果产生影响。如果这些问题对你太难了,那么你并没有为得到实际价值而仔细思考。

  • 3.应当从你已知的信息出发。最善于利用机器学习的公司会从一个独特的视角出发,来找到与他们重要决策最为相关的因素。这将会指导他们去收集何种数据以及使用何种技术。就基于你们团队已经拥有的一部分知识之上进行拓展这个问题来着手是比较简单的,这也将为你企业创造更多价值。

很明显这个时代已经是“软件吃掉了整个世界”了(这个形容来源于软件工程师Marc Andreessen)。但它们依然很饥饿!软件们需要一份包含崭新数据与科技的食谱来持续创造价值。

没有人希望落后于这样的洞察、机器与外部数据的转变。那么,请从内部审视企业开始,去发掘你独特的见解以及你可以而且应该得到的有价值的外部数据来源。通过这些步骤,你才能够发现保持企业竞争力的相关洞见。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

机器学习竞争其实是一场数据上的竞争相关推荐

  1. 将公平注入AI:机器学习模型即使在不公平数据上训练也能产生公平输出

    来源:ScienceAI 本文约1800字,建议阅读9分钟 如何迫使深度度量学习模型首先学习好的特征? 如果使用不平衡的数据集训练机器学习模型,比如一个包含远多于肤色较浅的人的图像的数据集,则当模型部 ...

  2. 机器学习竞赛实际上是一场数据竞赛

    https://www.toutiao.com/a6638521684594786819/ 希望使AI有别于其他公司的方法就是使用差异化的数据集,自己构建数据集是一个差异化方法之一. 随着机器学习 - ...

  3. 在图数据上做机器学习,应该从哪个点切入?

    作者 | David Mack 编译 | ronghuaiyang 来源 | AI公园(ID:AI_Paradise) [导读]很多公司和机构都在使用图数据,想在图上做机器学习但不知从哪里开始做,希望 ...

  4. 【机器学习】在大数据上使用PySpark进行K-Means

    作者 | Angel Das 编译 | VK 来源 | Towards Data Science 如果你不熟悉K Means聚类,我建议你阅读下面的文章.本文主要研究数据并行和聚类,大数据上的K-Me ...

  5. 今天下午三点,2020深圳开放数据应用创新大赛将举行第二场线上推介会

    4月27日15:00 - 16:30,网易客户端.ZAKER.华为云.南方 plus.虎牙在线直播 每场线上推介会设两轮抽奖,欢迎互动. 继4月20日首场线上推介会顺利举行后,4月27日下午,以&qu ...

  6. 结构化数据上的机器学习大杀器XGBoost

    转自: http://geek.ai100.com.cn/2017/05/26/1640 XGBoost是一个机器学习算法工具,它的原理本身就并不难理解,而且你并不需要彻底搞懂背后的原理就能把它用得呼 ...

  7. 【2 - 随机森林 - 案例部分:随机森林在乳腺癌数据上的调参】菜菜sklearn机器学习

    课程地址:<菜菜的机器学习sklearn课堂>_哔哩哔哩_bilibili 第一期:sklearn入门 & 决策树在sklearn中的实现 第二期:随机森林在sklearn中的实现 ...

  8. 【逗老师带你学IT】职场数据中心异地出口容灾,H3C的IP上一跳保持技术

    本文介绍,如何通过IP上一跳保持的方式,使多个城市的公网出口可以同时为一台服务器提供DNAT映射,并确保回包路由正确. 目录 一.需求背景和拓扑 二.入站DNAT(Destination Networ ...

  9. 《数据竞赛白皮书·下篇》发布,开源办好一场数据竞赛的实践方法论

    两周前,我们发布了<数据竞赛白皮书·上篇·1000场竞赛的深度分析>,通过28000字的研究分析.54个高品质图表,讲透了数据竞赛行业发展,带领大家看懂了竞赛高热度背后的逻辑. 上篇发布后 ...

最新文章

  1. Gartner:2020 年 AI 平台魔力象限:意外多多
  2. LeetCode40.组合总和|| JavaScript
  3. 《软件工程》实验报告——软件测试
  4. POJ2084 Game of Connections(数学,dp)
  5. python中使用正则模板匹配结果
  6. 工作流的ReplicatorActivity
  7. 华侨大学计算机应用技术章亮,华侨大学学生综合素质测评成绩汇总表
  8. open cv+C++错误及经验总结(三)
  9. 数据结构笔记(十六)-- 数组实现
  10. spark reduce与reduceByKey的区别
  11. 【领域综述】NLP领域,你推荐哪些综述性的文章?
  12. 如何简化卷积神经网络_卷积神经网络:简化
  13. MyBatis内的Mapper接口方法为什么不能重载
  14. 第一章 极限、连续与求极限的方法
  15. antd modal层级混乱
  16. wxpython 优秀的界面_WxPython实现无边框界面
  17. android——databinding中字符串的拼接处理、TextView显示的值随activity的属性值改变同时改变--LiveData、双向绑定过滤器、监听某个值的改变
  18. PCIE Configuration Space
  19. 微信公众号基本设置服务器设置教程,最新最全的微信公众号开发者模式配置
  20. Nuxt配置百度统计,并公开统计解决

热门文章

  1. 网传字节跳动实习生删除GB以下所有机器学习模型,差点没上头条
  2. 一个微笑,跨越73年:Deepfake「复活」以色列立国之战老照片
  3. 五年引用量最高的10大论文:Adam第一,Transfromer上榜!竟然没有ResNet?
  4. SAP RETAIL 通过自动补货功能触发采购申请
  5. SAP RETAIL 商品主数据POS视图
  6. SAP PM 入门系列6 - PM常用表
  7. 中国博士把整个 CNN 都给可视化了,每次卷积 ReLU 池化都清楚
  8. 寻找可用的机器学习算法
  9. 消息称苹果正在组建新智能家居团队
  10. 一禁了之还是放开应用?面部识别“人红是非多”