实际上,克林顿的损失(以及我们无法对其进行预测)是数据的失败,也是人类无视偏见并无法准确地大规模和快速地分析数据的原因。 这凸显了当今政客和企业面临的最大挑战之一。 由于收集到了如此多的数据并以前所未有的规模进行整理,震惊的美国大选提醒我们,该信息只有在可以进行有效分析以产生可以为决策提供依据的切实可行的见解时才有用。

如果正确使用,机器学习(ML)和人工智能(AI)能够提供这些见解; 它提供了分析庞大数据集并识别由于任务的庞大规模而导致人类根本无法处理的相关性的能力。 数据以及对数据进行处理的能力将成为未来大公司越来越重要的差异化因素。 在我们数字化时代,甚至传统的制造企业(例如运动服专家耐克)现在也将自己定位为数据主导的公司。

不要相信所有的炒作

当然,关于机器学习以及它如何成为几乎所有事物的未来解决方案,有很多媒体大肆宣传。 炒作未能解决的问题是,有效利用机器学习需要严格的科学技巧才能获得有意义的结果。 由于清理数据,试用方法并运行验证,这可能是一项耗时,昂贵且复杂的操作。

干净,无偏见的数据至关重要

有必要提醒自己,机器学习将永远与使用的数据一样好。 干净的数据至关重要。 此外,对于监督学习,需要对机器学习算法的准确性和精度进行分类,以使它有意义。

您只需要查看错误地预测了美国大选结果的民意测验员,就可以了解有偏见的数据有多有害。 他们未能确定几个主要州的白人中产阶级选民的影响[1]。

他们的致命错误反复出现,是将不完整的数据输入到分析算法中,从而导致洞察力出现偏差。

验证必不可少

任何机器学习仍然具有至关重要的人为因素。 任何算法都需要经过严格验证,以确保其正确运行。

现在,专家们发现,未经验证,洞察力有可能基于虚拟输出。 可以通过以下XKCD帖子推测出不正确的验证,其中很小的样本集和缺乏验证会导致……。 好吧,为自己读书!

资料来源:https://xkcd.com/1122/

了解算法

Google,Microsoft和Amazon之类的公司经常使用Neural Nets,这对于正确的域而言是一种强大的方法,但众所周知也很难验证。 谷歌的AI算法RankBrain可以解决新的搜索查询,进行“有根据的猜测”,现在是如此先进,以至于甚至一位高级谷歌工程师在今年早些时候也承认他不知道它是如何工作的! [2]因此,尽管在实践中算法看似运行良好,但如果发生错误,可能会潜在地产生问题,因为不再可能了解算法的逻辑。

赢得人才之战

那么,IT行业如何应对挑战? 首先,有才能。 像“数据科学家”这样的工作几乎在十年前还不存在,但是对这些技能的需求却呈指数增长。 搜索学术界以找到并聘用方法严格的最佳数据科学家,这必须是任何聘用策略的一部分。 这是一场人才争夺战,我们是寻求吸引数据科学和数学思维候选人的公司之一。

降低成本–出色的矫平机

如今,运行机器学习实验便宜得多。 从历史上看,它一直是计算机和数据密集型活动。 成本在不断下降,因此像我们这样的精品公司可以负担得起使用机器学习的能力,而五年前的情况并非如此。 这已经在许多领域创建了很多使用ML的初创企业,这种趋势将持续很多年。

Java是如何融入方程式的?

Java的稳定基础架构在机器学习算法的输出中脱颖而出。 自1995年问世以来,Java一直是一种核心工具,可用于根据算法产生的数据编写业务规则。 Java的长期商业使用和广泛采用已经创建了一个健壮的文档,库和框架生态系统,这些文档,库和框架用于电子商务,安全性和复杂的事务体系结构。

今天,正是Java将我们连接到了地球上几乎所有的数据源。

利用Java和机器学习的力量

在jClarity,我们使用了这种最终的集成语言来编写来自机器学习结果的业务规则,从而为我们的客户提供解决方案。 结果是快速可靠的数据分析。

我们为Rightmove这样的客户调整Java性能,Rightmove的网站每天接受数百万次访问。 通过使用机器学习技术,我们能够使用智能,轻量级的性能分析工具帮助构建现代云的主要部分,从而使IT团队可以停止交火并为其用户创造价值。

对于Rightmove,我们最近宣布的合作伙伴关系将改善其物业搜索应用程序的性能。 该物业站点将受益于拥有专业的Java性能诊断引擎,机器学习算法和Java增强的搜索应用程序。

强大的机器学习的关键要素是将重点放在您要解决的问题的足够狭窄的范围内。 媒体对AI机器人以及AI如何占领世界充满了抒情性。 机器学习远没有像人类一样是通用的问题解决者。 机器无法从数学问题切换为开门。

例如,泰勒·维根(Tyler Vigen)著名地建立了一个关于虚假相关性的站点[3]。 例如,您是否知道“缅因州的离婚率”和“人造黄油的人均消费量”之间有99%的相关性? 通过幽默,泰勒非常清楚地指出,错误的答案太容易了,特别是在相关性方面!

在JClarity,我们的成功取决于提供确保数据清理科学严谨的能力,运行大量实验的能力以及当然可以独立验证输出的验证。

听起来很简单,不是吗? 不是。 但这有效。

链接

1.http://www.tylervigen.com/spurious-correlations

2.https://www.seroundtable.com/google-dont-understand-rankbrain-21744.html

3.http://www.tylervigen.com/spurious-correlations

翻译自: https://jaxenter.com/clintons-campaign-machine-learning-java-prevented-failure-handle-big-data-130604.html

克林顿的竞选活动:机器学习和Java是否可以防止它们无法处理大数据?相关推荐

  1. Java程序员必备的10个大数据框架

    当今IT开发人员面对的最大挑战就是复杂性,硬件越来越复杂,OS越来越复杂,编程语言和API越来越复杂,我们构建的应用也越来越复杂.根据外媒的一项调查报告,小千列出了Java程序员在过去12个月内一直使 ...

  2. JAVA/Python/PHP/go语言/区块链/大数据/人像修图等视频学习资料

    JAVA资料 Java视频和资料: 链接: https://pan.baidu.com/s/1bqUXYKf 密码: k38w 数据结构视频和资料: 链接:https://pan.baidu.com/ ...

  3. Java后端开发工程师是否该转大数据开发?

    背景 看到一些java开发工程师,对java后端薪酬太悲观了.认为换去大数据领域就会高工资.觉得java后端没有前途.我从事java后端开发,对大数据领域工作有些了解,但不深入.本文描述一下我对jav ...

  4. 世界顶级机器学习科学家黄恒加入京东,出任京东大数据首席科学家

    雷锋网消息,京东集团今日宣布,美国匹兹堡大学John A. Jurenko 杰出冠名讲席教授黄恒博士加入京东. 雷锋网(公众号:雷锋网)注:黄恒教授 黄恒教授是机器学习.人工智能.大数据.计算机视觉等 ...

  5. Java job interview:项目架构研发京东大数据价值最大化的应用实践

    "大数据"的经典定义是可以归纳为4个V:海量的数据规模(volume).快速的数据流转和动态的数据体系(velocity).多样的数据类型(variety)和巨大的数据价值(val ...

  6. 大数据之-Hadoop之HDFS_基于JAVA的开发_客户端环境测试---大数据之hadoop工作笔记0055

    我们再来编写代码.实现上传文件到完全分布式的集群上面的hdfs去 我们要依赖我们win7上面的java程序,上传到我们hadoop102为namenode节点的集群上面去. 我们去写代码

  7. 大数据之-Hadoop之HDFS_HDFS_基于JAVA的开发_客户端环境准备---大数据之hadoop工作笔记0054

    然后我们来用java,做一个客户端,让文件存到hdfs上去 可以看到首先,我们要准备好,01,在win10 下编译过的hadoopjar包,上面有了 这个是根据自己的操作系统环境的,我这里用的是win ...

  8. java如何实现e的次方_java 大数据次方运算

    /**引用网络文档*/ import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamRea ...

  9. JAVA一次性读取Mysql几十万条大数据的处理

    前言 不用说也知道,一次性读取出那么大的数据是疯了吗,虚拟机能承受的聊那么大的对象吗?,所以我们需要分批进行读取. 下面是使用fenduan 每1万条进行一次读取执行 1.传入总数和每多少进行分段 制 ...

最新文章

  1. 微软Silverlight4与Adobe Flex4打成平手,SL与FLEX技术全面对比
  2. java thread setname_Java Thread setName()方法
  3. 二叉树的前序、中序、后序遍历与创建
  4. Loj#2769-「ROI 2017 Day 1」前往大都会【最短路树,斜率优化】
  5. 判断系统是大端还是小段
  6. postgreSQL分页
  7. 时间同步服务 chrony
  8. 如何在自己的板子上实现android关机
  9. 《Android开发艺术探索》第7章- Android 动画深入分析读书笔记
  10. android 自动跳转市场,js判断设备,跳转app应用、android市场或者AppStore
  11. 如何实现中文汉字进行笔划(笔画)排序?
  12. ESP32-Doit板(一)
  13. 数据库MySQL系统实操实验从安装系统到实际操作全过程,五万字系列五,这不直接学完去学校装杯?
  14. 人脸识别系统——Face recognition 人脸识别
  15. 架构师之路:从Java码农到年薪八十万的架构师
  16. 电子发票产品的三种服务模式
  17. neovim符号自动补全auto-pairs
  18. Verilog HDL 小练习(四)状态机
  19. oppo测试面经汇总,来自牛客网
  20. 三名清华“天才少年”创业,旷视科技冲击IPO,阿里系持股位列第一

热门文章

  1. 网页中嵌入Flash的方法讨论
  2. 一位平安集团16年老员工:怕你胸有鸿鹄之志,手无缚鸡之力
  3. 【python】又拍云采集工具助手exe带python图片采集源码
  4. Dell戴尔笔记本电脑Vostro 5502原装出厂系统恢复原厂系统2004
  5. 学习瑞芯微RK3399pro板记录(1)
  6. 如何修改rk3399 ddr初始化代码的波特率
  7. 新突破!华为诺亚开源首个亿级中文多模态数据集-悟空!
  8. Windows作为NTP同步时间的服务器时的设置
  9. SDUT 王小二切饼
  10. 演讲实录丨朱珑 开启人工智能之眼