解读至强的小秘密之 Analytics Zoo，打通大数据平台与 AI 应用的直通车
人工智能（AI）的发展，离不开算力、算法和数据这个“铁三角”组合的驱动，它们之间的平衡发展，对 AI 技术的快速进步和实践落地起到了至关重要的作用。因此，在先进算法为 AI 应用提供更多优化、至强处理器为 AI 负载提供更强算力和特定加速之余，通畅的数据获取和使用过程也成为了关键所在，否则，算力再强也会空转，算法再优也难持续演进。
众所周知，在过去多年的信息化、数字化转型进程中，比较有远见的企业或机构，都基于大数据平台积累了不少数据资产。这些传统的大数据平台就好比功能手机，其用途主要聚焦在对这些数据的存储、处理和分析上，就如同功能手机的功能也很硬核且单一，就是实现无线通信。
AI 应用场景相对传统大数据平台来说就要新潮得多，音视频解析、BI 分析、自然语言处理、时序预测，一系列应用附加之后，它就犹如可以安装和运行各种 APP 的智能手机，然而就像智能手机上的 APP 们无论再怎么酷炫，它们所依赖的，依然是基础的无线通信功能一样，AI 应用即便模型和场景再多样化，它们也不能脱离数据而存在和发展。
基于大数据平台和 AI 应用之间这种密不可分的关系，为了让企业更便捷、也更高效地将 AI 应用落地到自己的业务实践之中，打造大数据平台与AI任务之间的快捷通道势在必然。可现实是，在一些大型企业中，分布式数据节点往往多达上千个。如图一所示，此时，大数据平台与 AI 模型、框架和优化方法之间如果缺乏高效的通道予以链接，那么企业在 AI 能力的建设上，无疑将面临艰巨的挑战。
Analytics Zoo，这个被誉为统一大数据分析和人工智能平台的软件工具，就是英特尔专门针对这一挑战开发和开源的解决方案，它基于可扩展的架构，将Apache Spark、TensorFlow、PyTorch、OpenVINO™ 工具套件以及 Ray 等常见框架和软件聚合在一起，可以为用户提供一条从数据采集、清洗、AI 训练、一直到推理应用的端到端处理流水线（Pipeline）。
用更通俗的话来解释，即 Analytics Zoo 能帮助企业用户在现有的、基于至强处理器的大数据平台上，直接背靠其积累的海量数据来无缝部署其AI应用。这一过程既不需要分别构建大数据平台和AI平台，免去将大吨位数据在不同平台间腾挪所消耗的高昂成本，也无需更换大数据平台的基础设施，这样一来，省钱的同时它还能让此前的既有投资换来额外回报。
这就像是功能手机突然变成智能手机，不但能立刻玩转多种炫酷的 APP，来充分压榨通信功能的价值，而且还不用更换手机的硬件！
同时，因为是由英特尔开发和开源，Analytics Zoo 先天就可对基于英特尔® 架构的硬件基础设施提供全面周到的性能调优，且能支持多种主流 AI 框架，如 TensorFlow、PyTorch、Keras、BigDL 等，并针对时间序列预测等活跃在绿色能源、智能制造以及智慧金融领域中的热门 AI 应用方向，给出了一系列完善的优化方案。
从问世至今的数年时间里，Analytics Zoo 已在诸多企业级 AI 应用场景中为用户提供了可靠的 AI 助力。如在智能制造领域，像图二所示，由 Analytics Zoo 提供的端到端 AI 解决方案，帮助美的这样的家电制造业巨头构建起了高效的工业视觉检测云平台，通过基于 AI 的机器视觉方案来实施产品缺陷检测，大大提升了生产效率，同时兼顾了更优的产品品质。
具体来说，在美的这一 AI 方案数据采集及预处理优化阶段，Analytics Zoo 的助力，可帮助工业视觉检测云平台在50毫秒内就能完成图片的读取和处理。而在模型重定义阶段，Analytics Zoo 不仅可以执行参数调整，还可加速模型推理速度。相关测试数据表明，在采用英特尔至强平台和 Analytics Zoo 后，美的工业视觉检测云平台的模型推理时间从 2 秒缩短到了 124 毫秒。
在曾经更为重视大数据技术，而今又在 AI 技术应用上一马当先的金融领域，Analytics Zoo 无缝对接大数据平台和 AI 应用的“绝活”儿就表现得更加靓眼。某商业银行就借力 Analytics Zoo，在其既有大数据平台和基于深度学习的 AI 应用之间构建起了高速通道，并将其率先用于资产代发后管理的资产提升预测场景。测试结果表明：在基于英特尔® 至强® 可扩展处理器和 Analytics Zoo 打造的新平台上，该银行采用 PyTorch 框架对基于 MLP 模型的预测系统进行了多轮分布式的训练和优化迭代，最终预测效果（AUC值）如图三所示，达到了 93%，满足了该银行的预设目标。
在绿色能源领域，Analytics Zoo 也已牛刀小试。金风慧能就基于它，将数据存储、数据处理以及训练推理流水线整合到了统一的、基于英特尔® 至强® 可扩展处理器平台的基础设施架构中，进而打造出全新的新能源智能功率预测方案。新方案不仅将 TensorFlow、Keras 模型透明地扩展到大数据集群，让训练或推理方案能够更便捷地采用分布式架构，也将英特尔提供的众多底层优化加速库，如英特尔® MKL、one-DNN 等集成至功率预测方案中，从而使新方案获得了更优的预测准确率和预测效率。如图四所示，其准确率由原方案的 59% 提升到了新方案的 79.41%，而在训练速度上，新方案的训练时间也有了大幅的降低。
关注英特尔边缘计算社区，表示您确认您已年满 18 岁，并同意向英特尔分享个人信息，以便通过电子邮件和电话随时了解最新英特尔技术和行业趋势。您可以随时取消订阅。英特尔网站和通信内容遵守我们的隐私声明和使用条款。
解读至强的小秘密之 Analytics Zoo，打通大数据平台与 AI 应用的直通车相关推荐
- 解读至强的小秘密之 OpenVINO 工具套件，面向 AI 任务的 “神奇改造车间”
经历了之前几期对至强平台的揭秘,我们想必都已了解:英特尔® 至强® 平台对于 AI 应用的加速,从来都不是依靠某个单一的产品或技术特性来实现的.我们看到英特尔® AVX-512 和英特尔® 深度学习加 ...
- 独家解读！阿里首次披露自研飞天大数据平台技术架构
9 月 26 日,阿里云飞天大数据平台在云栖大会第二天主论坛上正式对外发布,这也是阿里首次对外披露飞天大数据平台的整体架构. 据介绍,飞天大数据平台由阿里自主研发,可扩展至 10 万台计算集群,是目前 ...
- deepfashion 深度学习_基于Alluxio加速混合云下的Intel Analytics Zoo开源深度学习平台...
本文描述了Alluxio如何在混合云环境中,加速oneAPI支撑的英特尔Analytics Zoo开源平台深度学习模型训练.本文会讨论有关新架构和工作流的细节,以及Alluxio的性能优势和基准测试结 ...
- 5月14日社区技术直播【Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏】
主题: Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏 时间: 2020.5.14 19:00 参与方式: 扫描下方海报二维码加入钉钉群 或者 届时点击直播间直接观 ...
- 《中国大数据产业白皮书及百强榜单》：一览中国大数据产业发展全局
来源:网络大数据 摘要:近日,赛迪顾问重磅发布了<中国大数据产业白皮书及百强榜单>. <中国大数据产业白皮书及百强榜单>从大数据整体市场方向分享了相关洞见,对大数据产业未来发展 ...
- 小米宋强：生态化大数据平台的深度应用实践
小米宋强:生态化大数据平台的深度应用实践 大数据 机器学习 点击预估 小米科技 算法 阅读1148 时下大数据市场越发火爆,各行各业趋之若鹜投入其中.然而随之产生的问题也越来越多,除去数据清洗.整理 ...
- 【赵强老师】大数据平台的整体架构
先看视频. [赵强老师]大数据平台的整体架构 大数据平台中的主要组件,如下: HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS的山寨版. ...
- “最强大脑”智慧检务如何落地？最佳智慧检务大数据平台案例！
前几年,被称为史上最大尺度的正剧<人民的名义>刷爆了各大社交平台.除了剧情.演员之外,剧中检察院使用的黑科技也成为人们热议的话题.其实,在现实中,检察机关也凭借智慧检务开启了检察信息化的 ...
- 专家解读：顺丰和菜鸟开战核心是大数据
菜鸟网络与顺丰速运互相关闭互通数据接口事件正在迅速发酵.业内人士指出,事情闹得这么大,其本质是大数据的争夺. 1日下午,菜鸟网络方面发消息称,合作伙伴顺丰突然关闭了物流数据接口,菜鸟网络表示对此深感突 ...
最新文章
- 【鸿蒙 HarmonyOS】UI 组件 ( 文本输入框 TextField 组件 )
- spring(一)：spring IoC的注入方式总结
- PHP学习笔记15----PHP生成HTML文件原理
- SAP内存和ABAP内存的简单介绍说明
- gview java_java - 如何在干净模式下运行eclipse？ 如果我们这样做会发生什么？
- oracle有Boolean类型
- 域名服务器的配置文档,dns域名服务器的配置
- C++学习系列笔记（八）
- 苏宁易购回复深交所关注函：深国际和鲲鹏资本非一致行动人
- 17.1.1.3 Creating a User for Replication 创建一个用于用于复制:
- python pip install 总是出错的解决方法_pip安装总是失败怎么办？ 3个方法帮你解决...
- Ubuntu 16.04.4 LTS下安装JDK
- 21天实战人工智能系列：人工智能产品经理最佳实践（2）
- Junit原生断言和hamcrest断言的不同与使用
- WORD中插入三线制表格
- 网络编辑如何经营网络社区?
- 如何使用QQ收集表收青年大学习？
- Centos8.0编译安装稳定最新版的nginx
- 迁移学习系列--领域泛化
- Java 蜡烛图_7-13 日K蜡烛图 - osc_9vrg5zhs的个人空间 - OSCHINA - 中文开源技术交流社区...