开源大数据周刊-2018年08月10日 第96期
资讯
- 阿里云E-MapReduce新版工作流管理正式上线
新版E-MapReduce工作流管理功能正式发布上线，工作流调度和编排是大数据开发的重要场景。此次升级新增作业DAG执行，作业临时查询等功能，拖拽编辑工作流节点等功能，在作业并行化缩短执行时间，提升了易用性。欢迎了解更多E-MapReduce产品详情。
- 2018 Gartner全球云存储魔力象限解读：阿里云跃升至挑战者 云存储催热数据湖
7月外媒披露了最新的Gartner全球云存储魔力象限，全球前四依然是亚马逊AWS、微软Azure、谷歌GCP和阿里云，与去年相比最大变化是，谷歌和阿里云各自跃升了一个象限，分别跻身领导者和挑战者象限，这是中国云计算厂商首次进入Gartner云存储挑战者象限。
- TensorFlow 版本 1.10.0 发布
TensorFlow 1.10 预构建二进制文件是针对 NCCL 2.2 构建的，并且在二进制安装中不再包含 NCCL。使用多个 GPU 和 NCCL 的需要将 NCCL 升级到 2.2。
技术
- Flink 在饿了么的应用与实战
饿了么每天处理的数据量60TB数据，400个计算节点。文章详细介绍了Storm，SparkStreaming，Flink 3种流式计算框架在饿了么的应用优劣势。
- 一种堆外内存缓存策略加速数据写OSS
EMR集群中作业写数据到OSS时，需要先将数据缓存在本地，然后再一次性上传到OSS中。本文介绍了堆外内存缓存策略加速数据写OSS的方法。
- 斯坦福开源Weld：高效实现数据分析的端到端优化
Weld 是斯坦福大学 DAWN 实验室的一个开源项目，在 CIDR 2017 论文中描述了它的初始原型。Weld 用于对结合了数据科学库和函数的现有工作负载进行优化，而无需用户修改代码。我们在 VLDB 2018 论文中提出了 Weld 的自适应优化器，并得出了一些可喜的结果：通过在 Weld IR 上自动应用转换可以实现工作负载数量级的加速。消融研究表明，循环融合等优化具有非常大的影响。本文主要介绍如何使用 Weld 的自适应优化器进行数据分析的端到端优化。
- NVIDIA研究人员采用128块Tesla V100 4小时完成40G文本训练
近日，英伟达发表了一篇大规模语言建模的论文，他们使用 128 块 GPU 在 4 小时内使得 mLSTM 可以收敛，值得注意的是，他们使用的 Amazon Reviews 数据集包含 40GB 的文本，这在以前通常需要花费数周的时间进行训练。这样的大规模语言模型能作为一种预训练模型迁移大量的语言知识，也就是说如果将其应用到机器翻译、机器阅读理解和情感分析等 NLP 任务，数据需求量和计算量都能得到大幅度的降低。
开源大数据周刊-2018年08月10日 第96期相关推荐
- 阿里巴巴大数据竞赛(2014年3月10日到11月)
大赛简介 阿里巴巴大数据竞赛是阿里巴巴集团主办,在阿里巴巴大数据科研平台--"天池"上开展的,基于天猫海量真实用户的访问数据的推荐算法大赛. 本次比赛的目的是让广大的高校同学在大数 ...
- 开源大数据周刊-第49期
摘要: 开源大数据周刊-第49期 资讯 实时流数据分析--2017 年的 27 个预测 概述:根据Markets & Markets的预测,流数据分析市场将从 2016 年的 30 8 亿美元 ...
- 极光大数据：2018年5月专车市场研究报告
自2016年下半年,网约车新政出台以来,推动了专车市场的重新洗牌.目前,市场头部平台已经显露,形成滴滴出行.神州专车.易到和首汽四分天下的大势,行业竞争也从"拼补贴"转向" ...
- 2018年08月19日发烧诸事记
2018年08月19日发烧诸事记 关于发烧给敲响的警钟 八月十六日,中午突然觉的有发烧症状,会宿舍喝了些水便回去了,下午上课时情况愈加严重,浑身发冷,无法正常训练,三点多时便去永康街上的社区医疗服务中 ...
- 湖南文旅数据中心：湖南文旅数据早知道（9月10日）
湖南文旅数据早知道(9月10日 星期四) 省内文旅要闻 昆明文旅推介会在长沙举行 坚持公交优先 湖南122个县市区全面实现交通一卡通互联互通 湖南雪峰启动消费扶贫 文旅产品引领乡村振兴 国内文旅要闻 ...
- 开源大数据周刊-第30期
阿里云E-MapReduce实践 泰为在E-MapReduce上的考量与实践 阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户 ...
- 开源大数据周刊-第76期
摘要: 本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase.Kafka.TensorFlow等主流开源组件的实践分享和技术实现,还有来自京东推荐部门的推荐系统演进史,纯 ...
- 开源大数据周刊-第34期
阿里云E-MapReduce实践 使用E-MapReduce服务处理阿里云文件存储(NAS)的数据 文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即 ...
- 开源大数据周刊-第50期
摘要: 本周刊的内容包括人工智能在软件和硬件上的最新进展,以及Kylin.Kudu等开源软件的实践和实现原理分析 资讯 谷歌TPU之后还有高通,人工智能芯片竞赛已经展开 谷歌有了自己的人工智能芯片TP ...
最新文章
- 浅谈压缩感知（二十一）：压缩感知重构算法之正交匹配追踪（OMP）
- Delphi对象池MyObjectPool.pas
- P3514-[POI2011]LIZ-Lollipop【思路题】
- 前端学习（226）:定位使用
- eclipse安装jsp
- Mac安装brew及报错处理办法
- 阿里云 ECS服务器 开放 8080 端口 -- 图解
- HTML中Head头
- notepad++查看16进制文件
- linux grub内核选择,UBUNTU GRUB没有内核选项，怎么回事啊？
- C#实现超长位整数运算
- ip subnet-zero
- linux 9 -- 交互式使用Bash Shell
- CROC 2016 - Elimination Round Mischievous Mess Makers
- javascript常用正则
- 10、Linux上常见软件的安装：安装JDK、安装Tomcat、安装Eclipse
- stm32定时器引脚分布，定时器2~7、9~14基本配置
- BI报表工具FineReport的使用1【FineReport使用，看过这篇就够了】
- C++ IO流学习笔记
- 三分钟学会PS小清新调色教程-萧蕊冰