开源大数据周刊-第52期

摘要：

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

阿里云E-Mapreduce动态

E-MapReduce调度功能添加重试机制

资讯

重磅|MapD宣布开源：在多GPU服务器上二次查询数十亿条记录的核心数据库和代

全球人工智能：专注为AI开发者提供全球最新AI技术动态和社群交流。用户来源包括：北大、清华、中科院、复旦、麻省理工、卡内基梅隆、斯坦福、哈佛、牛津、剑桥等世界名校的AI技术硕士、博士和教授；以及谷歌、腾讯、百度、脸谱、微软、华为、阿里、海康威视、滴滴、英伟达等全球名企的AI开发者和AI科学家。

实时离线融合在唯品会的进展：在实时技术、数据、业务中寻找平衡

本文根据姜伟华博士在数果智能新产品发布会“智能时代大数据实时分析技术 DaTalk”上的演讲整理而来。

人工智能在工业领域的潜力和实践报告

机器学习是人工智能（AI）的精髓。虽然这个概念已经可存在五十多年了，但是，最近才开始应用于工业。根据麦肯锡全球研究所（MGI）的报告，在德国，62%的工作岗位已经有至少30%的工作实现了自动化，与美国的水平相当。基于自然语言处理或视觉对象识别等等技术的AI实现这种自动化的核心推动者。

技术

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制

本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

BigData－‘基于代价优化’究竟是怎么一回事？

还记得笔者在上篇文章无意中挖的一个坑么？如若不知，强烈建议看官先行阅读前面两文－《SparkSQL – 有必要坐下来聊聊Join》和《BigData – Join中竟然也有谓词下推!?》。第一篇文章主要分析了大数据领域Join的三种基础算法以及各自的适用场景，第二篇文章在第一篇的基础上进一步深入，讨论了Join基础算法的一种优化方案 – Runtime Filter，文章最后还引申地聊了聊谓词下推技术。同时，在第二篇文章开头，笔者引出了两个问题，SQL执行引擎如何知晓参与Join的两波数据集大小？衡量两波数据集大小的是物理大小还是纪录多少抑或两者都有？这关系到SQL解析器如何正确选择Join算法的问题。好了，这些就是这篇文章要为大家带来的议题－基于代价优化（Cost-Based Optimization，简称CBO）。

使用CombineFileInputFormat来优化Hadoop小文件

我们都知道，HDFS设计是用来存储海量数据的，特别适合存储TB、PB量级别的数据。但是随着时间的推移，HDFS上可能会存在大量的小文件，这里说的小文件指的是文件大小远远小于一个HDFS块（128MB）的大小；HDFS上存在大量的小文件至少会产生以下影响：消耗NameNode大量的内存延长MapReduce作业的总运行时间。

从自编码器到生成对抗网络：一文纵览无监督学习研究现状

无监督学习是深度学习的圣杯。它的目的是希望能够用极少量且不需要标注的数据训练通用系统。本文将从无监督学习的基本概念开始再进一步简述无监督学习的各个基础算法及其优缺点。本文作者为专注机器人与视觉研究的 e-Lab 的研究者 Eugenio Culurciello。

开源大数据周刊-第52期相关推荐

开源大数据周刊-第49期
摘要: 开源大数据周刊-第49期资讯实时流数据分析--2017 年的 27 个预测概述:根据Markets & Markets的预测,流数据分析市场将从 2016 年的 30 8 亿美元 ...
开源大数据周刊-第76期
摘要: 本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase.Kafka.TensorFlow等主流开源组件的实践分享和技术实现,还有来自京东推荐部门的推荐系统演进史,纯 ...
开源大数据周刊-第30期
阿里云E-MapReduce实践泰为在E-MapReduce上的考量与实践阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户 ...
开源大数据周刊-第34期
阿里云E-MapReduce实践使用E-MapReduce服务处理阿里云文件存储(NAS)的数据文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即 ...
开源大数据周刊-第50期
摘要: 本周刊的内容包括人工智能在软件和硬件上的最新进展,以及Kylin.Kudu等开源软件的实践和实现原理分析资讯谷歌TPU之后还有高通,人工智能芯片竞赛已经展开谷歌有了自己的人工智能芯片TP ...
开源大数据周刊-第11期
摘要: 开源有四个阶段:拥抱开源.回馈开源.融合开源.回报开源阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.3版本 (已经发布) 商业化发布,用户无需申请即可使用E-MapR ...
开源大数据周刊-第15期
摘要: 最近大数据的一些论断,如:中国大数据发展10大趋势5大挑战,数据在工业的崛起将重塑整个商业社会,涂子沛:都说收集数据很难,也许是思维错了. 阿里云E-Mapreduce动态 E-Mapredu ...
开源大数据周刊-第72期
摘要: 资讯: <新一代人工智能发展规划>启动实施公布首批开放创新平台科技部于11月15日在北京召开了<新一代人工智能发展规划>暨重大科技项目启动会.本次会议紧紧围绕新一代 ...
开源大数据周刊-第102期
资讯重磅:Cloudera.Hortonworks 合并 ! 两家大数据先驱Cloudera和Hortonworks今天宣布了它们所谓的相对平等的合并,声称将把两家公司合并成一家年收入达7.2亿美元 ...

开源大数据周刊-第52期

阿里云E-Mapreduce动态

资讯

技术

开源大数据周刊-第52期相关推荐

最新文章

热门文章