开源大数据周刊-第37期

阿里云E-MapReduce动态

E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642；并支持job failover

资讯

2017年数据领域的八大发展趋势
在2017年数据社区将会有大量的机会出现，并伴随一些危机性的挑战，下面是对上述问题的纵观。
大数据统一编程模型Apache Beam成为顶级开源项目
美国时间 1 月 10 日，Apache 软件基金会对外宣布，万众期待的Apache Beam在经历了近一年的孵化之后终于毕业。这一顶级Apache 开源项目终于成熟。
Spark 2.1.0发布，是时候升级spark了！
Spark 2.1.0是2.x分支中的第二个重要的发布版本（第一个是2.0.x），在该版本中，structured streaming有重大改进，增加了event mark watermark机制和对kafka 0.10.0的支持等特性，为其用于生产环境又迈进一步。除此之外，Spark其他重大改进集中在易用性、稳定性和改进等方面，解决了1200多个ticket（包括新功能、bug fix以及性能改进等）。

技术

ElasticSearch与大数据的不解情缘
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
HBase原理－数据读取流程解析
和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件；其二是因为HBase中更新操作以及删除操作实现都很简单，更新操作并没有更新原有数据，而是使用时间戳属性实现了多版本

Flink运行时之基于Netty的网络通信
本文以及接下来的几篇文章将介绍Flink运行时TaskManager间进行数据交换的核心部分——基于Netty通信框架远程请求ResultSubpartition。作为系列文章的第一篇，先列出一些需要了解的基础对象。
基于Spark GraphX实现微博二度关系推荐
图计算是近几年大数据领域非常受关注的热点，社交网络中的好友关系推荐是一种典型图计算场景，本文是微博关系项目团队在二度关系计算中的一些实践，供高可用架构读者参考。

欢迎加入阿里云开源大数据交流钉钉群

开源大数据周刊-第37期相关推荐

开源大数据周刊-第49期
摘要: 开源大数据周刊-第49期资讯实时流数据分析--2017 年的 27 个预测概述:根据Markets & Markets的预测,流数据分析市场将从 2016 年的 30 8 亿美元 ...
开源大数据周刊-第76期
摘要: 本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase.Kafka.TensorFlow等主流开源组件的实践分享和技术实现,还有来自京东推荐部门的推荐系统演进史,纯 ...
开源大数据周刊-第30期
阿里云E-MapReduce实践泰为在E-MapReduce上的考量与实践阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户 ...
开源大数据周刊-第34期
阿里云E-MapReduce实践使用E-MapReduce服务处理阿里云文件存储(NAS)的数据文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即 ...
开源大数据周刊-第50期
摘要: 本周刊的内容包括人工智能在软件和硬件上的最新进展,以及Kylin.Kudu等开源软件的实践和实现原理分析资讯谷歌TPU之后还有高通,人工智能芯片竞赛已经展开谷歌有了自己的人工智能芯片TP ...
开源大数据周刊-第11期
摘要: 开源有四个阶段:拥抱开源.回馈开源.融合开源.回报开源阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.3版本 (已经发布) 商业化发布,用户无需申请即可使用E-MapR ...
开源大数据周刊-第15期
摘要: 最近大数据的一些论断,如:中国大数据发展10大趋势5大挑战,数据在工业的崛起将重塑整个商业社会,涂子沛:都说收集数据很难,也许是思维错了. 阿里云E-Mapreduce动态 E-Mapredu ...
开源大数据周刊-第72期
摘要: 资讯: <新一代人工智能发展规划>启动实施公布首批开放创新平台科技部于11月15日在北京召开了<新一代人工智能发展规划>暨重大科技项目启动会.本次会议紧紧围绕新一代 ...
开源大数据周刊-第102期
资讯重磅:Cloudera.Hortonworks 合并 ! 两家大数据先驱Cloudera和Hortonworks今天宣布了它们所谓的相对平等的合并,声称将把两家公司合并成一家年收入达7.2亿美元 ...
开源大数据周刊-第32期
摘要: 阿里云E-MapReduce环境介绍;阿里巴巴向.Apache软件基金会捐赠消息中间件RocketMQ; Spark, HBase, Hadoop技术分享. 阿里云E-MapReduce实践 ...

开源大数据周刊-第37期

阿里云E-MapReduce动态

资讯

技术

欢迎加入阿里云开源大数据交流钉钉群

开源大数据周刊-第37期相关推荐

最新文章

热门文章