大数据与云计算技术周报(第150期)
导语
“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。
本期会给大家奉献上精彩的:hiva、Flink、分布式数据库、MongoDB、spark、Druid、ES、ELK。全是干货,希望大家喜欢!!!
1Hive
影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调整。
https://mp.weixin.qq.com/s/3DtLiOkkfTGg2EZ625ol2g
2Flink
本文分享了趣头条基于Flink+ClickHouse的实时数据分析平台,包括业务场景与现状分析、Flink to Hive 的小时级场景、Flink to ClickHouse 的秒级场景、未来规划。。
https://mp.weixin.qq.com/s/K6v45N3RDXuG3HVFvYv_jw
3分布式数据库
并不是每个系统都会用分布式数据库,分布式数据库适配的是那些大并发、高频次的业务系统,集中式数据库仍然有它的生存空间,而且从数量来说,它没准还是占相对大的一个比例,它适配的是传统业务系统,我们通过 RDS 的服务化部署能够提供数据库服务,国外商业产品、国内数据库、开源产品结合使用,最后达到一个比较均衡的比例。
https://mp.weixin.qq.com/s/ki5Bh8Pdnk3wKGkpr8jY3g
4MongoDB
本文讲述了MongoDB的WiredTiger存储引擎的Checkpoint具体结构信息、执行流程;并介绍使用WiredTiger的wt命令工具查看checkpoint信息及信息解读。
https://mp.weixin.qq.com/s/JT71BBWu3sPb7AvbqGwMGg
5ES
在使用ES时,我们常见的就是需要生成一个template来定义索引的设置,分词器,Mapping.本文将基于项目经验来总结一些常用的配置。
https://mp.weixin.qq.com/s/OfxiEY8L_QGclTfBisGPuA
6Linux
Linux 之父非常担忧未来没有开发者继续维护Linux内核,并于近日表示:“真的很难找到维护者!”
https://mp.weixin.qq.com/s/3Tm0pRGbWm1f68HypXBJUA
7ELK
随着 IT 业务系统的迅速发展,中国民生银行需要考虑实现一套完整并适用于民生银行的日志文件智能分析与处理的解决方案。本文详细介绍了中国民生银行大数据基础平台运维组团队通过改造 Apollo 和 ES 的源码,构建了自己的天眼实时智能日志管理分析平台。
https://mp.weixin.qq.com/s/ItMDj-qcmcW9puAsDwm-lQ
8Netty
一般的服务之间进行交互时都会使用自定义协议,常见的框架,诸如dubbo,kafka,zookeeper都实现了符合其自身业务需求的协议,本文主要讲解如何使用Netty实现一款自定义的协议。
https://mp.weixin.qq.com/s/Q8sA5V46I9tfhlHBZHZQiA
9Druid
Apache Druid是一款优秀的OLAP引擎,众所周知数据存储格式对一款存储系统来说是最核心的组件,Druid的数据格式是自定义的,以此保证了在海量数据下的亚秒级查询。本文深入分析Druid V1版本数据存储格式,包括索引结构和数据在磁盘中的存储方式。在阅读本文之前希望您对Druid和数据存储有简单了解。
https://mp.weixin.qq.com/s/XxSTsHluORTDwtiopAxQ0w
10Spark
Spark SQL 中 Broadcast Join 一定比 Shuffle Join 快?那你就错了。
https://mp.weixin.qq.com/s/5OBHLjRjOykuuaCqEthD4g
11开心一刻
Delphi象吉普车,什么路上都能开,却在啥路上也开不好;PB就象卡丁车,只能在固定线路上开,到室外就有些不稳;VC象跑车,你开得起却买不起,而且一旦发生故障,想修都找不到毛病在哪;Java象敞棚车,不管刮风下雨还是艳阳高照,都能照开不误;VB就是摩托车,骑的时间越长,你越痛恨它!
致谢:
周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞
猜你喜欢
#大数据和云计算机技术社区#博客精选(2017)
NoSQL 还是 SQL ?这一篇讲清楚
阿里的OceanBase解密
#大数据和云计算技术#: "四有"社区介绍
大数据和云计算技术周报(第56期)
新数仓系列:Hbase周边生态梳理(1)
《大数据架构详解》第2次修订说明
简单梳理跨数据中心数据库
云观察系列:漫谈运营商公有云发展史
云观察系列:百度云的一波三折
云观察系列:阿里云战略观察
超融合方案分析系列(7)思科超融合方案分析
加入技术讨论群
《大数据和云计算技术》社区群人数已经6000+,欢迎大家加下面助手微信,拉大家进群,自由交流。
喜欢QQ群的,可以扫描下面二维码:
欢迎大家通过二维码打赏支持技术社区(英雄请留名,社区感谢您,打赏次数超过108+):
大数据与云计算技术周报(第150期)相关推荐
- 大数据和云计算技术周报(第101期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:Spring熔断降级方 ...
- 大数据与云计算技术周报(第148期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:实时数据.ELK.re ...
- 大数据和云计算技术周报(第102期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:阿里数据库.AI.Hb ...
- 大数据和云计算技术周报(第7期)
写在第7期周报 坚持是一种品格! "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. #大数据和云计算技术 ...
- 大数据和云计算技术周报(第81期)
大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:分布式事务.缓存 .排序.druid.s ...
- 大数据和云计算技术周报(第37期)
写在第37期周报 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:Spark ...
- 大数据和云计算技术周报(第115期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:HBase.Spark ...
- 大数据和云计算技术周报(第182期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:spark.Kafka ...
- 大数据与云计算技术周报(第142期)
导语 "大数据" 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算.存储.网络都涉及,知识点广.学习难度高. 本期会给大家奉献上精彩的:死锁.知识图谱.Spa ...
最新文章
- ubuntu mysql deb_Ubuntu 通过Deb 安装 MySQL 5.5 [转载]
- mysql5.7gtid_MySQL5.7 GTID 运维实战
- python二级考试答案分值_2018全国计算机二级考试内容 科目分值设置
- 用户画像标签维度_神策数据钟秉哲:一文了解用户标签画像,从洞察到突破
- zookeeper的名词复盘-会话
- Linux I/O复用之select函数详解
- 伺服电机停的时候会冲一下_造成伺服电机抖动的原因竟然是它!内附解决方法...
- Hadoop、spark、Flink、Blink、storm介绍
- 使用inetaddress测试目标可达性_纯java手写打造方法级白盒测试框架
- 利用php打印出九行菱形,C++ 输出菱形
- 好的架构不是设计出来的,而是演进出来的
- svnsync 服务器代码备份
- springboot starter的一个问题
- python url拼接_简单一文教你如何用python爬虫爬取扇贝单词
- JavaScript设计模式入坑 1
- 10月22日Ajax培训日记
- 基于Echarts+HTML5可视化数据大屏展示—智慧社区内网对比平台
- NI Teststand 2014 64bit 调用python脚本指南
- R语言检验时间序列中是否存在自相关性:使用box.test函数执行box-pierce检验验证时间序列中是否存在自相关性
- Pearson 相关系数