分布式技术追踪 2017年第四期

欢迎大家订阅 高柯用架构师 微信公众号, 除了"每周一报"之外, 还有更多原创技术文章等着你.

分布式系统实践

1. Apache Beam成功孵化为Apache顶级项目：将统一大数据平台的开发

http://dwz.cn/55wHAI

摘要: Apache Beam 在2016年1月发布第一个版本，由 Google 捐献给开源社区，凝聚着 Google 研发大数据基础设施的多年经验. Beam将现阶段流行的大数据分析框架(比如Spark, Flink, Apex, google Cloud DataFlow等)抽象出来, 提供统一的SDK, 支持批处理和流式计算, 来简化针对不同框架带来的学习和研发成本, 也可以方便用户在不同的框架上迁移已有代码.

2. 奇虎360开源其日志搜索引擎，可处理百万亿级的数据

http://dwz.cn/55yilf

摘要: 日志的全文检索能力在很多场景下都有需求, 这篇文章介绍了360针对APT事件的全文检索系统”波塞冬”. “波塞冬”基于NoSQL(redis)和HDFS自主研发的, 支持百万亿条大小100PB的日志, 可以实现秒级响应, 适用于大量小日志事件的全文检索系统.

服务化和虚拟化技术

1. Kubernetes 有状态集群服务部署与管理

http://dwz.cn/56Mwci

摘要: 为了支持有状态的服务, k8s引入了PetSet(新版本叫做StatefulSet)和Persistent Volume的概念, 帮助容器持久化数据, 比如MySQL的数据. 本文详细介绍了k8s对于有状态容器的技术支持, 最后通过一个部署MySQL的例子, 更直观的演示了利用k8s部署有状态容器的过程.

2. 知乎服务化的实践与思考

http://dwz.cn/57CxSJ

摘要: 随着业务不断复杂, 服务化通常是比较理想的解决方案. 但是任何事务都有两面性, 把握好服务化的”度”很重要, 而这方面没有通用的技术可以帮助我们, 只能依靠业务和经验. 这篇文章介绍了知乎服务化的实践过程, 供我们参考.

高可用技术

1. Google基础设施安全设计概述

http://dwz.cn/56bzdF

摘要: 这篇文章介绍了Google基础设施中安全设施的技术概述, 包括物理设施, 数据加密, RPC访问控制, 服务沙箱, 代码版本控制, 用户数据的访问, 数据删除策略, 拒绝服务保护, 操作安全和审计等方面, 再次感叹一下Google基础设施的强大.

2. tcpdump 和 wireshark组合拳，揪出有问题的机器

http://dwz.cn/57nq2B

摘要: 一篇小短文介绍了一个真实的利用tcpdump分析出有问题的机器的案例. tcpdump可以说是追查网络问题的大杀器了, 我们经常在应用层无法进一步确认网络问题的时候, 尝试使用tcpdump来追查网络问题, 也可以用来指导网络参数的设置.

运维和DevOps技术

1. 云数据中心网络运维的苦与乐

http://dwz.cn/56kZ14

摘要: 在虚拟化之前, 网络运维往往处于静态模式, 所以遇到的问题不太多, 场景也相对简单. 但是虚拟化之后, 网络的世界变成了最复杂的部分, 给网络的运维也提出了很大的挑战. 这篇文章简单介绍了虚拟化网络的运维方案.

2. 当我们在抢红包时，微信运维在做什么？

http://dwz.cn/56LVzp

摘要: 微信支付成功的抢了支付宝的风头, 但是支撑微信支付的技术却不简单. 这篇文章介绍了微信支付后台MySQL数据库的运维技术, 包括DB CMDB, 变更自助化, 高可用性等方面, 很多运维思路的转变和我们也很相似, 推荐给大家阅读.

丰富多彩的计算机世界

1. 机器学习经典案例：解析微信朋友圈的lookalike算法

http://dwz.cn/56MWoq

摘要: 很多朋友都收到过朋友圈广告吧, 而且还会经常发生互动(比如点赞, 评论). 那么大家有没有想过投放广告的时候是如何选定目标客户的? 这篇文章介绍了微信朋友圈的lookalike算法, 利用机器学习技术筛选广告主的潜在客户.

2. Google发布新的图像压缩技术，最高可节省75％带宽

http://dwz.cn/57oLVb

摘要: Google的黑科技, 利用机器学习技术实现了图像压缩技术的突破. 详细内容大家可以阅读论文.