分布式方向一周技术动态 2016.05.08

时间：2016-04-30 12:57:11 阅读：395 评论：0 收藏：0 [点我收藏+]

标签：

分布式系统实践

1. 使用Basic-Paxos协议的日志同步与恢复

http://oceanbase.org.cn/?p=90

要点: 这篇文章和上期给大家推荐的Hadoop的HA方案有着很多相同的地方, 基本思路就是使用paxos协议来同步数据库的binlog从而实现多个数据库实例的一致性. 同时这篇文章还有后续两篇相关文章, 分别对basic-paxos协议的优化以及在线实现成员变更的算法. 我们之前对paxos协议的应用基本上都限制在了基于zookeeper(基于ZAB一致性协议)的使用上了, 其实还可以抛开zookeeper, 回归paxos的本质上来, 利用paxos实现更复杂的数据一致性场合. 文章不太容易懂, 请大家阅读之前先自行理解paxos协议. 另外在补充一篇作者之前分享过的文章, 辅助大家理解. http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=403582309&idx=1&sn=80c006f4e84a8af35dc8e9654f018ace&3rd=MzA3MDU4NTYzMw==&scene=6#rd

2. OpenStack入门

http://blog.nicerdata.com/notes/openstack_abc/000.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: OpenStack是非常复杂的, 这篇文章非常适合入门, 相对全面又简短的介绍了OpenStack的各个组件.

3. 一名分布式存储工程师的技能树是怎样的？

https://www.zhihu.com/question/43687427/answer/96677826?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 知乎上一个靠谱的解答, 大家参考. 特别是文章中提到的, MIT的分布式系统课程(http://nil.csail.mit.edu/6.824/2016/schedule.html), 大家有时间自己rush吧!

服务化和资源管理技术

1. 生产环境中的容器之工作流

http://dockone.io/article/1227?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章介绍了Spotify，DramaFever，Built.io和IIIEPE这几个公司使用docker的工作流, 不过描述的过于简单, 仅供参考吧.

2. Microservice 微服务的理论模型和现实路径

http://mp.weixin.qq.com/s?__biz=MzAxMTEyOTQ5OQ==&mid=2650610530&idx=1&sn=acd24986fe42181fcd81496f7a922f33&scene=0#wechat_redirect

要点: 本文从微服务的定义出发，追溯它的起源，分析它的特征，然后到实施微服务的前提、维度和原则，最后是实施微服务过程中带来的一些人员角色属性的变化，比较全面的梳理总结微服务架构的各方面。

3. Mesos架构与去哪儿的统一框架实践

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547005&idx=1&sn=5a0be692f731aa7bfae030555423ecc6&scene=1&srcid=042766QJXjo5f6QlwE8aXSUX&key=b28b03434249256bb97ab48d5ea6177f0c6159b549ff8905a71e1c38001cb6f4816725d8bd2e7918578b1c851a9caae1&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=PJSUjrQzIwkC9z%2BznVMa3BB2N4YWZRrj6bS2SMQwaTF1urDxZyiFAGDolaij5ZWB

要点: 这篇文章讲述了去哪的mesos架构实践, 并且将spark, HDFS等统一到marathon framework的必要性和过程.

4. 什么是Docker？

https://mp.weixin.qq.com/s?__biz=MzIxNDMyODgyMA==&mid=2247483658&idx=1&sn=f8ff8d70ec0a7419900e753d74a3af4f&scene=0&key=b28b03434249256bd1a48954af8275ac3f7eb5e28ebc4bf82d779d96976be6afad81bf02354d4044038a1845581d15df&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=rLZNjqn45o%2BUzL73wGHzKjWiLpO2YHcB8CcZhzZloEvUqZ9qaPuKZ%2BRRbCtOK2%2Bf

要点: 这篇文章表达了作者对docker的理解 – 标准化. 但是回过头来, 实现标准化的方法不是只有docker一种, 事实上, beehive的spec文件也是一种尝试标准化服务的手段, 只不过还不够完备, 但是在公司基础环境差异化不大的情况下(比如大部分是centos4u3, 比如op对各种内核参数进行了比较好的维护), spec文件的描述方式也还马马虎虎(用了两年多, 解决了不少问题). 为了解决beehive搭建测试环境复杂的问题, 我只做了几个虚拟机镜像, 这时候有同学立马说为什么不用docker? 于是乎我自己撸胳膊挽袖子, 决定实验一下, docker能否解决我们的问题. 结果证明, 不管是公司的内核支持上, 还是docker基础镜像维护上, 以及对docker技术的熟练程度上, 这些方面都存在或多或少的问题, 我的实验宣告失败(当然问题也是可以解决的, 只不过我没有继续花时间做了). 我想说的是, 我特别同意作者的观点, "根据企业的实际情况找到其标准化的最经济有利方式才是我们这些受聘用的职业工程师的核心价值".

服务高可用技术

1. Linux内存中的Cache真的能被回收么？

http://liwei.life/2016/04/26/linux%E5%86%85%E5%AD%98%E4%B8%AD%E7%9A%84cache%E7%9C%9F%E7%9A%84%E8%83%BD%E8%A2%AB%E5%9B%9E%E6%94%B6%E4%B9%88%EF%BC%9F/#rd

要点: 去年线上有一次操作, 希望根据我们的测试情况, 缩小bs服务的内存quota. 但是发现部分bs服务操作失败, 原因是释放掉可以释放的PageCache之后, 占用的内存仍然超过quota. 是我们的测试数据错了吗? 但是登录到机器上计算, 释放掉所有PageCache之后, 内存是可以小于quota值的. 那么问题在哪里呢? 我们之前一直天真的认为, PageCache是随时可以无条件释放的, 然而这个认识是错误的. 本文从原理上说明了3种不能释放Cache的场景, 可能还会有其他场景, 欢迎大家补充.

2. Google：如何分析和定位分布式环境下的慢请求（长尾请求）？

https://mp.weixin.qq.com/s?__biz=MzI4OTE3MTI1NA==&mid=2649863034&idx=1&sn=04c17e4c7364fe822cfe04cccf2b6550&scene=0&key=b28b03434249256b2334dffa3b6267282d3a6c8af74d87085174fd3dbb65d69073c5a4edc721f53c4527e314d33ecf16&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=blPiO0svXjLAHJiXqaXwP%2FuIP3AutVVuaEVuJYrj90%2FwYTZ4nya%2BCppOgEhbeX61

要点: 我们都知道google发表了一篇Dapper的论文, 来解决大规模分布式系统的性能分析问题. 但是Dapper只能定位到端到端的性能问题, 而对于长尾问题这样细粒度的性能分析, Dapper就显得无能为力了. 为此google的工程师们开发了一个trace系统, 仅仅使用1%的cpu资源, 捕获了锁争抢等细粒度的性能分析数据, 大大提升了长尾问题的分析能力. 再次感叹google强大的工程能力.