标签：

分布式系统实践

1. 一致性哈希算法

http://www.javaranger.com/archives/1781?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 一致性hash算法是解决分布式系统数据划分的有效手段, 解决了传统hash算法在机器扩容时需要大量移动数据的问题. 这篇文章对一致性hash算法做了简要的介绍, 如果你还不了解一致性hash算法, 那么请读读这篇文章吧

2. 巧用CAS解决数据一致性问题

http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=400556481&idx=1&sn=42bc187b45e4e53aece4b8c1f43e8019&scene=0&key=d4b25ade3662d64372f0fe6c3e4ff483306ddc12e35480b20594f48422dbc834a5328b249c9b08c7880593bb005a024c&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=2itnpyR6szdvZEf%2BrSegLo1q4KSLjY9OPJBWNuXjFdSH2qFE8YZ4S0tzFtM6uI%2F6

要点: 这篇文章以数据库为例, 解释了使用CAS方法解决数据一致性问题, 虽然文章中的场景一般情况下都是用事务解决, 但是对于不支持事务的NoSQL数据库来说, 这种方法简单而且有效. beehive在存储zk的时候, 就是利用zk的版本机制进行CAS的, 防止出现多个用户同时修改同一个zk节点.

3. 解密Apache HAWQ ——功能强大的SQL-on-Hadoop引擎

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=401116165&idx=1&sn=ef4f6f04ab1caf448de770c8d52d5b19&scene=0&key=b410d3164f5f798eef87003e677f3f6ff75846c52fe9f08052c82f7c1418bd94dada351b72101d6fd7a1c245bb4dc030&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=R6pckpGE0E2s4Glv9xfkwcXltT2IyLOoSgjYv8LFO%2Bbf7dCsH7csTqs%2BqUqWZJaF

要点: 这是我了解到的目前唯一支持标准SQL的分布式关系数据库引擎, 并且已经在Apache开源. 这篇文章介绍了HAWQ的基础架构, 文章最后的论文中描述了分布式事务引擎的设计方法, 适合T级别的关系型分布式数据库应用. 后续如果有感兴趣的同学, 可以深入了解之后给大家做一次分享.

4. Kafka 高性能吞吐揭秘

http://toutiao.com/news/6215162413189169665/?tt_from=copy&utm_campaign=client_share&app=news_article&utm_source=copy&iid=3167322395&utm_medium=toutiao_ios

要点: Kafka一直是开源系统里首先的分布式消息队列, 也被很多大型互联网公司使用, 本文讲解了kafka实现高性能的关键技术因素.

服务化和资源管理技术

1. 谈谈CoreOS的etcd

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400242301&idx=1&sn=df977dac103e5139c5421b357c806cf7&scene=0&key=b410d3164f5f798e53810a6d1ac00252c725223bae64cab7a57c4f58ba71081e66539f60762a0d327430ea3ac4e70f4e&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=R6pckpGE0E2s4Glv9xfkwcXltT2IyLOoSgjYv8LFO%2Bbf7dCsH7csTqs%2BqUqWZJaF

要点: 本文对etcd的关键技术和功能进行了阐述, 并且展望了正在开发的etcd 3的一些新特性.

2. Shopify构建分布式可扩展应用的最佳实践

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400250229&idx=1&sn=9a40f975ac6a279776e3acea0ac4aee2&scene=0&key=b410d3164f5f798e0db4b886d5f1289eaaa8e49db6a98bfa92dfa8c8dcb0af72b7736dfea9a80a3e7fc28ec8e7d643c2&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=R6pckpGE0E2s4Glv9xfkwcXltT2IyLOoSgjYv8LFO%2Bbf7dCsH7csTqs%2BqUqWZJaF

要点: 本文介绍了 Shopify 构建弹性平台的方法。这篇文章不仅读起来有意思，而且你可以把它运用到实践中，构建自有的弹性平台。

3. Docker官方发布的关于容器安全的白皮书

http://dockone.io/article/808

要点: 除了隔离性和资源限制, docker的安全性一直收到大家的质疑, 相比虚拟机, docker在安全性上确实不如虚拟机强大, 但是也并不是一无是处, 本文介绍了docer在容器安全上的支持程度.

4. 容器周边开源工具新秀：Sysdig和Calico

http://m.csdn.net/article/2015-11-08/2826147?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 应用容器的前提是必须有足够易用的监视和调试工具, 方便OP和RD追查和定位问题(这也是PS不敢轻易使用容器的原因之一, 大家熟悉的工具没有了, 在运维和监控上的各种积累减弱了), 这2个工具一个是用于容器监控的一个是用于容器安全的.

5. 一篇文章带你了解Cloud Native

http://dockone.io/article/812?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 主要讲述Cloud Native概念，背景； Twelve-Factor，康威定律；如何推行Cloud Native；以及VIP的Cloud Native的实践。

服务调度和 Trace 技术

1.  达成千万级别并发连接的秘密——内核正是问题所在，而非解决方案

http://mp.weixin.qq.com/s?__biz=MjM5MDAxNjkyMA==&mid=400448462&idx=1&sn=c0b5834fd642d4006f5e463ba666cef6&scene=1&srcid=1108qg08oRgpAoxVhAHwztib&key=b410d3164f5f798ef6b6fbe2ff17a4819a0374611de84c0087d34b16b3f43e1e6d888fdeaac6b10244dc737a2fe03296&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=R6pckpGE0E2s4Glv9xfkwcXltT2IyLOoSgjYv8LFO%2Bbf7dCsH7csTqs%2BqUqWZJaF

要点: 如今C10K问题（同时承载过万并发连接的问题）已经得以解决，那么想要升级到支持千万级别的并发连接，该怎么做呢？你也许会认为办不到，事实并非如此，现在的系统是能够支持千万级别的并发连接的，只需用到一些不怎么常见的先进技术。

2. 实施微服务需要哪些基础框架

http://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=400645575&idx=1&sn=da55d75db55117046c520de88dde1123&scene=0&key=b410d3164f5f798e7e27cb441bd5082deb058434d31651bd864dad2ad3dc8764fe6ed948649bda398c14824fb22c35b7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=R6pckpGE0E2s4Glv9xfkwcXltT2IyLOoSgjYv8LFO%2Bbf7dCsH7csTqs%2BqUqWZJaF

要点: 这是一篇非常好的科普性文章, 可以让读者高屋建瓴的理解实现一个高可用的服务集群需要考虑的所有因素, 包括服务发现和服务注册, 负载均衡, 服务容错, 压力控制, 配置管理等技术, 以及对应的开源解决方案.

3. 使用 HTTP/2 提升性能的7个建议

https://mp.weixin.qq.com/s?__biz=MjM5NjQ4MjYwMQ==&mid=400270444&idx=2&sn=d22e2299223cd8f1cc8c35c056278f5c&scene=1&srcid=1110aaSZp4dMPmkHOOtILBOl&key=d4b25ade3662d64348876132b4e0d51ccaf4cc3f5c0fddd42ee40c1add1f170a9fc7e825492dd42fa7d8a9c5309ec3fd&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=2itnpyR6szdvZEf%2BrSegLo1q4KSLjY9OPJBWNuXjFdSH2qFE8YZ4S0tzFtM6uI%2F6

要点: HTTP/2离我们越来越近了, 越来越多的浏览器开始支持HTTP/2了, 本文介绍了HTTP/2带来的收益和应用HTTP/2的几个建议.

DevOps 技术

1. 斗智斗勇！一次成功的关键业务系统切换

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=204934961&idx=1&sn=ef09da4a0e4af4902a0ed4e28dcdde97&scene=1&srcid=1111E0kNpjYc28qNIaw0noEz&key=d4b25ade3662d6433b19af8baa66bd845c8914f9c2ec98071746eec95acc705fe2b8ccb19d7357bdfbc8960075862cee&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=pfHy2c65XIY5TUSUk%2Fkq6yDDfc2jhRr81DHDieRpfHa0%2B98deENwxVCZdmZt7Pbk

要点: 软件系统的不断升级和演化到一定程度一定需要进行重构或者局部重构, 但是重构的过程是痛苦的, 既要维护老系统满足业务需求, 顶住老系统的各种弊端带来的压力, 同时在彻底理解老系统的情况下开发新系统, 还需要得到老板和其他相关人员的认可, 最重要的是控制开发的风险和难点, 保证新老系统平滑迁移, 难度可想而知. 在beehive重构上线在即的时候, 看到这篇文章感触更深, 回想起从2014年中旬开始我便有了beehive重构的念头, 直到到2015年中旬才动手, 到现在开发测试逐步收尾准备上线, 感慨颇多.  和所有需要面对新老系统的同学共勉.

工具集合

1. 从理论到实践，全方位认识DNS（理论篇）

http://selfboot.cn/2015/11/05/dns_theory/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这是一篇非常好的介绍DNS原理的文章, 其实很多技术我们都是看似明白, 但是细想想又不明白的, 我想对于DNS技术很多同学也有类似的情形, 那么请读读这篇文章吧.

2. 一张“神图”看懂单机/集群/热备/磁盘阵列

http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=400720056&idx=1&sn=10c796793e27d475603f97b23e137c12&scene=0&key=d4b25ade3662d64324eff80e40d55c07d5167b4156ec57d14bb635d4570d593dfc9d0ca642ea459a9576690be21a6675&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=2itnpyR6szdvZEf%2BrSegLo1q4KSLjY9OPJBWNuXjFdSH2qFE8YZ4S0tzFtM6uI%2F6

要点: 配图太有创意了, 马上明白各种raid都是什么鬼.

3. 正则表达式30分钟入门教程

http://deerchao.net/tutorials/regex/regex.htm?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 非常精炼的一篇介绍正则表达式的文章.

4. Linux动态库相关知识整理

http://zkt.name/linuxgong-xiang-ku-de-chuang-jian-yu-shi-yong/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 文章整理了一些动态库常用的基础知识, 虽然没有怎么涉及原理, 但是这些知识很常用. 在大规模分布式部署环境中, 不推荐隐式的使用动态库, 使用的话, 请按照显示(dlopen)的方法使用. 不过动态库比较适合解决多版本冲突的问题, 尤其是很多策略由不同的团队开发, 而且依赖的很多其他的模块版本差异很大, 调整编译依赖容易引起效果diff, 延迟开发周期. 但是动态库的兼容性不好维护(在这方面SOFA做了很多工作, 也遇到了很多坑), 遇到问题也不好定位和解决, 所以其他场景下不推荐使用.

5. supervisord 的 fd 泄露问题

http://xiezhenye.com/2015/11/supervisord-%E7%9A%84-fd-%E6%B3%84%E9%9C%B2%E9%97%AE%E9%A2%98.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 一个深入追查问题的好例子.

6. Git使用教程

http://www.cnblogs.com/tugenhua0707/p/4050072.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: git是目前最先进的分布式版本控制系统了, 这篇文章详细介绍了git的常用操作, 公司内部目前大部分还是svn, 同时开放了gitlab.baidu.com

我关注的一周技术动态 2015.11.15

标签：

原文地址：http://www.cnblogs.com/zhengran/p/4964011.html