分布式系统实践
1. 为什么大部分NoSQL不提供分布式事务?
http://www.jdon.com/47671?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
要点: 市面上各种NoSQL数据库种类繁多, 但是大部分NoSQL数据库都不提供分布式事务, 我也经常听到有些同学评价某些NoSQL数据库的缺点时就是说不提供分布式事务. 分布式事务不是实现不了, 而是代价较高, 本文介绍了实现分布式事务需要做出的牺牲和取舍.
2. Hadoop新型数据库Kudu系列文章1:概述
https://mp.weixin.qq.com/s?__biz=MjM5NzAyNTE0Ng==&mid=400245677&idx=1&sn=6f0bdce4baadaae13a107cf9502d2313&scene=1&srcid=11046bEUVoujwFcQ6qklevOI&key=b410d3164f5f798ea256140ce2691e6c458518b6a7561cde1cbe609c4d53f94d947e8a6b9a711773eb3e8fe0101c08b2&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Dv767RetHF9PZNIVw4xZDIvOF6EpRQTveqFDxE7MF3s4f6nhhlFz8Or1MfuETNmk
要点: 之前我们分享过Kudu的一些消息和论文, 本文对kudu进行了进一步分析和介绍, 这是一个文章系列, 本文是第一篇.
3. 阿里云破纪录的背后:377秒是如何炼成的?
http://mp.weixin.qq.com/s?__biz=MzA5ODM5MDU3MA==&mid=400318169&idx=1&sn=2a71771cc7524928ed8ed96deda166c0&scene=1&srcid=1105nZWUyFEGEpJEG0bKsE7q&key=b410d3164f5f798e8094ec3ee6c4d85ba5d3b49304b90014c496dd3c753df8adcdba1a43a17f6ac96c21899b1d8ae963&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Dv767RetHF9PZNIVw4xZDIvOF6EpRQTveqFDxE7MF3s4f6nhhlFz8Or1MfuETNmk
要点: 10月28日,Sort Benchmark官方宣布,阿里云用377秒完成了100TB的数据排序,打破了此前Apache Spark创造的1406秒纪录。在含金量最高的GraySort和MinuteSort两个评测系统中,阿里云分别在通用和专用目的排序类别中创造了4项世界纪录。本文介绍了实现这个成绩背后的技术支撑.
4. bigtable
http://dblab.xmu.edu.cn/post/google-bigtable/
要点: 本周和大家一起回顾google bigtable的经典论文, 连接的地址是我觉得非常专业的一篇中文译文, 帮助大家快速理解. 除了bigtable独特的数据模型之外(在当时很独特, 现在看上去很自然了), 我觉得bigtable的设计思想也有很多可以学习的地方, 比如使用GFS持久化存储简化数据多副本一致性的问题, 还比如对metatable和usertable采用几乎相同的处理方法从而简化架构的设计, 再比如对tablet的服务发现和容错的处理等等, 相信大家一定有所收获. 而且bigtable的论文中还透露了cluster management的一些痕迹, 说明google从2006年就已经开始开发borg了, 并且使得GFS, bigtable这样的服务运行在borg上, 再次感叹google对分布式架构的抽象和驾驭能力, 的确全球领先了.
服务化和资源管理技术
1. 如何在微服务之间共享使用数据库
https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400187649&idx=1&sn=45136f67b1687157151d6fb9d78368f1&scene=0&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035efcd80e7a6d12a8cb9cba90a74ca3039658d1ac32cea08cbc4b8addf698c82de02ccc719276d417bb1&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=9DzJPgziC1XHpP9ECZaD3dDGUt3m3D6%2FtEJ5aFFOv5Rh3HcqPOpIAUNUQ%2BDE8BaJ
要点: 本文通过一个案例告诉我们, 一定要确保通过稳定的API来访问数据库,从而将简单的数据库转变为服务,也使得共享使用更为容易.
2. 使用开源Calico构建Docker多租户网络
https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=400983139&idx=1&sn=f033e3dca32ca9f0b7c9779528523e7e&scene=0&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035ef895cfba03d802fa919cae9d8e727f916a6efec6ecfc0e16af93a5ff73dcc1b97aac629bb8d0aba18&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=RAzzS3ZE2BRqq%2BReiUfHvdK5%2F2sw8CMKfB0ABbYciM6zhUriSCeKfY4t7lXZdeQe
要点: 网络虚拟化是容器比较要解决的问题之一, 否则就无法做到run any where的目标了, 那么如何实现不同容器之间既要互相隔离又要互相访问呢? 除了docker自带的几种解决方案之外, 本文介绍了另外一个开源项目Calico来解决这个问题.
3. 10张图带你深入理解Docker容器和镜像
https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400203561&idx=1&sn=c2bd52898c0b305ffa6571d50518b569&scene=0&key=b410d3164f5f798e579c4c9e5de56f2b0bcbc75bbfd93f13a973020efaf82d3b8602c016c28c4d9ae366382188149735&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=r0WSmBsqKJHGjt0CTW362s7JqbPstgdKOEqO8CJ3WkYN4e%2BgITjrY6amVuFcF3F3
要点: 非常好的一篇说明docker镜像原理的文章, 特别是文章的配图, 清晰易懂.
4. Docker 容器的 root 安全么?
http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400239043&idx=1&sn=47bb46011e35d7dbecf912a427063438&scene=0&key=b410d3164f5f798e3441c3e478276d9ab66b8182a87650a58453d8ec2b7b57294e8414990d057c1635f261e7f327e541&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=r0WSmBsqKJHGjt0CTW362s7JqbPstgdKOEqO8CJ3WkYN4e%2BgITjrY6amVuFcF3F3
要点: 说到容器替代虚拟机, 一个需要着重考虑的方面就是安全, 那么docker的安全机制如何? 本文介绍了docker中的root用户和宿主机的root用户在权限方面的差异.
5. Docker 1.9 发布:Swarm 和跨主机网络进入 production-ready 阶段
http://dockone.io/article/791
要点: docker 1.9最大的变化在于虚拟化网络, 通过ovs实现了跨主机的虚拟网络设置, 除此之外, 外围配套的Swarm和Compose等设施也发布了很多新的功能. http://dockone.io/article/799?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io 这篇文章对新功能做了详细的介绍.
6. 蘑菇街基于Docker的私有云实践
https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400213681&idx=1&sn=72865dc8bd94c5b31b33e3bd000e8f42&scene=0&key=b410d3164f5f798e5203211d1910044f793dcbcad153709273b496826177363350cbbcfe8673cc4c8f9e9bc8bb576899&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Dv767RetHF9PZNIVw4xZDIvOF6EpRQTveqFDxE7MF3s4f6nhhlFz8Or1MfuETNmk
要点: 本文介绍了蘑菇街使用docker过程中遇到的问题和解决方法, 可以看到, 虽然docker已经发展了1年多并且发展速度惊人, 但是仍然会有很多问题, 生产环境使用docker在稳定性上还有很长一段路要走.
7. kubernetes学习文档
https://github.com/yaouser/GoUnix/tree/master/x-project/kubernetes
要点: 这几篇kubernetes的学习文档非常不错, 作者写的非常用心而且对kubernetest的讲解也比较深入
服务调度和 Trace 技术
1. 服务端开发那些事儿
http://mp.weixin.qq.com/s?__biz=MjM5NzAwNDI4Mg==&mid=400623317&idx=1&sn=5a9c5b75148dd308ff35eec6ae041cab
要点: 服务端开发对于任何互联网公司来讲,都并非易事,它所涉及的技术知识面非常广泛,如果开发人员的经验不足,将直接影响产品用户的体验。作为七牛云存储创始人,许式伟有着超过15年的编程经验,对于服务端开发那些事甚是了解。因此,在本文中,他将对服务端开发所涉及的各方面原理知识进行详细阐述,内容涵盖网络协议、操作系统原理、存储系统原理、模块设计、服务器设计等多方面。
DevOps 技术
1. OWL:国人开源的分布式监控系统
http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400209726&idx=1&sn=e778e309333c8a6ccbe49af27ca494f1&scene=1&srcid=1102jMLoQUsEU5psWchyFfu2&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035ef7e50f64b3f628a08a03961c2fe64340b3a07f0d3b3112efac028cddf03c3a11c1ca2daced21575a1&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=9DzJPgziC1XHpP9ECZaD3dDGUt3m3D6%2FtEJ5aFFOv5Rh3HcqPOpIAUNUQ%2BDE8BaJ
要点: 之前分享过OWL的基本功能介绍, 本文介绍了OWL的设计思路, 重点是client端和server端的高并发支持.
2. 初探精益运维体系
https://mp.weixin.qq.com/s?__biz=MzA4NjAzMjEyOA==&mid=400858947&idx=1&sn=bc8e03f8b7662e6f5d77065615faace0&scene=0&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035ef6ec16631081621c16b16f14827394bcb105bb68696535f9f14cbea0b185790b4b0c25364288d3d3a&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=9DzJPgziC1XHpP9ECZaD3dDGUt3m3D6%2FtEJ5aFFOv5Rh3HcqPOpIAUNUQ%2BDE8BaJ
要点: 把"丰田屋"应用到运维体系中, 文章很独特, 观点很鲜明.
3. 新一代分布式任务调度框架:当当elastic-job开源项目的10项特性
https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=401047377&idx=1&sn=2a88e5b10d80e2b8bee289abd2fe4bd1&scene=0&key=b410d3164f5f798eb3accec29e9a856d850791bb34424a8d16523374e89d7c888cb662a70ab7ba10232e75bd5acce312&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Dv767RetHF9PZNIVw4xZDIvOF6EpRQTveqFDxE7MF3s4f6nhhlFz8Or1MfuETNmk
要点: 任务调度和执行是所有运维同学经常做的工作, 一个友好的分布式的任务调度和执行框架对于大规模服务运维来说是比不可少的, 遗憾的是目前没有一款易用性好的开源系统. 近期当当开源的自身研发的elastic-job分布式作业调度系统, 希望能够填补这一空白.
工具集合
1. 你好,Oh My Zsh
http://swiftcafe.io/2015/10/31/cafe-time-omz/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
要点: Oh My Zsh 是一款社区驱动的命令行工具,正如它的主页上说的,Oh My Zsh 是一种生活方式。它基于 zsh 命令行,提供了主题配置,插件机制,已经内置的便捷操作。给我们一种全新的方式使用命令行。
2. 如何才能成为一个好的技术领导者?
http://mp.weixin.qq.com/s?__biz=MzA4NTU2MTg3MQ==&mid=400644089&idx=1&sn=1cf732f5529c64ee8d3fa9e55dbd84db&scene=1&srcid=1103oQTIqljUhPZm3BfYhllx&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035efdb65ea1873069e316808884ed922970ac92441cb5497e1769923100a6bf4b9a9a0ee7a4ffe7bdceb&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=r0WSmBsqKJHGjt0CTW362s7JqbPstgdKOEqO8CJ3WkYN4e%2BgITjrY6amVuFcF3F3
要点: 近日,一名有超过15年软件开发经验的软件开发人员在Hacker News上提出了一个问题:如何才能成为一个好的技术领导者?该问题一经提出,在不到一天的时间内就获得了160多条回复。关于技术领导者应该具备的品质和管理技巧,网友们提出了各自的看法和建议,本文择要归纳如下。
3. Linux 性能优化之 IO 子系统
https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400348568&idx=2&sn=91d119076bee0412c72cd274220c56d6&scene=0&key=b410d3164f5f798e743c10feb8ec247af5a45b730394c6eb17fcf82911591c926a5159a0c0552a973a0273d44c0be68f&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=Dv767RetHF9PZNIVw4xZDIvOF6EpRQTveqFDxE7MF3s4f6nhhlFz8Or1MfuETNmk
要点: 本文对linux文件系统和IO子系统进行了一次深入浅出的讲解, 帮助大家理解linux块设备的IO过程和参数调优方法
4. C++‘s most vexing parse(c++最令人费解的解析)
http://zkt.name/c-s-most-vexing-parse/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
要点: 真是令人匪夷所思的问题, 请大家注意避免.