背景
在接触Golang以前,我用C/C++、Lua及Python作为主要开发语言。
C/C++的问题:
- 开发效率低,对开发者要求高
- libc只向后兼容,运维难度偏大
Lua/Python的问题:
- 动态语言,缺少编译过程,低级错误频出
- 缺少有效的性能分析及调试工具
场景
当时刚完成了nginx WAF模块的开发工作,便开始着手搭建WAF的后台管理系统。 由于之前同事都用的fluentd作为日志收集组件,为保持基础组件的一致性,我也选择了fluentd。 即最终架构为fluentd->mongodb->mysql,再基于mysql做前端数据展示。 后来被坑了许多次,就决定用Go重写fluentd以解决下面几个问题:
- fluentd在ubuntu 9.04偶尔会出现假死,导致数据丢失
- fluentd难以接入公司现有的包发布系统,导致运维难度极大
- mongodb采用mmap实现,数据量大时占用内存过高
方案
事实上,这两个项目都是为了解决上面提到的问题。 说起来也许你不信,这两个套代码是我在业余时间完成的,也就是说这根本不算在KPI之内。 其实一开始我也没想到能够这么快就写得七七八八,毕竟是现学现用啊。 但实际情况就是,我花了一周时间写完httpmq,一个月多时间就写好了gofluent……当然,这两个项目还有很多不完善的地方。目前就日志收集方案来说,我更推荐elastic/logstash-forwarder · GitHub和elastic/logstash · GitHub配合使用。
为什么选择Golang
那么,为什么我会选择Golang呢?其实我在做出这个选择之前已经花了大量时间做过详尽调研。 国外如Google、AWS、Cloudflare、CoreOS等,国内如七牛、阿里等都已经开始大规模使用Golang开发其云计算相关产品。 跟着世界级巨人的脚步应该不至于走错方向,而且在学习Golang的过程中,我也渐渐被其背后的设计哲学所折服。
另外,云风博客中曾说过这样一句话:
我发现我花了四年时间锤炼自己用 C 语言构建系统的能力,试图找到一个规范,可以更好的编写软件。结果发现只是对 Go 的模仿。缺乏语言层面的支持,只能是一个拙劣的模仿。
以下则是我对Golang的浅薄理解:
- 有C基础,学Golang非常轻松
- 同步方式轻松实现高并发
- 代码简洁,格式统一,阅读方便
- 性能强劲的同时,开发效率又不差于Python等动态语言
效果
最开始准备上线的时候其实心里挺忐忑,毕竟一旦出现故障,不仅黑锅得自己背,面子也上过不去啊。 还好结果蛮漂亮,自上线后没出现过一次突发性BUG,降低运维难度的同时还减少了机器的负载。
总而言之,从工程的角度上来看,对于大多数后台应用场景,选择Golang是极为明智的选择。 这样可以很轻松的兼顾运行性能、开发效率及维护难度这三大让诸多程序猿欲仙欲死的奇点。