docker深入2-使用registrator和consul-template自动注册和变更服务

标签：docker   consul   registrator   consul-template   haproxy   

docker深入2-使用registrator和consul-template自动注册和变更服务

2016/6/1

一、示例
测试环境基于文档：docker深入2-熟悉和找不同.txt

    host-n35                        host-n36
-----------------------------------------------------
                                    conf
                                    consul-tempalte
----------------------------------------
webapp(container)       ------      webapp(container) 
----------------------------------------
registrator_35          ------      registrator_36
consul-node1            ------      consul-node2
-----------------------------------------------------

二、配置
1、配置 consul 集群
调整防火墙：
firewall-cmd --zone=public --add-port=8300-8302/tcp
firewall-cmd --zone=public --add-port=8301-8302/udp
firewall-cmd --zone=public --add-port=8400/tcp
firewall-cmd --zone=public --add-port=8500/tcp
firewall-cmd --zone=public --add-port=53/tcp
firewall-cmd --zone=public --add-port=53/udp

持久：
firewall-cmd --zone=public --add-port=2375/tcp --permanent
firewall-cmd --zone=public --add-port=4000/tcp --permanent
firewall-cmd --zone=public --add-port=8300-8302/tcp --permanent
firewall-cmd --zone=public --add-port=8301-8302/udp --permanent
firewall-cmd --zone=public --add-port=8400/tcp --permanent
firewall-cmd --zone=public --add-port=8500/tcp --permanent
firewall-cmd --zone=public --add-port=53/tcp --permanent
firewall-cmd --zone=public --add-port=53/udp --permanent

注1：如下配置简化了 IP 映射的细节，直接使用 0.0.0.0 来提供服务。
注2：cunsul 的 service 要使用 dns 来提供域名解析，这样 registrator 才能顺利的注册服务到 consul 上来。
【n35】
docker run -d --restart=always -v /data/docker/consul:/data -p 8300:8300 -p 8301:8301 -p 8301:8301/udp -p 8302:8302 -p 8302:8302/udp -p 8400:8400 -p 8500:8500 -p 53:53 -p 53:53/udp --name=consul-node1 progrium/consul -server -advertise 10.111.222.35 -bootstrap-expect 2

【n36】
docker run -d --restart=always -v /data/docker/consul:/data -p 8300:8300 -p 8301:8301 -p 8301:8301/udp -p 8302:8302 -p 8302:8302/udp -p 8400:8400 -p 8500:8500 -p 53:53 -p 53:53/udp --name=consul-node2 progrium/consul -server -advertise 10.111.222.36 -join 10.111.222.35

【查看 n35 日志】
[Jack@n35 ~]$ docker logs -f consul-node1
    2016/05/23 08:58:58 [INFO] serf: EventMemberJoin: 0db39e28b326 10.111.222.36
    2016/05/23 08:58:58 [INFO] consul: adding server 0db39e28b326 (Addr: 10.111.222.36:8300) (DC: dc1)
    2016/05/23 08:58:58 [INFO] consul: Attempting bootstrap with nodes: [10.111.222.35:8300 10.111.222.36:8300]
    2016/05/23 08:58:58 [WARN] raft: Heartbeat timeout reached, starting election
    2016/05/23 08:58:58 [INFO] raft: Node at 10.111.222.35:8300 [Candidate] entering Candidate state
    2016/05/23 08:58:58 [WARN] raft: Remote peer 10.111.222.36:8300 does not have local node 10.111.222.35:8300 as a peer
    2016/05/23 08:58:58 [INFO] raft: Election won. Tally: 2
    2016/05/23 08:58:58 [INFO] raft: Node at 10.111.222.35:8300 [Leader] entering Leader state
    2016/05/23 08:58:58 [INFO] consul: cluster leadership acquired
    2016/05/23 08:58:58 [INFO] consul: New leader elected: be67d37cbf68
    2016/05/23 08:58:58 [INFO] raft: pipelining replication to peer 10.111.222.36:8300
    2016/05/23 08:58:58 [INFO] consul: member ‘be67d37cbf68‘ joined, marking health alive
    2016/05/23 08:58:58 [INFO] consul: member ‘0db39e28b326‘ joined, marking health alive

    
【查看 n36 日志】
[Jack@n36 ~]$ docker logs -f consul-node2
    2016/05/23 08:58:58 [INFO] consul: adding server be67d37cbf68 (Addr: 10.111.222.35:8300) (DC: dc1)
    2016/05/23 08:58:58 [INFO] consul: New leader elected: be67d37cbf68

    
    
2、配置 registrator 来注册 docker container 的信息到上述 consul 集群中。
【n35】
docker run -d --restart=always -v /var/run/docker.sock:/tmp/docker.sock --name registrator_35 gliderlabs/registrator consul://10.111.222.35:8500

【n36】
docker run -d --restart=always -v /var/run/docker.sock:/tmp/docker.sock --name registrator_36 gliderlabs/registrator consul://10.111.222.36:8500

【查看 n35 日志】
[Jack@n35 ~]$ docker logs -f registrator_35
2016/05/23 09:05:08 Starting registrator v7 ...
2016/05/23 09:05:08 Using consul adapter: consul://10.111.222.35:8500
2016/05/23 09:05:08 Connecting to backend (0/0)
2016/05/23 09:05:08 consul: current leader  10.111.222.35:8300
2016/05/23 09:05:08 Listening for Docker events ...
2016/05/23 09:05:08 Syncing services on 3 containers
2016/05/23 09:05:08 ignored: 205155915c61 no published ports
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:53
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:8300
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:53:udp
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:8302
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:8302:udp
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:8400
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:8500
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:8301:udp
2016/05/23 09:05:08 added: be67d37cbf68 205155915c61:consul-node1:8301
2016/05/23 09:05:08 added: 312c4fdb40d0 205155915c61:reg4work:5000

【查看 n36 日志】
[Jack@n36 ~]$ docker logs -f registrator_36
2016/05/23 09:05:23 Starting registrator v7 ...
2016/05/23 09:05:23 Using consul adapter: consul://10.111.222.36:8500
2016/05/23 09:05:23 Connecting to backend (0/0)
2016/05/23 09:05:23 consul: current leader  10.111.222.35:8300
2016/05/23 09:05:23 Listening for Docker events ...
2016/05/23 09:05:23 Syncing services on 2 containers
2016/05/23 09:05:23 ignored: 1f61c2d2bcf9 no published ports
2016/05/23 09:05:23 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:8302:udp
2016/05/23 09:05:24 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:8500
2016/05/23 09:05:24 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:8301
2016/05/23 09:05:24 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:53:udp
2016/05/23 09:05:24 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:8300
2016/05/23 09:05:24 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:8301:udp
2016/05/23 09:05:24 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:8302
2016/05/23 09:05:24 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:53
2016/05/23 09:05:24 added: 0db39e28b326 1f61c2d2bcf9:consul-node2:8400


分别在 2 个 host 上启动 1 个 container，观察是否自动被注册到 consul 中：
[Jack@n36 ~]$ docker run -d -P --name z001 training/webapp python app.py
66ef0c6ce19b6c33e13d772ada5504732c032046bb9cd2410ec48545111aa140
[Jack@n35 ~]$ docker run -d -P --name z002 training/webapp python app.py 
7fde646e0c29370ff1375f4692f4dc64c14eda490997d736cb2cc2a0712ce039

再次查看日志：
【查看 n35 日志】
2016/05/23 09:09:11 added: 7fde646e0c29 205155915c61:z002:5000
【查看 n36 日志】
2016/05/23 09:08:38 added: 66ef0c6ce19b 1f61c2d2bcf9:z001:5000


通过 API 来查看 webapp 的内容：
[Jack@n36 ~]$ curl -s 10.111.222.35:8500/v1/catalog/service/webapp |python -mjson.tool
[
    {
        "Address": "10.111.222.36",
        "Node": "0db39e28b326",
        "ServiceAddress": "",
        "ServiceID": "1f61c2d2bcf9:z001:5000",
        "ServiceName": "webapp",
        "ServicePort": 32774,
        "ServiceTags": null
    },
    {
        "Address": "10.111.222.35",
        "Node": "be67d37cbf68",
        "ServiceAddress": "",
        "ServiceID": "205155915c61:z002:5000",
        "ServiceName": "webapp",
        "ServicePort": 32768,
        "ServiceTags": null
    }
]

3、使用 consul-template
目的：在一台测试机上安装 consul-template 来从 consul 获取数据，更新本地的某个配置文件。
从下述页面选择一个版本：
https://releases.hashicorp.com/consul-template/

注3：将 n36 充当测试机。

[root@n36 ~] curl https://releases.hashicorp.com/consul-template/0.14.0/consul-template_0.14.0_linux_amd64.zip -o consul-template.zip && unzip consul-template.zip && mv ./consul-template /usr/bin/

生成一个简易的模版来测试：
[Jack@n36 ~]$ echo -e ‘{{range service "webapp"}}\nserver {{.Address}}:{{.Port}}{{end}}‘ > /tmp/consul.ctmpl
[Jack@n36 ~]$ cat /tmp/consul.ctmpl
{{range service "webapp"}}
server {{.Address}}:{{.Port}}{{end}}

启动 consul-template 来看看模版生成的内容是啥：
[Jack@n36 ~]$ consul-template -consul 10.111.222.35:8500 -template "/tmp/consul.ctmpl:/tmp/consul.result" -once
结果如下：
[Jack@n36 ~]$ cat /tmp/consul.result

server 10.111.222.36:32774
server 10.111.222.35:32768

如上所示，符合预期。

测试请求是否正常：
[Jack@n36 ~]$ curl 10.111.222.36:32774
Hello world![Jack@n36 ~]$ 
[Jack@n36 ~]$ curl 10.111.222.35:32768
Hello world![Jack@n36 ~]$ 
[Jack@n36 ~]$


4、移除 webapp 后观察变化
[Jack@n35 ~]$ docker rm -f z002
z002
【查看 n35 日志】
[Jack@n35 ~]$ docker logs -f registrator_35
2016/05/23 09:53:23 removed: 7fde646e0c29 205155915c61:z002:5000

[Jack@n35 ~]$ docker logs -f consul-node1
    2016/05/23 09:53:23 [INFO] agent: Deregistered service ‘205155915c61:z002:5000‘

符合预期。









三、疑惑
Q1、consul 服务注意事项？
A：
-bootstrap-expect 3：表明需要有3个节点，才能启动集群。
-bootstrap：单个节点使用这个标记来立即启动服务，而不是用来等待集群的创建。
-advertise：来申明 consul 使用哪个 IP 来提供服务。
-join：指定第一个 consul 服务的 IP 来加入集群。


Q2、registrator 服务注意事项？
A：在 overlay 网络下，配置 consul 集群时，DNS 端口使用哪个 IP 来提供服务？ registrator 是否能检测到服务并注册成功呢？
笔者了解到以下2个方面需要注意：
1、配置 consul 时，指定了映射 53 端口到外部的IP，这个 ip 应该如何选择需要琢磨下。
2、配置 registrator 时，可以指定 docker 参数 --net，也可以指定 registrator 的参数 -internal，用途需要琢磨下。
Docker Options
--net=host	recommended	Helps Registrator get host-level IP and hostname

Registrator Options
-internal		Use exposed ports instead of published ports


Q3、consul-template 服务注意事项？
A：
-consul  指定 consul 服务的IP:PORT。
-template 指定 输入模版:输出模版:命令。
-once 表明 在命令行运行一次就退出。
-dry  表明 将结果输出到控制台，并不写入磁盘文件，且命令也不启动。



Q4、如果只有一台服务器，如何体验？
A：以【n36】为例：
1）启动一个 consul 服务
[Jack@n36 ~]$ docker run -d --restart=always -v /data/docker/consul-test:/data -p 8300:8300 -p 8301:8301 -p 8301:8301/udp -p 8302:8302 -p 8302:8302/udp -p 8400:8400 -p 8500:8500 -p 53:53 -p 53:53/udp --name=consul-test progrium/consul -server -advertise 10.111.222.36 -bootstrap


2）启动一个 registrator 服务
[Jack@n36 ~]$ docker run -d --restart=always -v /var/run/docker.sock:/tmp/docker.sock --name registrator_36 gliderlabs/registrator consul://10.111.222.36:8500


3）启动 docker 容器，registrator 将自动注册容器信息到 consul 中。
[Jack@n36 ~]$ docker run -d -P --name z001 training/webapp python app.py
[Jack@n36 ~]$ docker run -d -P --name z002 training/webapp python app.py
[Jack@n36 ~]$ docker run -d -P --name z003 training/webapp python app.py


4）查看 consul 中注册的内容
[Jack@n36 ~]$ curl -s 10.111.222.36:8500/v1/catalog/service/webapp |python -mjson.tool


5）查看 consul-template 生成的结果
[Jack@n36 ~]$ consul-template -consul 10.111.222.36:8500 -template "/tmp/consul.ctmpl:/tmp/consul.result" -once


6）应用到 haproxy 上
[root@n36 ~]# yum install haproxy
[root@n36 ~]# cp -a /etc/haproxy/haproxy.cfg{,.ctmpl}

调整 haproxy 模版：
[root@n36 ~]# vim /etc/haproxy/haproxy.cfg.ctmpl
（略）
backend app
    balance     roundrobin
    {{range service "webapp"}}
    server app-{{.Port}} {{.Address}}:{{.Port}} check{{end}}
    

生成配置并重启服务：
[root@n36 ~]# consul-template -consul 10.111.222.36:8500 -template "/etc/haproxy/haproxy.cfg.ctmpl:/etc/haproxy/haproxy.cfg:systemctl restart haproxy.service" -once

验证配置：
[root@n36 ~]# cat /etc/haproxy/haproxy.cfg
（略）
backend app
    balance     roundrobin
    
    server app-32774 10.111.222.36:32774 check
    server app-32775 10.111.222.36:32775 check
    server app-32776 10.111.222.36:32776 check

检查 haproxy 服务的状态
[root@n36 ~]# systemctl status haproxy.service


符合预期。
注：如果 status 显示 haproxy 绑定端口失败，权限异常等问题，导致启动服务失败，则要先考虑是否启用了 selinux，很简单，按照如下操作调整设置即可验证是否受其影响。
临时关闭：setenforce 0
查看状态：sestatus 



ZYXW、参考
1、consul
https://hub.docker.com/r/progrium/consul/

2、registrator
http://gliderlabs.com/registrator/latest/user/run/

3、consul-template
https://github.com/hashicorp/consul-template
https://releases.hashicorp.com/consul-template/
https://jlordiales.me/2015/04/01/consul-template/
http://sirile.github.io/2015/07/28/scaling-with-discovery-on-docker-swarm-with-consul-registrator-and-haproxy-with-prometheus-monitoring-and-elk-log-aggregation.html

4、haproxy
http://serverfault.com/questions/654599/weird-interaction-with-systemctl-with-haproxy-on-centos-7

docker深入2-使用registrator和consul-template自动注册和变更服务

标签：docker   consul   registrator   consul-template   haproxy   

原文地址：http://nosmoking.blog.51cto.com/3263888/1785248