码迷,mamicode.com
首页 > 其他好文 > 详细

openresty + gor+minio 集成

时间:2020-07-20 13:26:25      阅读:69      评论:0      收藏:0      [点我收藏+]

标签:build   one   服务   debug   mirror   erro   图片   number   java   

以前有写过简单的容器集成,以下是关于s3集成的,主要是测试数据的捕捉以及回放

参考流程

技术图片

 

 

 


简单说明
gor 与openresty 部署在一起,为了方便基于supervisord 管理,默认已经开启请求捕捉(80端口),同时supervisord集成了管理,可以通过ui操作是否捕捉
对于捕捉的数据存储在minio s3中,如果需要回放操作,我们直接可以基于gor tools 将存储的数据回放给需要测试的服务

环境准备

  • docker-compose 文件
 
version: "3"
services: 
  minio: 
    image: minio/minio
    command: server /data
    volumes: 
    - "./data:/data"
    ports: 
    - "9000:9000"
    environment:
      - "MINIO_ACCESS_KEY=minio"
      - "MINIO_SECRET_KEY=minio123"
  api:
    image: dalongrong/openresty-gor:s3
    build: 
      dockerfile: ./Dockerfile-openresty
      context: ./
    privileged: true
    cap_add: 
    - ALL
    volumes:
    - "./supervisor.conf:/etc/supervisord.conf"
    - "./nginx.conf:/usr/local/openresty/nginx/conf/nginx.conf"
    - "./demoapps:/opt/demoapps"
    - "./capture:/app/capture"
    - "./logs/access-test.log:/usr/local/openresty/nginx/logs/access-test.log"
    ports:
    - "80:80"
    - "8080:8080"
    - "9001:9001"
  • supervisord.conf 配置
[program:website]
command = /usr/local/openresty/bin/openresty
[inet_http_server]
port = :9001
?
[program:gor]
# 此处需要指定关于s3 的配置
environment=AWS_ACCESS_KEY_ID="minio",AWS_SECRET_ACCESS_KEY="minio123",AWS_REGION="demo",AWS_ENDPOINT_URL="http://minio:9000",AWS_DEBUG="true"
stdout_logfile = gor.log, /dev/stdout
command = gor --input-raw :80  --output-file s3://logs/%Y-%m-%d-%H-%M.gz
  • openresty+gor dockerfile
    添加了时区以及gor+supervisord的集成
 
FROM openresty/openresty:alpine
ENV PATH=$PATH:/app
RUN  /bin/sed -i ‘s,http://dl-cdn.alpinelinux.org,https://mirrors.aliyun.com,g‘ /etc/apk/repositories
ENV TZ Asia/Shanghai
RUN apk add --update --no-cache \
    tzdata && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
COPY --from=dalongrong/gor /app/gor /app/gor
COPY --from=ochinchina/supervisord:latest /usr/local/bin/supervisord /usr/local/bin/supervisord
EXPOSE 9001 8080 80
COPY supervisor.conf /etc/supervisor.conf
CMD ["/usr/local/bin/supervisord"]
  • 启动
docker-compose up -d
  • s3 bucket 创建
    需要创建logs(和自己使用gor 的配置有关系)

测试效果

  • supervisord 管理界面
    我们可以通过此管理界面控制gor 是否进行数据捕捉

技术图片

 

 

  • minio 存储

技术图片

 

 技术图片

 

 

  • 回放

    我使用了本地工具,同时注意需要配置关于s3的信息

 
export AWS_ACCESS_KEY_ID=minio
export AWS_REGION=demo
export AWS_SECRET_ACCESS_KEY=minio123
export AWS_ENDPOINT_URL=http://127.0.0.1:9000
export AWS_DEBUG=true
./gor-mac --input-file s3://logs/2020-07-20-10-19_13.gz   --output-http "http://localhost" 

对于回放效果的查看可以通过查看openresty 的log

类似可以集成的工具

mountebank(可以mock http,https,tcp,smtp),diffy (请求比较,主要是http)
hoverfly 一个不错的流量处理工具,nginx 的mirrror也是一个不错的选择

说明

以上只是一个简单的集成试用,实际如果我们需要基于捕捉的数据进行业务操作回放,还有好多事情需要做

参考资料

https://github.com/buger/goreplay
https://github.com/opendiffy/diffy
https://github.com/bbyars/mountebank
https://github.com/spectolabs/hoverfly
https://github.com/rongfengliang/openresty_rewrite_static/tree/gor

openresty + gor+minio 集成

标签:build   one   服务   debug   mirror   erro   图片   number   java   

原文地址:https://www.cnblogs.com/rongfengliang/p/13344164.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!