使用DockerSwarm搭建分布式爬虫集群在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一个服务器登录上去依次更新？有时候爬虫只需要在一个服务器上面运行，有时候需要在200个服务器上面运行。你是怎么快速切换的呢？一个服务器一个服务器登录上去开关？或者聪明一点，在Red
分类：
其他好文 时间：
2020-12-09 11:53:29
阅读次数：
6
Intellij热部署插件JRebel 项目需求，一直用eclipse的我，也要改用IDEA了，一开始，很不习惯。经过几天的慢慢摸索和习惯之后，发现IDEA确实很好用。dark的界面是我喜欢的，智能的提示也让写代码不再枯燥。 遗憾的是IDEA本身没有集成热部署工具，一开始改动代码之后，都需要重新ru ...
分类：
其他好文 时间：
2020-12-09 11:45:49
阅读次数：
4
（三） 创建 overlay 网络 上一节我们[搭建好实验环境，配置并运行了consul]，今天开始创建 overlay 网络。 在 host1 中创建 overlay 网络 ov_net1： -d overlay 指定 driver 为 overaly。 docker network ls 查看当 ...
分类：
其他好文 时间：
2020-12-08 13:02:25
阅读次数：
17
一日一技：限制你的Python程序所能使用的最大内存如果程序开发不当，可能会出现占用过多内存的情况。特别是在Docker里面，如果Python程序占用太多内存，可能会导致Docker容器死掉。为了限制Python程序所能使用的最大内存，我们可以使用Python自带的resource模块。首先获取系统默认的内存soft上限和hard上限：importresourcesoft,hard=resourc
分类：
编程语言 时间：
2020-12-08 12:46:49
阅读次数：
8
1.本地环境 Macbook pro 系统:macOS Mojave IDE: vs code 终端: iTerm2 + zshGo: homebrew安装 go版本1.14.3 其他数据库一类的支持软件使用Docker镜像 2.开启模块，配置国内代理 因为本机使用zsh, 所以在用户目录下，修改. ...
分类：
系统相关 时间：
2020-12-08 12:30:52
阅读次数：
8
1.安装mysql5.7 docker镜像 拉取官方mysql5.7镜像 docker pull mysql:5.7 查看镜像库 docker images 2.创建mysql容器 在本地创建mysql的映射目录 mkdir -p /root/mysql/data /root/mysql/logs ...
分类：
数据库 时间：
2020-12-07 12:39:29
阅读次数：
8
#官方下载docker #https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz tar zxvf docker-19.03.9.tgz mv docker/* /usr/bin 添加systemctl启动 ...
分类：
其他好文 时间：
2020-12-07 12:37:59
阅读次数：
5
测试环境： CentOS Linux release 7.6 PHP 7.2.32 两台服务器：192.168.1.109（Nginx），192.168.1.118（Apache） 1. 安装配置192.168.1.118上的Apache服务器，使之可以支持访问php 2. 安装配置192.168. ...
分类：
其他好文 时间：
2020-12-07 12:37:47
阅读次数：
6
http://dockone.io/topic/Docker https://www.sohu.com/a/372356697_262549 https://www.cnblogs.com/hwlong/articles/9060557.html https://blog.51cto.com/tli ...
分类：
其他好文 时间：
2020-12-07 12:29:08
阅读次数：
8
docker安装nginx及使用dockfile创建镜像和使用 ...
分类：
其他好文 时间：
2020-12-07 12:21:11
阅读次数：
6
