flannel是为实现多网段通信的第三方的解决方案，是CoreOS开发的容器网络解决方案。flannel为每个host分配一个subnet，容器从此subnet中分配IP，这些IP可以在host间路由，容器间无需NAT和portmapping就可以跨主机通信。每个subnet都是从一个更大的IP池中划分的，flannel会在每个主机上运行一个叫flanneld的agent，其职责就是从池子
分类：
其他好文 时间：
2020-01-17 10:17:21
阅读次数：
188
我在使用python写爬虫时用到了requests.get()方法： def openUrl(url, ip, agent): #函数形参为url:网页地址; ip:ip池; agent:User-Agent, 三者均为字符串类型 requests.get(url, headers=agent, p ...
分类：
其他好文 时间：
2020-01-06 19:23:08
阅读次数：
178
urllib3功能强大且易于使用，用于HTTP客户端的Python库。许多Python的原生系统已经开始使用urllib3。urllib3提供了很多python标准库urllib里所没有的重要特性：线程安全 连接池 客户端SSL/TLS验证 文件分部编码上传 协助处理重复请求和HTTP重定位 支持g... ...
分类：
编程语言 时间：
2019-12-30 11:28:24
阅读次数：
173
51zxw发布了一个新课程，是今年二月份的，现在总算是辞职空下来时间了，想着学习下爬虫吧，反正学了也不亏。爬虫算是最简单的东西了，爬虫背靠数据挖掘、数据分析和机器学习，与大数据和AI相比显得没那么高大上，随便一个程序员都能写一个的小爬虫。可是，在数据封锁隐藏，反爬机制不断深入的今天，如何设计爬虫分布 ...
分类：
编程语言 时间：
2019-12-13 23:43:12
阅读次数：
138
环境： manager： 192.168.122.10 4核8G LVM100G硬盘 nova1: 192.168.122.20 4核4G LVM100G硬盘 nova2： 192.168.122.21 4核4G LVM100G硬盘 虚拟公有IP池范围：192.168.122.50 192.168. ...
分类：
其他好文 时间：
2019-11-10 19:28:38
阅读次数：
137
由于公司业务要求，西瓜代理已经不满足需求，准备更换新的代理IP池，所以调研测试了一下市面上的各家付费代理（免费代理可用率低故不考虑），功能限制和价格情况等如何，以便从中挑选满足要求的代理。 1、目标站 2、情报收集 整理套餐的价格和类型，API频率，每秒提取上限，每天提取上限，使用时长等信息： （p ...
分类：
其他好文 时间：
2019-09-20 20:58:59
阅读次数：
99
是一个局域网的网络协议，使用UDP协议工作，主要有两个用途：用于内部网或网络服务供应商自动分配IP地址；给用户用于内部网管理员作为对所有计算机作中央管理的手段。1）要在CentOS7上安装DHCP软件包命令如下yum-yinstalldhcp2）把配置文件复制到etc下命令如下cp/usr/share/doc/dhcp-4.2.5/dhcpd.conf.example/etc/dhcp/dhcpd
分类：
其他好文 时间：
2019-05-10 09:50:21
阅读次数：
185
自建Kubernetes的LoadBalancer类型服务方案-MetalLB[TOC]1.环境kubernetes环境：kubeadmv1.13.1，网络使用flannelhelmv2.13.02.安装helmfetch--untarstable/metallbcdmetallbvimvalues.yaml#配置ip池helminstall--namemetallb--namespcekube-
分类：
数据库 时间：
2019-03-21 18:42:07
阅读次数：
1190
爬虫代理IP池 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题 代理IP从何而 ...
分类：
编程语言 时间：
2019-01-18 12:25:56
阅读次数：
204
UA池(每一次请求采用池中的随机UA) a) 在中间件类中进行导包 b)封装一个基于UserAgentMiddleware的类，且重写该类 例： middleware.py settings.py 代理池（IP 每次请求的IP地址随机从IP池中获取） middleware.py ...
分类：
其他好文 时间：
2019-01-02 15:49:11
阅读次数：
1747
