频繁的访问淘宝一个链接，然后抛出来一个滑动验证码，测试后发现淘宝发现某个ip请求频繁，就跑出验证码。解决办法是ip池 ...
分类：
其他好文 时间：
2018-12-29 13:53:26
阅读次数：
879
爬虫的类型分为：通用型爬虫、聚焦型爬虫。 通用型爬虫指的是搜索引擎， 聚焦型爬虫指的是针对哪家网站做针对性的爬取。 接下来分析一下其各自的手段和方法。 反爬手段：IP频率限制，在一定时间内对服务器发起较高频率的网络请求的IP。 用户信息，需要用户名密码及验证码的验证， ajax异步请求，页面无刷新 ...
分类：
其他好文 时间：
2018-12-23 17:57:34
阅读次数：
148
学到哪种程度 暂且把目标定位初级爬虫工程师，简单列一下吧： （必要部分） 了解企业级爬虫和个人爬虫的差异（企业级爬虫，首先在数据量上跟我们平时学习的时候爬虫，不是同一数量级，数据量大很多。其次，企业级爬虫代码一般部署到专门的爬虫服务器上，采取7*24小时运行，所以需要日志监控，异常维护。） 人生苦短 ...
分类：
编程语言 时间：
2018-11-27 14:40:11
阅读次数：
198
知己知彼百战不殆，对于竞争对手或者目标消费群体的数据收集，我们乐此不疲。在ip代理盛行的今天，爬虫技术已经可以被我们充分发挥，海量收集数据，毫不手软。如果不用代理ip，我们的爬虫行动往往会受到很多限制，以致最终被完全封锁掉。有什么方法能避免呢？往下看。1.验证码我们在很多网站会遇到，如果请求量大了之后就会遇到验证码的情况。最让人诟病的12306，其实也是一定程度上的防止非正当请求的产生。对于验证码
分类：
其他好文 时间：
2018-11-13 16:14:52
阅读次数：
251
1.flannel介绍flannel是coreos开发的容器网络解决方案。flannel为每个host分配一个subnet，容器从此subnet中分配ip。这些ip可以在host间路由，容器间无需nat和portmapping就可以跨主机通讯。每个subnet都是从一个更大的ip池中划分的，flannel会在每个主机上运行一个叫flanneld得agent，其职责是从ip池中分配subnet。为了
分类：
其他好文 时间：
2018-08-07 16:10:20
阅读次数：
737
什么是爬虫？ 百度百科：网络爬虫（又被称为网页，网络机器人，在社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取信息的程序或者脚本。 最近很多朋友问我，学习爬虫，学到什么程度可以去找工作呢？ 这篇文章会说说我自己的心得体验，关于爬虫、关于工作，仅供参考 为什么那么多人选择学习爬虫？ ...
分类：
其他好文 时间：
2018-08-04 15:50:30
阅读次数：
1309
middlewares.py setting.py 小蜘蛛代码 ...
分类：
其他好文 时间：
2018-04-21 17:31:52
阅读次数：
454
安装ntpdate 测试是否正常 设置定时任务 NTP服务器列表 | 区域[zone] | 域名[Domain] | IP池[IP Pool] | | | | | | 中国 "China] | cn.ntp.org.cn | [223.65.211.42][223.65.205.2][223.113 ...
分类：
其他好文 时间：
2018-03-04 10:37:52
阅读次数：
223
Scrapy爬取豆瓣电影top250的电影数据、海报，并保存在MySQL中。动态切换User-Agent,动态切换代理IP（ip池需要自己填充），下载延迟2.5秒 ...
分类：
数据库 时间：
2018-01-21 23:54:36
阅读次数：
2040
flannel是CoreOS开发的容器网络解决方案，flannel为每一个host分配一个subnet，容器从这些subnet中分配IP，这些IP可以在host之间路由，容器无需NAT和port mapping就可以跨主机通信。 每个subnet都是一个更大的IP池中划分的，flannel会在每个主 ...
分类：
其他好文 时间：
2017-11-11 14:07:13
阅读次数：
179
