一个易用的IP代理池 stand 写爬虫时常常会遇到各种反爬虫手段, 封 IP 就是比较常见的反爬策略 遇到这种情况就需要用到代理 IP, 好用的代理通常需要花钱买, 而免费的代理经常容易失效, 所以就需要自己搭建 IP 代理池, 来获取免费高效的代理 IP. 下面介绍一个自己写的 IP 代理池, ...
分类：
其他好文 时间：
2019-12-17 15:12:34
阅读次数：
296
下载安装 下载源码: git clone git@github.com:jhao104/proxy_pool.git 或者直接到https://github.com/jhao104/proxy_pool/releases 下载zip文件 安装依赖: pip install -r requiremen ...
分类：
其他好文 时间：
2019-12-16 17:45:14
阅读次数：
121
1、安装fiddler 。 2、设置fiddler 、tool==》 option里面 https 要打开，然后选择actions 第一个 安装本地证书； 3、设置手机访问的数据都要经过fiddler这个服务器 先看下远程代理服务器的端口， 还要设置允许远程访问； 4、手机设置wifi的ip， 代理 ...
分类：
移动开发 时间：
2019-12-12 10:25:52
阅读次数：
167
爬虫面临的问题 不再是单纯的数据一把抓 多数的网站还是请求来了，一把将所有数据塞进去返回，但现在更多的网站使用数据的异步加载，爬虫不再像之前那么方便 很多人说js异步加载与数据解析，爬虫可以做到啊，恩是的，无非增加些工作量，那是你没遇到牛逼的前端，多数的解决办法只能靠渲染浏览器抓取，效率低下，接着往 ...
分类：
编程语言 时间：
2019-12-03 19:43:32
阅读次数：
458
IP地址是指互联网协议地址（英语：Internet Protocol Address，又译为网际协议地址），是IP Address的缩写。IP地址是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。目前还有些ip代理软件，但大部分都收费 ...
分类：
其他好文 时间：
2019-11-25 23:46:25
阅读次数：
171
Redis 1.使用scrapy-proxy随机IP代理插件： 安装： pip install scrapy_proxies 设置settings.py # Retry many times since proxies often fail RETRY_TIMES = 10 # Retry on m ...
分类：
其他好文 时间：
2019-11-20 16:47:33
阅读次数：
102
在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。 1、问题 代理IP从何而来？ 刚自学爬虫 ...
分类：
编程语言 时间：
2019-10-26 17:18:25
阅读次数：
86
tip: 大致思路：从网络（URL：http://ip.jiangxianli.com/api/proxy_ips）获取代理ip以及端口，存到列表；随机一个数从列表中取一个ip，设置超市时间以及次数；捕获异常，从列表中删除无用的ip代理并设置新的ip代理 settings.py中还要开启下载中间件 ...
分类：
其他好文 时间：
2019-09-18 09:17:58
阅读次数：
139
Scrapy框架介绍： 写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率） ...
分类：
其他好文 时间：
2019-09-11 11:25:09
阅读次数：
124
常见的反爬机制及处理方式 1、Headers反爬虫 ：Cookie、Referer、User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2、IP限制 ：网站根据IP地址访问频率进行反爬,短时间内进制IP访问 解决方案: 1、构造自己IP代理池,每次访 ...
分类：
Web程序 时间：
2019-09-04 20:56:58
阅读次数：
154
