本来今天要继续更新 scrapy爬取美女图片 系列文章，可是发现使用免费的代理ip都非常不稳定，有时候连接上，有时候连接不上，所以我想找到稳定的代理ip，下次再更新 scrapy爬取美女图片之应对反爬虫 文章。 好了，废话不多说，咱们进入今天的主题。这一篇文章是关于爬取盗墓笔记，主要技术要点是scr ...
分类：
编程语言 时间：
2016-06-06 18:37:19
阅读次数：
412
对透明代理，需要使用几个功能，首先IP_TRANSPARENT，内核2.6.28就已经支持，centos6.3及以上是肯定支持的。它的作用是，如果某个ip在本机不存在，监听0.0.0.0一样可以收到数据，而发送的时候，可以bind任意一个不存在的ip（当然这个bind你使用netstat是看不见的），这样你就可..
分类：
其他好文 时间：
2016-05-20 17:38:56
阅读次数：
643
软件准备： 1.猎豹wifi 2.BurpSuite或者fillder都可以 查看电脑IP地址： 网卡ip: 确保无线网卡的IP和手机的代理IP保持一致即可 软件准备： 1.猎豹wifi 2.BurpSuite或者fillder都可以 查看电脑IP地址： 网卡ip: 确保无线网卡的IP和手机的代理I ...
分类：
移动开发 时间：
2016-05-13 19:05:28
阅读次数：
1035
手动编写redis代理软件脚本实现类似tweproxy和codes的功能已经实现内容如下：起1个代理ip和端口redisl客户端连接代理然后脚本通过一致性hash分发key到后端的redis脚本如下importSocketServer,sys
fromthreadingimportThread
importsocket
fromhash_ringimportHashRing
redis_s..
分类：
编程语言 时间：
2016-04-04 13:22:08
阅读次数：
320
1、基本抓取网页 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP； 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3、Cookies处理 cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用 ...
分类：
编程语言 时间：
2016-04-01 20:21:12
阅读次数：
263
最近练习写爬虫，本来爬几张mm图做测试，可是爬到几十张的时候就会返回403错误，这是被网站服务器发现了，把我给屏蔽了。 因此需要使用代理IP。为了方便以后使用，我打算先写一个自动爬取ip代理的爬虫，正所谓，磨刀不误砍柴工，读完高中再打工！ 先看看运行结果: 函数返回一个列表 废话少说，放码出去: #
分类：
编程语言 时间：
2016-02-06 18:26:32
阅读次数：
308
python使用代理访问服务器主要有一下3个步骤： 1.创建一个代理处理器ProxyHandler： proxy_support = urllib.request.ProxyHandler()，ProxyHandler是一个类，其参数是一个字典：{ '类型':'代理ip:端口号'} 什么是Handl
分类：
编程语言 时间：
2016-02-01 23:49:58
阅读次数：
1641
第一个例子就设置了一个代理IP，也是不靠谱的，最好的方式就是多设置几个，如第二个例子，通过http://www.youdaili.net/Daili/你可以找到很多代理IP， 抓取国内网站时尽量选取中国的IP（虽然这种免费IP代理很多，不过免费的东西靠不靠谱就说不好了，实际上以我的经验，我会初始设置
分类：
其他好文 时间：
2016-01-29 20:01:37
阅读次数：
191
前端是nginx，后端是apache，apache默认只能获取前端代理ip的地址，但是有时候需要获取真实地址，这个时候，我们只需要在后端apache上添加rpaf模块，并加以配置即可。wgethttp://stderr.net/apache/rpaf/download/mod_rpaf-0.6.tar.gztar-xzvfmod_rpaf-0.6.tar.gzcdmod_rpaf-0...
分类：
其他好文 时间：
2016-01-18 21:06:23
阅读次数：
156
