# 设置随机请求头 设置代理ip # 在middleware.py文件中 写一个类 class MiddlewearproDownloaderMiddleware(object): user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) Ap... ...
分类：
其他好文 时间：
2019-07-03 00:10:20
阅读次数：
99
threading模块 condition的生产者消费者模式 lock版的生产者消费者模式 queue的线程安全 threading类实现多线程 selenium关闭页面和浏览器 selenium页面等待 selenium打开多个页面和页面间的切换 多线程共享全局变量 selenium设置代理ip ...
分类：
编程语言 时间：
2019-07-02 22:51:51
阅读次数：
102
在setProxy()方法中设置代理IP后可以将url中的域名换成这个代理IP。 http很简单，但是https这样会报错。 问题：如何使用代理发送https请求？ 客户端发送https请求之前会先向这台服务器请求ssl证书，并在客服端对这个证书做一个校验。 而使用代理IP时，实际上请求打到了这个代 ...
分类：
编程语言 时间：
2019-06-17 20:35:58
阅读次数：
186
起因: 今天突然想重构一下代理池,并且想扩充一下代理,所以就想着爬点代理IP,然后就有了下面的故事 一上来先进行了一顿操作: 然后看都没看状态码直接xpath取:过了一会黑人问号??????,喵喵喵,为啥是空,点开源代码,啥都有,哦,可能是xpath写的有问题,又进行了微调,还是取不到,突然感觉这个 ...
分类：
其他好文 时间：
2019-05-27 19:07:37
阅读次数：
145
1.首先获取网页内容的方法 html = requests.get(url,headers = headers,proxies= proxys) header 指模拟浏览器头，proxys代理IP，requests指Python获取内容的对象 2.这样一句话就可以快速获取网页内容了，获取到了网页内容 ...
分类：
编程语言 时间：
2019-03-30 13:26:42
阅读次数：
135
有时需要查看前端页面日志，但是前端同学有时忘记开启vConsole。为了调试方便，最好在本地可以查看前端日志，做到一劳永逸。 1.安装node 网上搜教程 2.安装spy debugger 3.启动spy debugger 4.手机安装证书，开启代理 ip：本机IP port：9888 5.操作查看 ...
分类：
其他好文 时间：
2019-03-25 16:20:41
阅读次数：
240
GitHub代码练习地址：https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac09_ProxyHandler.pyProxyHandler处理（代理服务器） 使用代理IP，是爬虫的常用手段提供代理服务器的地址有很多，例如： w ...
分类：
编程语言 时间：
2019-03-15 09:19:07
阅读次数：
228
(1) 如果我们一直用同一个IP去请求同一个网站上的网页，久了之后可能会被该网站服务器屏蔽，因此我们可以使用代理IP来发起请求，代理实际上指的就是代理服务器(2) 当我们使用代理IP发起请求时，服务器端显示的是代理IP的地址，即使被屏蔽了，我们可以换一个代理IP继续爬取，代理IP获取页面：https ...
分类：
Web程序 时间：
2019-03-14 16:47:16
阅读次数：
243
1.使用cookie代替session(不安全，不推荐使用) 2.使用数据库存储session(效率低，不推荐使用) 3.使用nginx反向代理ip绑定方法，同一个ip只能在同一台服务器上进行访问(不推荐，相当于没有集群)。 4.使用Spring-Session框架，相当于把session缓存到re ...
分类：
其他好文 时间：
2019-02-28 22:55:10
阅读次数：
230
在爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力。 如果你一直用同一个代理ip爬取这个网页，很有可能ip会被禁止访问网页，所以基本上做爬虫的都躲不过去ip的问题。 通常情况下，爬虫用户自己是没有能力去自己维护服务器或 ...
分类：
其他好文 时间：
2019-02-22 23:18:28
阅读次数：
209
