标签：use 操作 应该 pid .com 模仿 image 仿真 直接
为了更加便捷高效地工作，程序员在设计爬虫之初就会考虑，用爬虫去模拟用户的行为，以减少IP被封的几率。模拟用户行为一是为了太阳ip软件爬取数据异步加载页面方面，二也是为了爬虫行为高度模仿用户行为，最终目的还是为了高匿——高度隐匿自己的真实ip。那么，应该怎么做高匿呢？
1、user-agent：这也是一个比较重要的数据特征，要做在爬虫里面灵活设置，最好和目前主流浏览器环境的user-agent一模一样，随着浏览器的版本变化，你的user-agent也会变化。pyspider的user-agent是在一个爬虫项目里面做爬取全局设置
2、如果高度模仿浏览器请求，有个简便方法：看chrome网络请求的curl all copy信息。
3、cookie：这个东西可能会被很多爬虫开发者所忽视，实际上它是非常重要的，cookie行为的仿真不但涉及到用户行为模拟，而且会直接导致某些访问请求碰到权限或者其他方面的错误。pyspider的cookie可以直接在爬取请求里面设置。
4、IP隐藏，现在网上有很多高匿http代理，所谓高匿代理，就是代理对被访问服务器完全隐藏其被代理的客户端，
比如：
注意：使用网上的高匿代理时，一定要先在自己的服务器上试一下，防止伪高匿发生,在Pyspider的Phantomjs中使用代理服务器，需要单独启动phantomjs服务，启动命令：
? ? ? ??? ? ?
使用上面这个命令，必须是pyspider0.37及其以后版本。对于Selenium webdriver，怎么用代理，看Selenium文档吧。
5、登录session问题：session问题在客户端主要是cookie问题，如果你能做到cookie全局仿真，session肯定不是问题。
推荐使用这款软件，很清爽简单，操作便利，节省一大半操作时间。
标签：use 操作 应该 pid .com 模仿 image 仿真 直接
原文地址：http://blog.51cto.com/14059916/2314094
