pycharm中控制台运行后出现乱码。需要文件>>设置>>编辑器>>文件编码爬取网页#-*-coding:utf-8-*-
importrequests
#中文编码UTF-8
importsys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
#模拟浏览器
hea={‘User-Agent‘:‘Mozilla/5.0(WindowsNT6.2;WOW64)..
分类：
编程语言 时间：
2015-10-03 06:16:21
阅读次数：
342
转自：http://cuiqingcai.com/954.html1.设置Headers有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。首先，打开我们的浏览器，调试浏览器F12，我用的是Chro...
分类：
编程语言 时间：
2015-09-29 11:18:26
阅读次数：
271
selenium 是web应用程序测试的工具 phantomjs,可以模拟浏览器，实现绚烂。是服务端的javascript api的webkit casperjs,是基于phantomjs的测试工具。与页面有了交互性，比如提交表单。...
分类：
Web程序 时间：
2015-09-17 01:17:05
阅读次数：
185
转自：http://hihocoder.com/discuss/question/2154/今天在hiho上看到一个题目，要求模拟浏览器的URL请求过程，有n个请求，本地有一个容量为m的cache。当浏览器请求URL时，先在cache里面查找，如果没有，从服务器请求，并把内容存入cache中。如果c...
分类：
Web程序 时间：
2015-09-08 00:20:28
阅读次数：
144
1.Apache -HttpclientHttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。（类比推理MySQL数据库客户端）代码模拟浏览器的行为 ...
分类：
移动开发 时间：
2015-09-06 09:46:45
阅读次数：
207
本文偏重使用，简单讲述httpclient，其实在网络编程中，基于java的实现几乎都是包装了socket的通信，然后来模拟各种各样的协议；httpclient其实就是模拟浏览器发起想服务器端的请求，而这种更加类似于JS的请求或页面的POST、GET，不过这种数据的返回一般需要得到有意义的数据，才方...
分类：
Web程序 时间：
2015-09-04 23:57:58
阅读次数：
378
什么是HtmlUnit HtmlUnit是一个开源的浏览器模拟工具，可以方便我们模拟浏览器的行为，例如打开网页，提交表单等，这样我们可以用他来爬网页 官网下载：http://htmlunit.sourceforge.net/? java API：http://ht...
分类：
Web程序 时间：
2015-08-31 12:00:15
阅读次数：
1064
Splinter可以非常棒的模拟浏览器的行为，Splinter提供了丰富的API，可以获取页面的信息判断当前的行为所产生的结果最近在研究网站自动登录的问题，涉及到需要实现浏览器自动化操作，网上有不少介绍，例如使用pamie，但是只是支持IE，而且项目也较久没有更新了。还 有就是利用selenium，...
分类：
编程语言 时间：
2015-08-16 22:45:30
阅读次数：
847
有很多时候，我们还是需要用php去发送http请求的，它可以模拟浏览器的行为，通常它的应用场景有：1.后端测试自己的接口。2.后端请求别人的数据。
后端测试自己的接口，比如我们写了一个返回json数据的接口，我们可以让前端去测，但是前端不一定有空啊，或者前端界面还没做出来，由于界面不一定是现成的，因此测试起来也会有点麻烦。当然我们可以用谷歌浏览器的postman或者火狐的post...
分类：
Web程序 时间：
2015-08-06 13:17:06
阅读次数：
136
在抓取网页数据时，传统jsoup方案只能对静态页面有效，而有些网页数据往往是js生成的，所以这时候需要其它的方案。
首先的思路是分析js程序，对js的请求进行再次抓取，这适合于特定的页面抓取，要做到对不同目标URL的通用性，比较麻烦。
第二种思路，也是比较成熟的做法是利用第三方的驱动渲染页面，然后下载。这里介绍一下第二种实现思路。
Selenium是一个模拟浏览器的自动化测试工具，它...
分类：
Web程序 时间：
2015-07-31 20:21:44
阅读次数：
171
