在编写网络爬虫时，HttpWebRequest几乎可以完成绝大多数网站的抓取，为了更好的使用这一技术，我将常用的几个功能进行了封装，以方便调用。这个类已经在多个项目中得到使用，主要解决了Cookies相关的一些问题；如果有其它方面的问题可以提出来，我会进一步完善。
分类：
Web程序 时间：
2015-07-30 21:20:43
阅读次数：
221
更多HttpClient4.5教程请访问点击打开链接
=====================================================================
问题：模拟浏览器访问新浪网http://www.sina.com.cn/并解析返回结果
一、分析
经过前面的学习，已经能掌握了GET请求并解析返回结果，如下图：
一个使用HttpC...
分类：
Web程序 时间：
2015-07-30 17:07:24
阅读次数：
157
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。Snoopy的一些特点:抓取网页的内容fetch抓取网页的文本内容(去除HTML标签)fetchtext抓取网页的链接，表单fetchlinksfe...
分类：
Web程序 时间：
2015-07-16 19:02:31
阅读次数：
133
根据运单号来获取运单状态 以EMS快递为例：第一步首先分析要抓取网站的入口及参数 http://www.ems.com.cn第二部利用httpwebRequest 模拟浏览器请求来获取网页内容上图可以看到 获取验证码请求 http://www.ems.com.cn/ems/rand查询可以看到 发送...
分类：
Web程序 时间：
2015-07-16 16:20:48
阅读次数：
202
通过程序自动的读取其它网站网页显示的信息，类似于爬虫程序。比方说我们有一个系统，要提取BaiDu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。为了完成以上的需求，我们就需要模拟浏览器浏览网页，得到页面的数据在进行分析，最后把分析的结构，即整理好的数据写入数据库。那么我...
Python使用mechanize模拟浏览器之前我使用自带的urllib2模拟浏览器去进行访问网页等操作，很多网站都会出错误，还会返回乱码，之后使用了 mechanize模拟浏览器，这些情况都没出现过，真的很好用，这里向大家推荐一下。
mechanize是对urllib2的部分功能的替换，能够更好的模拟浏览器行为，在web访问控制方面做得更全面。首先从安装开始吧，以ubuntu系统为例：pytho...
分类：
编程语言 时间：
2015-06-06 10:36:40
阅读次数：
147
http://blog.csdn.net/column/details/why-bug.html1.模拟浏览器获取数据import urllib.requestreq = urllib.request.Request('http://www.baidu.com') response = urllib...
分类：
其他好文 时间：
2015-05-14 18:08:10
阅读次数：
102
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上，并且支持PCRE（Perl Compatible Regular Expressions），基本的LAMP服务都支持。Snoopy类的官网下载地址为：http://snoopy.sourceforge.net/
一、Snoopy的一些特点:
1.抓取网页的内...
分类：
其他好文 时间：
2015-05-11 22:08:19
阅读次数：
220
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上，并且支持PCRE（Perl Compatible Regular Expressions），基本的LAMP服务都支持。官方：http://sourceforge.ne...
分类：
其他好文 时间：
2015-05-10 23:58:17
阅读次数：
170
使用浏览器工具查看请求url及请求头packagecom.httpclient;
importjava.util.ArrayList;
importjava.util.Date;
importjava.util.List;
importjava.util.Random;
importjava.util.Scanner;
importorg.apache.http.HttpEntity;
importorg.apache.http.HttpResponse;
importorg.a..
分类：
编程语言 时间：
2015-05-07 01:05:28
阅读次数：
174
