标签:des style blog http io color os ar 使用
在做抓取前,记得把php.ini中的max_execution_time设置的大点,不然会报错的。
一个挺萌的类名。功能也很强大,用来模拟浏览器的功能,可以获取网页内容,发送表单等。
1)我现在要抓取一个网站的列表页的内容,我要抓取的是全国的医院信息内容,如下图:
2)我很自然的将URL地址复制下来,用Snoopy类来抓取前10页的页面内容,而且将内容放到本地来,在本地建立html文件,等下用于分析。
$snoopy=new Snoopy(); //医院list页面 for($i = 1; $i <= 10; $i++) { $url = ‘http://www.guahao.com/hospital/areahospitals?p=全国&pageNo=‘ . $i; $snoopy->fetch($url); file_put_contents("web/page/$i.html", $snoopy->results); } echo ‘success‘;
3)很奇怪的是返回回来的不是全国的内容,而是上海的相关内容
4)后面怀疑是里面可能设置了cookie,然后用firebug查看,果然有惊人内幕
5)在请求的时候将cookie的值也放进去,就加了个设置语句$snoopy->cookies["_area_"],情况就大不一样了,顺利返回全国信息。
$snoopy=new Snoopy(); //医院list页面 $snoopy->cookies["_area_"] = ‘{"provinceId":"all","provinceName":"全国","cityId":"all","cityName":"不限??"}‘; for($i = 1; $i <= 10; $i++) {
//...页面内容抓取...
}
用了这个类能像jQuery那样操作DOM,不必为采集网站内容而使用那些头疼的正则算法了,用法上与jQuery相似,只是$()换成了pq()。主页放在google的code中,被屏蔽了得FQ一下,下面的附件中我分享了一个最新版本的fgFQ软件。用法很简单只要打开fg742p.exe文件就可以了。
1)我要获取每一页内容中的每个具体医院的信息,例如要获取301医院的信息。
每页的内容页面已经在前面的操作中抓取到了本地。所以可以直接用localhost了。
$snoopy=new Snoopy(); for($i = 1; $i <= 10; $i++) { $url = "http://localhost/spider/web/page/$i.html"; $snoopy->fetch($url); $html = $snoopy->results; }
2)用phpQuery获取到节点信息,如下图的DOM结构:
使用一些phpQuery的方法,结合DOM结构读取每个医院信息的URL地址。
for($i = 1; $i <= 10; $i++) { //...抓取本地页面... phpQuery::newDocument($html); //初始化对象 $urls = array(); foreach(pq(‘.search-hos-info dl dt a‘) as $item) { array_push($urls, pq($item)->attr(‘href‘)); //医院详情 } }
3)根据读取到的URL地址列表,抓取指定的页面。
$detailIndex = 1; for($i = 1; $i <= 10; $i++) { //...抓取本地页面... //...获取指定节点的href地址信息... $len = count($urls); for($row = 1; $row <= $len; $row++) { $snoopy->fetch($urls[$row - 1]); file_put_contents("web/hospital/$detailIndex.html", $snoopy->results); $detailIndex++; } }
FQ工具下载:
demo下载:
http://download.csdn.net/detail/loneleaf1/8089507
Snoopy类的一些说明:
类方法
fetch($URI) | 这是为了抓取网页的内容而使用的方法。 $URI参数是被抓取网页的URL地址。 抓取的结果被存储在 $this->results 中。 如果你正在抓取的是一个框架,Snoopy将会将每个框架追踪后存入数组中,然后存入 $this->results。 |
fetchtext($URI) | 本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中的文字内容。 |
fetchform($URI) | 本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中表单内容(form)。 |
fetchlinks($URI) | 本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中链接(link)。 默认情况下,相对链接将自动补全,转换成完整的URL。 |
submit($URI,$formvars) | 本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。 |
submittext($URI,$formvars) | 本方法类似于submit(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回登陆后网页中的文字内容。 |
submitlinks($URI) | 本方法类似于submit(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中链接(link)。 默认情况下,相对链接将自动补全,转换成完整的URL。 |
类属性
$host | 连接的主机 |
$port | 连接的端口 |
$proxy_host | 使用的代理主机,如果有的话 |
$proxy_port | 使用的代理主机端口,如果有的话 |
$agent | 用户代理伪装 (Snoopy v0.1) |
$referer | 来路信息,如果有的话 |
$cookies | cookies, 如果有的话 |
$rawheaders | 其他的头信息, 如果有的话 |
$maxredirs | 最大重定向次数, 0=不允许 (5) |
$offsiteok | whether or not to allow redirects off-site. (true) |
$expandlinks | 是否将链接都补全为完整地址 (true) |
$user | 认证用户名, 如果有的话 |
$pass | 认证用户名, 如果有的话 |
$accept | http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*) |
$error | 哪里报错, 如果有的话 |
$response_code | 从服务器返回的响应代码 |
$headers | 从服务器返回的头信息 |
$maxlength | 最长返回数据长度 |
$read_timeout | 读取操作超时 (requires PHP 4 Beta 4+),设置为0为没有超时 |
$timed_out | 如果一次读取操作超时了,本属性返回 true (requires PHP 4 Beta 4+) |
$maxframes | 允许追踪的框架最大数量 |
$status | 抓取的http的状态 |
$temp_dir | 网页服务器能够写入的临时文件目录 (/tmp) |
$curl_path | cURL binary 的目录, 如果没有cURL binary就设置为 false |
标签:des style blog http io color os ar 使用
原文地址:http://www.cnblogs.com/strick/p/4055283.html