snoopy采集

时间：2015-05-10 23:58:17 阅读：170 评论：0 收藏：0 [点我收藏+]

标签：

Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上，并且支持PCRE（Perl Compatible Regular Expressions），基本的LAMP服务都支持。官方：http://sourceforge.net/projects/snoopy/

一、Snoopy的一些特点:

　　1.抓取网页的内容 fetch

　　2.抓取网页的文本内容 (去除HTML标签) fetchtext

　　3.抓取网页的链接，表单 fetchlinks fetchform

　　4.支持代理主机

　　5.支持基本的用户名/密码验证

　　6.支持设置user_agent, referer(来路), cookies和header content(头文件)

　　7.支持浏览器重定向，并能控制重定向深度

　　8.能把网页中的链接扩展成高质量的url(默认)

　　9.提交数据并且获取返回值

　　10.支持跟踪HTML框架

　　11.支持重定向的时候传递cookies，要求php4以上就可以了，由于本身是php一个类，无需扩支持，服务器不支持curl时候的最好选择。

二、类方法:

fetch($URI)
———–

　　这是为了抓取网页的内容而使用的方法。$URI参数是被抓取网页的URL地址。抓取的结果被存储在 $this->results 中。如果你正在抓取的是一个框架，Snoopy将会将每个框架追踪后存入数组中，然后存入 $this->results。

fetchtext($URI)
—————

　　本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中的文字内容。

fetchform($URI)
—————

　　本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中表单内容(form)。

fetchlinks($URI)
—————-

　　本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。
默认情况下，相对链接将自动补全，转换成完整的URL。

submit($URI,$formvars)
———————-

　　本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。

submittext($URI,$formvars)
————————–

　　本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回登陆后网页中的文字内容。

submitlinks($URI)
—————-

　　本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。
默认情况下，相对链接将自动补全，转换成完整的URL。

三、类属性: (缺省值在括号里)

$host 连接的主机
$port 连接的端口
$proxy_host 使用的代理主机，如果有的话
$proxy_port 使用的代理主机端口，如果有的话
$agent 用户代理伪装 (Snoopy v0.1)
$referer 来路信息，如果有的话
$cookies cookies，如果有的话
$rawheaders 其他的头信息, 如果有的话
$maxredirs 最大重定向次数， 0=不允许 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否将链接都补全为完整地址 (true)
$user 认证用户名, 如果有的话
$pass 认证用户名, 如果有的话
$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪里报错, 如果有的话
$response_code 从服务器返回的响应代码
$headers 从服务器返回的头信息
$maxlength 最长返回数据长度
$read_timeout 读取操作超时 (requires PHP 4 Beta 4+)
设置为0为没有超时
$timed_out 如果一次读取操作超时了，本属性返回 true (requires PHP 4 Beta 4+)
$maxframes 允许追踪的框架最大数量
$status 抓取的http的状态
$temp_dir 网页服务器能够写入的临时文件目录 (/tmp)
$curl_path cURL binary 的目录, 如果没有cURL binary就设置为 false

四、以下是demo

  1 include "Snoopy.class.php";  
  2 $snoopy = new Snoopy; 
  3 
  4 $snoopy->proxy_host = "www.baidu.com";  
  5 $snoopy->proxy_port = "8080"; 
  6 
  7 $snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";  
  8 $snoopy->referer = "http://www.baidu.com/"; 
  9 
 10 $snoopy->cookies["SessionID"] = 238472834723489l;  
 11 $snoopy->cookies["favoriteColor"] = "RED"; 
 12 
 13 $snoopy->rawheaders["Pragma"] = "no-cache"; 
 14 
 15 $snoopy->maxredirs = 2;  
 16 $snoopy->offsiteok = false;  
 17 $snoopy->expandlinks = false; 
 18 
 19 $snoopy->user = "joe";  
 20 $snoopy->pass = "bloe"; 
 21 
 22 if($snoopy->fetchtext("http://www.baidu.com"))  
 23 {  
 24       echo " <PRE>".htmlspecialchars($snoopy->results)." </PRE>\n"; <BR>  
 25 } <BR>  
 26 else <BR>  
 27     echo "error fetching document: ".$snoopy->error."\n";
 28 
 29 snoopy采集phpchina示例 
 30 <?php 
 31 //采集phpchina 
 32 set_time_limit(0); 
 33 require_once("Snoopy.class.php"); 
 34 $snoopy=new Snoopy(); 
 35 //登陆论坛 
 36 $submit_url = "http://www.phpchina.com/bbs/logging.php?action=login"; 
 37 $submit_vars["loginmode"] = "normal"; 
 38 $submit_vars["styleid"] = "1"; 
 39 $submit_vars["cookietime"] = "315360000"; 
 40 $submit_vars["loginfield"] = "username"; 
 41 $submit_vars["username"] = "***"; //你的用户名 
 42 $submit_vars["password"] = "*****"; //你的密码 
 43 $submit_vars["questionid"] = "0"; 
 44 $submit_vars["answer"] = ""; 
 45 $submit_vars["loginsubmit"] = "提 交"; 
 46 $snoopy->submit($submit_url,$submit_vars); 
 47 if ($snoopy->results) 
 48 { 
 49     //获取连接地址 
 50     $snoopy->fetchlinks("http://www.phpchina.com/bbs"); 
 51     $url=array(); 
 52     $url=$snoopy->results; 
 53     //print_r($url); 
 54     foreach ($url as $key=>$value) 
 55     { 
 56         //匹配http://www.phpchina.com/bbs/forumdisplay.php?fid=156&sid=VfcqTR地址即论坛板块地址 
 57         if (!preg_match("/^(http:\/\/www\.phpchina\.com\/bbs\/forumdisplay\.php\?fid=)[0-9]*&sid=[a-zA-Z]{6}/i",$value)) 
 58         { 
 59             unset($url[$key]); 
 60         } 
 61     } 
 62     //print_r($url); 
 63     //获取到板块数组$url，循环访问，此处获取第一个模块第一页的数据 
 64     $i=0; 
 65     foreach ($url as $key=>$value) 
 66     { 
 67         if ($i>=1) 
 68         { 
 69             //测试限制 
 70             break; 
 71         } 
 72         else 
 73         { 
 74             //访问该模块，提取帖子的连接地址，正式访问里需要提取帖子分页的数据，然后根据分页数据提取帖子数据 
 75             $snoopy=new Snoopy(); 
 76             $snoopy->fetchlinks($value); 
 77             $tie=array(); 
 78             $tie[$i]=$snoopy->results; 
 79             //print_r($tie); 
 80             //转换数组 
 81             foreach ($tie[$i] as $key=>$value) 
 82             { 
 83                 //匹配http://www.phpchina.com/bbs/viewthread.php?tid=68127&amp; extra=page%3D1&amp;page=1&sid=iBLZfK 
 84                 if (!preg_match("/^(http:\/\/www\.phpchina\.com\/bbs\/viewthread\.php\?tid=)[0-9]*&amp;extra=page\%3D1&amp;page=[0-9]*&sid=[a-zA-Z]{6}/i",$value)) 
 85                 { 
 86                     unset($tie[$i][$key]); 
 87                 } 
 88             } 
 89             //print_r($tie[$i]); 
 90             //归类数组，将同一个帖子不同页面的内容放一个数组里 
 91             $left=‘‘;//连接左边公用地址 
 92             $j=0; 
 93             $page=array(); 
 94             foreach ($tie[$i] as $key=>$value) 
 95             { 
 96                 $left=substr($value,0,52); 
 97                 $m=0; 
 98                 foreach ($tie[$i] as $pkey=>$pvalue) 
 99                 { 
100                     //重组数组 
101                     if (substr($pvalue,0,52)==$left) 
102                     { 
103                         $page[$j][$m]=$pvalue; 
104                         $m++; 
105                     } 
106                 } 
107                 $j++; 
108             } 
109             //去除重复项开始 
110             //$page=array_unique($page);只能用于一维数组 
111             $paget[0]=$page[0]; 
112             $nums=count($page); 
113             for ($n=1;$n <$nums;$n++) 
114             { 
115                 $paget[$n]=array_diff($page[$n],$page[$n-1]); 
116             } 
117             //去除多维数组重复值结束 
118             //去除数组空值 
119             unset($page); 
120             $page=array();//重新定义page数组 
121             $page=array_filter($paget); 
122             //print_r($page); 
123             $u=0; 
124             $title=array(); 
125             $content=array(); 
126             $temp=‘‘; 
127             $tt=array(); 
128             foreach ($page as $key=>$value) 
129             { 
130                 //外围循环，针对一个帖子 
131                 if (is_array($value)) 
132                 { 
133                     foreach ($value as $k1=>$v1) 
134                     { 
135                         //页内循环，针对一个帖子的N页 
136                         $snoopy=new Snoopy(); 
137                         $snoopy->fetch($v1); 
138                         $temp=$snoopy->results; 
139                         //读取标题 
140                         if (!preg_match_all("/ <h2>(.*) <\/h2>/i",$temp,$tt)) 
141                         { 
142                             echo "no title"; 
143                             exit; 
144                         } 
145                         else 
146                         { 
147                             $title[$u]=$tt[1][1]; 
148                         } 
149                         unset($tt); 
150                         //读取内容 
151                         if (!preg_match_all("/ <div id=\"postmessage_[0-9]{1,8}\" class=\"t_msgfont\">(.*) <\/div>/i",$temp,$tt)) 
152                         { 
153                             print_r($tt); 
154                             echo "no content1"; 
155                             exit; 
156                         } 
157                         else 
158                         { 
159                             foreach ($tt[1] as $c=>$c2) 
160                             { 
161                                 $content[$u].=$c2; 
162                             } 
163                         } 
164                     } 
165                 } 
166                 else 
167                 { 
168                     //直接取页内容 
169                     $snoopy=new Snoopy(); 
170                     $snoopy->fetch($value); 
171                     $temp=$snoopy->results; 
172                     //读取标题 
173                     if (!preg_match_all("/ <h2>(.*) <\/h2>/i",$temp,$tt)) 
174                     { 
175                         echo "no title"; 
176                         exit; 
177                     } 
178                     else 
179                     { 
180                         $title[$u]=$tt[1][1]; 
181                     } 
182                     unset($tt); 
183                     //读取内容 
184                     if (!preg_match_all("/ <div id=\"postmessage_[0-9]*\" class=\"t_msgfont\">(.*) <\/div>/i",$temp,$tt)) 
185                     { 
186                         echo "no content2"; 
187                         exit; 
188                     } 
189                     else 
190                     { 
191                         foreach ($tt[1] as $c=>$c2) 
192                         { 
193                             $content[$u].=$c2; 
194                         } 
195                     } 
196                 } 
197                 $u++; 
198             } 
199             print_r($content); 
200         } 
201         $i++; 
202     } 
203 } 
204 else 
205 { 
206     echo "login failed"; 
207     exit; 
208 } 
209 ?>

snoopy采集

标签：

原文地址：http://www.cnblogs.com/tangyunfei/p/4493285.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行