码迷,mamicode.com
首页 > 其他好文 > 详细

【头条】隐身爬虫

时间:2014-11-05 00:19:18      阅读:270      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   color   ar   os   for   sp   div   

开发的一个系统中其中有一个抓取第三方网站信息的功能,但是,系统运行一段时间后,被对方服务器拒绝抓取。
解决办法,只要我们伪装成浏览器。即可继续正常运行。
 
1 private static readonly string DefaultUserAgent = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";  
2 
3 
4 
5 //获取信息
6  
7 HttpWebRequest request = WebRequest.Create(strCoumnTopPage) as HttpWebRequest;
8 request.Method = "GET";
9 request.UserAgent = DefaultUserAgent;

 

【头条】隐身爬虫

标签:style   blog   http   color   ar   os   for   sp   div   

原文地址:http://www.cnblogs.com/zhuojun/p/4075187.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!