User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。分析浏览器的User-Agent 我们可以收集客户端相关信息：是否手机、操作系统、浏览器等信息。...
分类：
移动开发 时间：
2014-11-25 12:51:27
阅读次数：
265
webspider.pypython 抓取每日一文文章import urllib2# get webpageheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chr...
分类：
Web程序 时间：
2014-11-25 10:39:08
阅读次数：
179
有的时候我们的网站可能还在调试阶段，或者只对部分告知用户或内部人使用，可能不想让搜索引擎抓取我们的网站，以下介绍几种屏蔽搜索引擎的抓取：1.在网站的根目录下创建robots.txt，添加内容：User-agent:* Disallow:/ 禁止某一搜索引擎，如百度：User-agent:baidus...
分类：
Web程序 时间：
2014-11-24 15:06:37
阅读次数：
154
URL url = new URL("****************");
StringBuffer html = new StringBuffer();
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestProperty("User-Agent", "Mozilla/3...
分类：
编程语言 时间：
2014-11-22 16:04:24
阅读次数：
293
很多手机网站都通过User-Agent来判断当前访问客的浏览器类型，如果是3G智能手机，显示手机版页面内容，如果是电脑浏览器，显示普通电脑版网页内容。 谷歌Chrome电脑浏览器，可以很方便地用来当3G手机模拟器来模拟手机浏览器。在Windows的【开始】-->【运行】中输入以下命令，启动谷歌浏览....
分类：
移动开发 时间：
2014-11-20 20:18:34
阅读次数：
5514
在apache的配置文件httpd.conf里一般都有类似于LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common 的日志记录格式设置，那么这种格式里的各个参数都代表什么意思呢，怎样设置才能完全掌...
分类：
Web程序 时间：
2014-11-20 14:54:55
阅读次数：
233
使用方法public partial class HomeView : PhoneApplicationPage{ public HomeView() { InitializeComponent(); Loaded += HomeView_Loaded; ...
避免被禁止(ban)
有些网站实现了特定的机制，以一定规则来避免被爬虫爬取。 与这些规则打交道并不容易，需要技巧，有时候也需要些特别的基础。 如果有疑问请考虑联系 商业支持 。
下面是些处理这些站点的建议(tips):
使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)禁止cookies(参考 ...
分类：
其他好文 时间：
2014-11-20 12:02:41
阅读次数：
239
选择composer ，请求选择post，地址填写服务器地址。request head必须得填写的User-Agent: FiddlerHost: x.x.x.x:8080Content-Type: application/x-www-form-urlencoded;charset=utf-8Con...
分类：
其他好文 时间：
2014-11-19 15:36:25
阅读次数：
175
如果你使用的是IE9，那么按下F12键就会出现开发者工具，上面有两个下拉菜单：浏览器模式和文档模式。那么什么是浏览器模式？什么又是文档模式？二者有何区别？浏览器模式用于切换IE针对该网页的默认文档模式、对不同版本浏览器的条件注释解析、以及发送给网站服务器的用户代理（User-Agent）字符串的值。...
分类：
其他好文 时间：
2014-11-19 10:52:04
阅读次数：
177
