Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。
找到wechall的robots.txt ht...
分类：
其他好文 时间：
2014-09-04 15:03:09
阅读次数：
542
深入Java程序性能调优(阿姆达尔定律、缓存组件、并行开发、线程池、JVM调优)课程讲师：special课程分类：Java核心适合人群：初级课时数量：33课时更新程度：完成用到技术：阿姆达尔定律、缓存组件、并行开发、线程池、JVM调优涉及项目：模式在实际开发中运用深入Java程序性能调优下载: ht...
分类：
编程语言 时间：
2014-09-04 13:20:19
阅读次数：
188
一. 问题描述最近苹果发布了IOS7.1。话说苹果每次发布都牵动开发者的心哈。苹果从ios7.1开始，用户安装app，需要使用https协议，来下载plist文件。也就说，在安装app的第一步，下载.plist文件，需要使用https协议。https协议如下： 这里不详细描述ht...
分类：
移动开发 时间：
2014-09-04 11:43:49
阅读次数：
342
一. 问题描述最近苹果发布了IOS7.1。话说苹果每次发布都牵动开发者的心哈。苹果从ios7.1开始，用户安装app，需要使用https协议，来下载plist文件。也就说，在安装app的第一步，下载.plist文件，需要使用https协议。https协议如下： 这里不详细描述ht...
分类：
移动开发 时间：
2014-09-04 09:32:37
阅读次数：
164
1、HttpClient 使用方式public static String loginByClientGet(String username,String password) { try { //打开浏览器 Ht...
分类：
移动开发 时间：
2014-09-02 22:39:25
阅读次数：
292
Json.net 效率 Json.net 的特性 1.net 集合 1.1 无序集合 Dictionary，Hashtable Hashtable ht = new Hashtable();ht.Add("string", "Hashtable");ht.Add("DateTime", System...
分类：
Web程序 时间：
2014-09-01 17:20:03
阅读次数：
425
问题：列表页预计抽取 355+6 但实际只抽取到220条链接. 原因是nutch对http下载的内容的长度进行了限制。解决方案：这里将这个属性扩大10倍。vim conf/nutch-defalut.xml 修改http.content.limit属性，将其由65536 改为 655360 ht.....
分类：
其他好文 时间：
2014-09-01 13:50:33
阅读次数：
171
程序员常用网站名称：w3schools地址：http://www.w3schools.com/描述：这个网站大家再熟悉不过了，W3Schools是于1999年创立的一个网站开发教程门户。W3Schools由位于挪威提供软件开发、咨询的Refsnes Data公司所成立，提供的免费网页开发教程包括HT...
分类：
Web程序 时间：
2014-09-01 12:01:03
阅读次数：
317
HTTP协议的主要特点可概括如下： 1.支持客户/服务器模式。 2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。 3.灵活：HT...
分类：
其他好文 时间：
2014-08-31 13:14:21
阅读次数：
308
在工作中经常看到有人使用with as，查询很顺畅，也很快，很好奇，在网上也有不少资料，看了大神的文章，也练习一下。首先给出两位位大神文章的链接，介绍十分详细：http://www.cnblogs.com/fygh/archive/2011/08/31/2160266.html另一位大神的文章：ht...
分类：
数据库 时间：
2014-08-31 11:43:51
阅读次数：
320
