META标签是HTML语言HEAD区的一个辅助性标签，它位于HTML文档头部的标记和 标题 <<标记之间，它提供用户不可见的信息。meta标签通常用来为搜索引擎robots定义页面主题，或者是定义用户浏览器上的cookie；它可以用于鉴别作者，设定页面格式，标注内容提要和关键字；还可以设置页面使其可 ...
分类：
Web程序 时间：
2016-03-26 23:33:43
阅读次数：
290
一、语法： <meta name="name" content="string"/> 二、参数解析： 1、name项：常用的选项有keywords(关键字) ，description(网站内容描述)，author(作者)，robots(机器人向导)等。 2、http-equiv项：可用于代替name
分类：
Web程序 时间：
2016-03-02 10:59:11
阅读次数：
122
Heritrix可分为四大模块： 1、控制器CrawlController 2、待处理的uri列表 Frontier 3、线程池 ToeThread 4、各个步骤的处理器 （1）Pre-fetch processing chain：主要处理DNS-lookup, robots.txt,认证，抓取范围
分类：
其他好文 时间：
2016-02-27 19:19:15
阅读次数：
228
Description DotR (Defense of the Robots) Allstars是一个风靡全球的魔兽地图，他的规则简单与同样流行的地图DotA (Defense of the Ancients) Allstars。DotR里面的英雄只有一个属性——力量。他们需要购买装备来提升自己的
分类：
Web程序 时间：
2016-02-24 20:46:31
阅读次数：
610
一，爬虫及Robots协议 爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。robots.txt是一个文本文件，robots是一个协议，而不是一个命令。robots.txt是爬虫要查看的第一个文件。robots.txt文件告诉爬虫在服
分类：
Web程序 时间：
2016-02-09 01:21:26
阅读次数：
238
一，爬虫及Robots协议 爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 robots.txt是一个文本文件，robots是一个协议，而不是一个命令。robots.txt是爬虫要查看的第一个文件。robots.txt文件告诉爬虫在服务器上什么文件是可以被查看的，搜索机器人就会按照该文...
分类：
Web程序 时间：
2016-02-08 21:26:23
阅读次数：
410
robots.txt基本介绍 robots 是一个纯文本文件，是用来告诉搜索引擎：当前这个网站上哪些部分可以被访问、哪些不可以，robots文件是存放在网站根目录下的一个纯文本文件。当搜索引擎访问一个网站时，它首先会检查该网站根目录下是否存在robots文件。robots文件必须放置在一个网站的根目
分类：
其他好文 时间：
2016-02-02 09:49:23
阅读次数：
204
禁止搜索引擎收录的方法 一．什么是robots.txt文件? 搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。 您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容...
分类：
其他好文 时间：
2016-01-22 02:53:32
阅读次数：
182
Linux系统下利用wget命令把整站下载做镜像网站2011-05-28 18:13:01 |1次阅读 |评论：0条|itokit在linux下完整的用wget命令整站采集网站做镜像 的命令是及无视网站根目录下的robots.txt限制。并且可以模拟一个正常浏览者的信息下载该网站。C/C++ Cod...
分类：
Web程序 时间：
2016-01-16 07:32:44
阅读次数：
276
二分图最大匹配也叫二分图最大边独立数，就是二分图中最多能取出两两不相邻的边的数目。如果题目没有墙，那就是一道经典的二分图最大匹配问题：把地图上的行和列分别作为点的X部和Y部，地图上每一块空地看作边，边的两个端点就是它所在的x行y列。这样，求最大边独立集即可。而这一题有墙，然后我不会了。。其实这题的建...
分类：
其他好文 时间：
2016-01-11 22:07:08
阅读次数：
172
