DEDE网站地图优化技巧-把网站地图生成在系统根目录,利于搜索引擎收录相信恨多用DEDECMS做站的朋友，为避免将data目录内的东西随便外泄，在robots中将data目录屏蔽了，但是DEDE默认的网站地图却是在 data下，屏蔽掉这个文件夹的话搜索引擎就无法抓取到网站地图，这不利于SEO优化，那...
分类：
Web程序 时间：
2015-04-04 12:05:45
阅读次数：
144
wget -e robots=off -w 1 -xq -np -nH -pk -m -t 1 -P "$PATH" "$URL"
使用wget工具抓取网页和图片：
包括css\js\html\图片文件...
分类：
Web程序 时间：
2015-04-01 19:59:57
阅读次数：
203
第一：什么是robots.txt?这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。第二：robots.txt...
分类：
Web程序 时间：
2015-03-31 12:29:30
阅读次数：
128
【01】文件头部一般包含标题标签、标签、内联样式表及预定义脚本等。【02】标签在网页内容中不显示，但它的作用不容忽视。标签主要用于为搜索引擎robots定义页面主题信息，它还可以用于定义用户浏览器上的cookie、鉴别作者、设定页面格式、标注内容提要和关键字；同时，它还可以设置页面，使其根据定义的时...
分类：
Web程序 时间：
2015-03-19 21:50:37
阅读次数：
205
http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemId=654题目描述：
Robert 是一个著名的工程师。一天，他的老板给他分配了一个任务。任务的背景是：给定一
个m×n 大小的地图，地图由方格组成，在地图中有3 种方格－墙、草地和空地，他的老板希望
能在地图中放置尽可能多的机器人。每个机器人都配备了激光枪，可以同时向四个方向（上...
分类：
编程语言 时间：
2015-03-18 14:02:41
阅读次数：
162
Problem Description
Rompire is a robot kingdom and a lot of robots live there peacefully. But one day, the king of Rompire was captured by human beings. His thinking circuit was changed by human and ...
分类：
其他好文 时间：
2015-03-16 14:39:22
阅读次数：
158
RewriteEngine OnRewriteCond %{REQUEST_FILENAME} !-fRewriteCond %{REQUEST_FILENAME} !-dRewriteCond $1 !^(index\.php|images|robots\.txt)RewriteRule ^(.*...
分类：
其他好文 时间：
2015-03-09 12:25:38
阅读次数：
95
DescriptionIn a modernized warehouse, robots are used to fetch the goods. Careful planning is needed to ensure that the robots reach their destination...
分类：
其他好文 时间：
2015-03-04 22:32:50
阅读次数：
141
Crashing RobotsTime Limit:1000MSMemory Limit:65536KTotal Submissions:8124Accepted:3528DescriptionIn a modernized warehouse, robots are used to fetch t...
分类：
其他好文 时间：
2015-02-25 18:32:08
阅读次数：
212
