前几课小结：
1. 关键词：三大标签（首页、内容页）
2. 标签：alt/nofollow
3. 404、地图、robots.txt(页面) 301 1-3个月
4. URL的唯一性
小提示：什么时候需要做301？
A B C 三个页面同时指向一个URL，此刻做301避免权重分散，1-3月见效。
第十课正文：
如何做好网站内容建设？图文转换软件
1、 什么样网站内容能帮...
分类：
其他好文 时间：
2015-07-29 06:30:31
阅读次数：
201
robots.txt文件的概念、特点和写法
1. 概念：robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页/文件夹可以收录，哪些不允许收录（可以爬行）。
提示：/admin/ 拒绝推荐
搜索引擎第一步看的就是网站的robots.txt
文件放在哪里：FTP服务器-网站根目录
穿插小疑问：网站收录特别差，为什么差？原因不明！
推荐解决方法：网站地图+robots...
分类：
Web程序 时间：
2015-07-28 23:19:47
阅读次数：
220
1.Introduction to Control of Mobile Robots
https://www.youtube.com/watch?v=KZEWLZJwYNc&list=PLciAw3uhNCiD3dkLTPJgHoMnsu8XgCt1m
http://gritslab.gatech.edu/home/people/
2.The DREAM Lab
http://dream....
分类：
移动开发 时间：
2015-07-28 00:59:12
阅读次数：
128
摘要：快照不被百度缓存： meta name = Baiduspider content = noarchive所有搜索引擎，抓取这个页面、爬行链接、禁止快照： meta name = robots content = index,follow,noarchive -----------------...
分类：
Web程序 时间：
2015-07-26 20:29:59
阅读次数：
141
Crashing Robots
Time Limit: 1000MS
Memory Limit: 65536K
Total Submissions: 8424
Accepted: 3648
Description
In a modernized warehouse, robots are used to fetch the g...
分类：
其他好文 时间：
2015-07-22 19:00:06
阅读次数：
125
《meta》
1.Keywords (关键字)
说明：告诉搜索引擎你网页的关键字是什么。
用法：
2. Description (网页描述)
说明：Description用来告诉搜索引擎你的网页主要内容。
用法：
3. Robots (机器人向导)
说明：Robots用来告诉搜索机器人哪些页面需要索引，哪些页面不需要索引。Content的参数有all、none、index、...
分类：
Web程序 时间：
2015-07-21 14:49:35
阅读次数：
108
今天，很小心的开百度首页新闻，以及360新闻首页。本文分别，但对百度投诉360违反Robots协议的情况下。每个标题是《百度诉360爬虫违反协议判刑：360赔偿70一万》 《法院判决360百度搜索可以抓取内容》。明确。相反。请看以下截图：显然，两方都在掩饰自己的过错，宣扬自己的好处。更搞笑的是两方互...
分类：
其他好文 时间：
2015-07-19 16:27:17
阅读次数：
336
1017: [JSOI2008]魔兽地图DotRTime Limit:30 SecMemory Limit:162 MBSubmit:1243Solved:532[Submit][Status][Discuss]DescriptionDotR (Defense of the Robots) Alls...
分类：
Web程序 时间：
2015-07-16 09:30:16
阅读次数：
158
2015-7-14 20:43:44P14:'raw'指示符告诉解释器不要转换字符串中的任何特殊字符。。。例如： filename = r'C:\temp\newfolder\robots.txt'。为了保持一致性，不管一个正则表达式是否用到了反斜杠，通常一律都使用raw字符串。P18:dict.g...
分类：
Web程序 时间：
2015-07-14 22:34:18
阅读次数：
261
Crashing RobotsTime Limit: 1000MSMemory Limit: 65536KTotal Submissions: 8388Accepted: 3631DescriptionIn a modernized warehouse, robots are used to fet...
分类：
其他好文 时间：
2015-07-07 22:28:01
阅读次数：
151
