码迷,mamicode.com
首页 > Web开发 > 详细

web爬虫

时间:2014-06-08 17:18:02      阅读:264      评论:0      收藏:0      [点我收藏+]

标签:web爬虫

第一、爬虫及其行为方式

1.根集

2.连接的提取和相对链接的标准化

从页面提取出链接,然后把相对链接转化为绝对链接

3.避免环路的出现

4.循环和复制

5.记录爬过得链接

  1. 树和散列表
  2. 有损的存在位图
  3. 集群和索引

6.规范URL

7.避免循环和重复

  1. 规范URL
  2. 广度优先的爬行
  3. 节流:限制一段时间内机器人可以从一个WEB站点获取的页面的数量
  4. 限制URL的大小
  5. URL/站点黑白名单
  6. 内容识别
  7. 模式检测
  8. 人工监视

8.机器人的HTTP

http1.1加host首部

9.web站点和robots.txt文件

1.获取robots.txt

2.robots文件采用了非常简单的、面向行的语法

robotx.txt有三种类型的行:空行、注释行、规则行

User-Agent:<robot-name>

Disallow:URL list

机器人将期望访问的url与上面的URL list做比较,如果不在list内,说明可以访问该URL



web爬虫,布布扣,bubuko.com

web爬虫

标签:web爬虫

原文地址:http://blog.csdn.net/richard_rufeng/article/details/28626599

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!