码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫是个好东西

时间:2019-05-19 13:58:09      阅读:83      评论:0      收藏:0      [点我收藏+]

标签:个人   搜索引擎   道德   拒绝   robot   情况   数据   防御   定义   

爬虫是个好东西,一直都是。

只是,“好”的定义却在发生着变化。

 

(以下纯属个人意见,不喜勿喷)

爬虫的简单定义,就是使用程序自动从网站中获取信息。

获取信息做什么?这就因人而异了。

有人用来做搜索引擎,一般情况下是造福人类。

有人用来做数据分析,有时候是兴趣、有时候是手段。

有人用来做DDOS,一般情况下是满怀恶意的。

 

从技术上看,爬虫仅仅是个工具。技术无罪,不存在善恶之分,善恶仅存人心。

若人心不古,则。。我也不知道会发生啥。

 

但对爬虫来说,则慢慢的出现了反对的声音。

有robots协议,用道德进行防御,一般没啥用。

有iptables,用ip去拒绝,一般有用,但容易误伤。

有cookie、js、css、captcha,各显神通,拉开了爬虫的梯队。

 

 

 

爬虫是个好东西

标签:个人   搜索引擎   道德   拒绝   robot   情况   数据   防御   定义   

原文地址:https://www.cnblogs.com/dyfblog/p/9941024.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!