标签：个人 搜索引擎 道德 拒绝 robot 情况 数据 防御 定义
爬虫是个好东西，一直都是。
只是，“好”的定义却在发生着变化。
（以下纯属个人意见，不喜勿喷）
爬虫的简单定义，就是使用程序自动从网站中获取信息。
获取信息做什么？这就因人而异了。
有人用来做搜索引擎，一般情况下是造福人类。
有人用来做数据分析，有时候是兴趣、有时候是手段。
有人用来做DDOS，一般情况下是满怀恶意的。
从技术上看，爬虫仅仅是个工具。技术无罪，不存在善恶之分，善恶仅存人心。
若人心不古，则。。我也不知道会发生啥。
但对爬虫来说，则慢慢的出现了反对的声音。
有robots协议，用道德进行防御，一般没啥用。
有iptables，用ip去拒绝，一般有用，但容易误伤。
有cookie、js、css、captcha，各显神通，拉开了爬虫的梯队。
标签：个人 搜索引擎 道德 拒绝 robot 情况 数据 防御 定义
原文地址：https://www.cnblogs.com/dyfblog/p/9941024.html
