海蜘蛛http://docs.hi-spider.com/user_guide.V8/index.html单击海蜘蛛路由左上方logo图标即可进入海蜘蛛路由首页界面。在线用户数是指用户在线半小时以上的主机数，活动用户指经过路由上网有流量的主机数，PPP用户指以PPPoE拨号方式连接到路由的主机数。当...
分类：
系统相关 时间：
2014-06-13 20:18:24
阅读次数：
330
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问
的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才
需要使用rob...
分类：
其他好文 时间：
2014-06-09 22:51:30
阅读次数：
342
题目描述 Description
在G城保卫战中，超级孪生蜘蛛Phantom001和Phantom002作为第三层防卫被派往守护内城南端一带极为隐秘的通道。
根据防护中心的消息，敌方已经有一只特种飞蛾避过第二层防卫，直逼内城南端通道入口。但优秀的蜘蛛已经在每个通道内埋下了坚固的大网，无论飞蛾进入哪个通道，他只有死路一条！（因为他是无法挣脱超级蛛网的）
现在，001和002分别驻扎在...
分类：
其他好文 时间：
2014-06-04 22:42:00
阅读次数：
358
一、网络爬虫的定义网络爬虫，即Web
Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
Web程序 时间：
2014-06-02 09:36:19
阅读次数：
216
网络爬虫，又被称为网页蜘蛛，网络机器人。本文我们就来说说网络爬虫初级。
分类：
其他好文 时间：
2014-06-02 06:24:29
阅读次数：
171
robots.txt的主要作用是告诉蜘蛛爬虫该网站下哪些内容能抓取，哪些内容不能抓取。虽然可以没有robots.txt这个文件，默认就抓取该网站的所有文件，对搜索引擎爬虫没有任何的影响，但是如果你想控制蜘蛛的检索间隔，你就必须用robots.txt来控制。robots.txt不是一种规范，是约定俗成...
分类：
其他好文 时间：
2014-05-26 13:04:58
阅读次数：
228
ESB概念的提出:企业有大量的异构的业务系统，这些系统之间需要通过web
service来交互数据，这样的话可以想象系统直接的交互关系是蜘蛛网状的，是难以维护的。这时候提出了ESB，每个业务系统只需要将自己提供的服务注册到ESB上，而对于调用一方来说，其只跟ESB打交道，而对于是谁提供的对其来说是透...
分类：
其他好文 时间：
2014-05-26 07:04:02
阅读次数：
264
现在有越来越多的人热衷于做网络爬虫（网络蜘蛛），也有越来越多的地方需要网络爬虫，比如搜索引擎、资讯采集、舆情监测等等，诸如此类。网络爬虫涉及到的技术(算法/策略)广而复杂，如网页获取、网页跟踪、网页分析、网页搜索、网页评级和结构/非结构化数据抽取以及后期更细粒度的数据挖掘等方方面面，对于新手来说，不...
分类：
Web程序 时间：
2014-05-26 05:54:50
阅读次数：
393
外链为王，内容为皇的说法在seo行业似乎已经成为了不变的定理，让众多行业人士忽略了网站结构的建设。外链、内容固然重要，但是不能厚此薄彼，网站设计也是大家不可忽略的部分。
1、404错误页面
基本上每个网站都有存在死链的情况，死链一般会出现在删除某一篇内容或产品之后，导致搜索引擎无法访问原来的链接，这样的链接称为死链。一个网站死链如果太多会让蜘蛛产生反感的情绪以至于不再抓...
分类：
其他好文 时间：
2014-05-25 06:25:51
阅读次数：
195
