NETSpider网站数据采集软件是一款基于.Net平台的开源软件。软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.NETSpider采摘当前提供的主要功能如下：1. 多任务多线程数据采集，支持POST方式(待定)；2. 可采集Ajax页...
分类：
Web程序 时间：
2014-10-02 15:58:23
阅读次数：
270
Scrapy的整个数据处理流程由Scrapy引擎进行控制，其主要的运行方式为：引擎打开一个域名，蜘蛛处理这个域名，然后获取第一个待爬取的URL。引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度。引擎从调度那获取接下来进行爬取的页面。调度将下一个爬取的URL返回给引擎，引擎将他们通...
分类：
其他好文 时间：
2014-10-01 08:08:30
阅读次数：
427
1.关于红蜘蛛软件的屏幕接收问题：a.先确定好网卡ipb.在C：-3000soft-Redspider-Adapter.exe（选中双击五机房的ip地址）c.在任务管理器中将Redagent.exe的进程杀掉2.关于虚拟化的介绍：概述：a.虚拟化打破了物理硬件与操作系统及在其上运行的应用程序之间的硬性连接；b.与物理..
分类：
其他好文 时间：
2014-09-29 04:03:27
阅读次数：
332
本文由哈利_蜘蛛侠原创，转载请注明出处！有问题请联系2024958085@qq.com
这一次我们继续来讲述Jim Adams 老哥的RPG编程书籍第二版第二章的第10节：Particles (粒子)，第11节：Depth Sorting and Z-Buffering (深度排序和Z-缓存)，以及第12节：Working with Viewports (使用视口)。这两节...
本文由哈利_蜘蛛侠原创，转载请注明出处！有问题请联系2024958085@qq.com
这一次我们继续来讲述Jim Adams 老哥的RPG编程书籍第二版第二章的第8节：Using Fonts(使用字体)，和第9节：Billboards (广告牌)。这两节的内容都不多，所以就放在一期里面讲了。
原文翻译：
==================...
当网站流量被下载应用或蜘蛛占满，可采用nginx的来做限速#1、适合用静态文件下载目前在121配置(文件类型)location~.*\.(gif|jpg|jpeg|png|bmp|swf|doc|xls|rar|zip|pdf|ppt)$
{
limit_rate_after800k;
limit_rate100k;
expires1d;
}##当传输量(下载)大于8M时，超出部分将限速(1..
分类：
其他好文 时间：
2014-09-24 16:28:37
阅读次数：
199
本文由哈利_蜘蛛侠原创，转载请注明出处！有问题请联系2024958085@qq.com
这一次我们继续来讲述Jim Adams老哥的RPG编程书籍第二版第二章的第6节：AlphaBlending，也就是alpha混合。这一节的内容不多，所以就一次性讲完吧！
我们先将这一节的各小节的标题列在下面，以供大家参考：
1、 EnablingAlpha Blending (...
1、 爬虫(Spider)——数据来源 作为搜索引擎海量数据的来源，爬虫是搜索引擎技术的重要一环，闻道软件工作室有自己开发的爬虫，所以对此技术很熟悉。 爬虫的英文是Spider,其实翻译成蜘蛛更容易理解，无数网站的链接构成了一张巨大的网，搜索引擎的内容采集程序就像一只只勤劳的蜘蛛在这张网上爬...
分类：
其他好文 时间：
2014-09-22 02:11:11
阅读次数：
308
任何一个站长都希望让新的网站在短期内获得排名?因为网站有了排名之后，站长们才能继续接下来的操作，从而让排名能够更加稳定。那应当怎么样才能达到成功呢?许多人虽做了大量的功课却达不到明显的效果，下面简单和大家分享几点经验，希望对大家有所帮助。 首先是网站代码要简单。众所周知搜索引擎的蜘蛛喜欢简单...
分类：
Web程序 时间：
2014-09-22 01:14:41
阅读次数：
190
通过网站访问日志我们可以看见很多蜘蛛爬行记录。搜索引擎都遵守互联网robots协议，是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则，以及设置搜索引擎蜘蛛Spider抓取内容规则。通过robots.txt来进行限制，首先在网站跟目录下面建立一个robots...
分类：
其他好文 时间：
2014-09-18 16:58:24
阅读次数：
195
