Scrapy的整个数据处理流程由Scrapy引擎进行控制，其主要的运行方式为：引擎打开一个域名，蜘蛛处理这个域名，然后获取第一个待爬取的URL。引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度。引擎从调度那获取接下来进行爬取的页面。调度将下一个爬取的URL返回给引擎，引擎将他们通...
分类：
其他好文 时间：
2014-10-01 08:08:30
阅读次数：
427
软考第一章讲了计算机系统知识，学习到了一些和硬件相关的知识，对计算机体系结构有了一个大概的了解。 1.计算机基本组成 让我认识了CPU的详细结构，大致的工作流程，了解了数据在计算机内部的表现形式。尤其是机器数，反码补码的创造，是灵活与智慧的表现。以下是思维导图： 2.计算机体系结构 依据...
分类：
其他好文 时间：
2014-09-30 18:16:09
阅读次数：
335
FlowChart.NET是一款专业的.NET平台下的流程图及图表控件，它可以运行在任何C#,VB.NET或Delphi.NET语言编写的软件中。能够帮助你创建工作流程图、对象层次和关系图、网络拓扑图、实体关系图、IVR、工业自动化、genealogytrees、算法流程图、组织结构图、XML文档、类图等，该控..
分类：
Web程序 时间：
2014-09-29 03:17:27
阅读次数：
292
FlowChart.NET是一款专业的.NET平台下的流程图及图表控件，它可以运行在任何C#, VB.NET或Delphi.NET语言编写的软件中。能够帮助你创建工作流程图、对象层次和关系图、网络拓扑图、实体关系图、IVR、工业自动化、genealogy trees 、算法流程图、组织结构图、XML...
分类：
Web程序 时间：
2014-09-28 21:28:45
阅读次数：
248
FlowChart.NET是一款专业的.NET平台下的流程图及图表控件，它可以运行在任何C#, VB.NET或Delphi.NET语言编写的软件中。能够帮助你创建工作流程图、对象层次和关系图、网络拓扑图、实体关系图、IVR、工业自动化...
分类：
Web程序 时间：
2014-09-28 21:20:15
阅读次数：
376
编者按：本文来自 Ryan Allis，是一位来自旧金山的创业者和投资人。在 2003 年创立了 iContact，并任 CEO。 做创业公司的 CEO 可以说是世界上最有挑战性的事情之一。你得让客户喜欢你的产品，得组建团队，还要想办法从客户、合作者和投资者那里拿到资金；并且要指导整个工作流程的.....
分类：
其他好文 时间：
2014-09-28 15:00:43
阅读次数：
212
varnish简介Varnish是一个轻量级的Cache和反向代理软件，先进的设计理念和成熟的设计框架是Varnish的主要特点，现在的Varnish总共代码量不大，功能上虽然在不断改进，但是还需要继续丰富和加强。下面总结了Varnish的一些特点：（1）是基于内存缓存，重启后数据将消失。（2）利..
分类：
其他好文 时间：
2014-09-26 08:33:29
阅读次数：
449
1)Varnish工作流程Varnish是一款高性能的开源HTTP加速器Varnish与一般服务器软件类似，分为master（management）进程和child（worker，主要做cache的工作）进程。master进程读入命令，进行一些初始化，然后fork并监控child进程。child进程分配若干线程进行工作，主要包括一些管..
分类：
其他好文 时间：
2014-09-26 08:18:39
阅读次数：
512
杂谈：项目到现在，已经有几个Phase过去了，杂乱的js，jsp，杂乱的action，代码已经是面目全非，更别提什么高内聚，低耦合这一说了。现在的工作状态是，要不就是绞尽脑汁地改以前留下来的巨坑bug，要不就是无聊地...
分类：
Web程序 时间：
2014-09-25 19:39:47
阅读次数：
304
本文基于shiro的web环境，用宏观（也就是不精确）的角度去理解shiro的工作流程，先看shiro官方的一张图。 和应用程序直接交互的对象是Subject，securitymanager为Subject服务。可以把Subject看成一个用户，你的所...
分类：
其他好文 时间：
2014-09-25 14:16:19
阅读次数：
168
