PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用 Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。在线示 例：http://...
分类：
Web程序 时间：
2015-04-03 11:41:02
阅读次数：
212
本文讨论在分布式框架中使用到的两个数据结构。为了实现高性能，这两个数据结构都是无锁的。
第一个数据结构存储的是客户端发过来的socket。由于我们的框架只有一个线程接受用户的请求，所以很容易对每一个socket创建一个unique number（稍候我们再来看unique number包含了哪些信息）。框架中有一个线程专门来做清理工作，同时关闭没有返回给客户端的socket。最后框架中有多个线程...
分类：
其他好文 时间：
2015-03-09 19:11:26
阅读次数：
169
对于web应用开发，多数性能瓶颈均出现在数据库上，除了采用分布式架构或云处理（大公司基本上都是），更重要的是平时程序设计时要遵照一些规则，从根本上提高系统的性能，以下总结了一些常用的规则方法，仅供参考，欢迎跟帖补充。。。1、把数据、日志、索引放到不同的I/O设备上，增加读取速度。数据量（尺寸）越大，...
分类：
数据库 时间：
2015-03-07 18:33:11
阅读次数：
189
【简介】1、hdfs架构hdfs伪分布式架构只需要有三个部分即可，NameNode是老大，DataNode是小弟，SecondaryNameNode是助理。客户端Client跟NameNode通信（RPC通信机制，后面会介绍），SecondaryNameNode负责数据的同步。2、元数据的存储细节NameNode的元数据是存放在内存当中的。..
分类：
其他好文 时间：
2015-02-25 23:52:18
阅读次数：
146
通常，当服务涉及到的数据量大到一定程度以后，我们会考虑拆分数据。在这种分布式架构中，每个结点只拥有总数据量的其中一部分，而最终的输出结果会汇总所有结点的结果。这种Map-reduce思想的架构，是尽量不去查分程序，而只是拆分数据来支持大数据的处理，如下图所示。这种框架对每个worker结点的可靠性要求比较高，如果某一个worker结点挂掉了，那么最后的输出结果将是不全的。
我设计的这个分...
分类：
其他好文 时间：
2015-02-15 18:10:47
阅读次数：
134
原文：http://xubaoguo.iteye.com/blog/1882030摘要: 互联网的网站和大部分企业管理软件一样都是使用B/S架构模型，但是大型的公共网站B/S架构会更加复杂，对架构人员的要求更高，今天我想在自己博客里聊聊我设计的网站的B/S技术架构。不管是B/S架构的企业管理系统还是...
分类：
Web程序 时间：
2015-02-10 18:29:56
阅读次数：
184
WCF是Windows Communication Foundation的缩写，是为SOA（Service Oriented Architecture）而设计的一套完整的技术框架。用它可以开发出分布式(Distributed)的应用程序，它也是目前微软平台下最先进的SOA框架，具有很多优点。
WCF体系架构：
契约模型：
契约是一个服务...
分类：
其他好文 时间：
2015-01-31 10:45:24
阅读次数：
223
结合领域驱动设计的SOA分布式软件架构Windows平台分布式架构实践 - 负载均衡（下）分享一个分布式消息总线，基于.NET Socket Tcp的发布-订阅框架，附代码下载我终于深入参与了一个分布式系统了，好多想法不一样了！
分类：
其他好文 时间：
2015-01-30 17:03:58
阅读次数：
120
介绍
分布式事务和上篇中说到的普通事务的差别在于他所涉及到的服务器超过1个。分布式事务可能是1层的也可能是嵌套多层的。为了协调分布式事务的，就出现了原子提交协议，比较著名的2pc协议就是其中的一个例子。之前的3种并发控制的方法锁控制，乐观并发控制，时间戳序列方法，经过一定的扩展也可以运用在分布式的事务上面。在分布式的事务上，还提供了恢复管理器用来进行对象，操作的恢复。之前已经讨论过在单一的服务器...
分类：
其他好文 时间：
2015-01-18 17:18:36
阅读次数：
197
原文:wcf系列学习5天速成——第四天 wcf之分布式架构今天是wcf系列的第四天，也该出手压轴戏了。嗯，现在的大型架构，都是神马的，
nginx鸡群，iis鸡群，wcf鸡群，DB鸡群，由一个人作战变成了群殴....... 今天我就分享下wcf鸡群，高性能架构中一种常用的手法就是在内存中维护一个叫做...
分类：
其他好文 时间：
2015-01-16 10:01:51
阅读次数：
263
