Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。
分类：
其他好文 时间：
2014-05-09 05:14:32
阅读次数：
405
memcached的内存分配没有用到c语言中自带的malloc函数，因为这个函数分配内存的时候效率很低，对于这种要求快速响应，对效率要求非常高的缓存软件来说非常不合适。memcached用的是自己的一套内存分配方法，叫做slab
allocation。Memcache单进程最大可开的内存是2GB，如...
分类：
其他好文 时间：
2014-05-09 04:34:29
阅读次数：
338
memcache不会释放内存，而是重新利用。在缓存的清除方面，memcache是不释放已分配内存。当已分配的内存所在的记录失效后，这段以往的内存空间，memcache只会重复利用。memcached的内存回收机制不是说你设置的key到了生命周期就自动从内存中清除的，这个时候必须有一个新的对象入驻请求...
分类：
其他好文 时间：
2014-05-09 04:00:31
阅读次数：
375
简介Varnish 是一款高性能且开源的反向代理服务器和 HTTP
加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合，与传统的 squid 相比，varnish
具有性能更高、速度更快、管理更加方便等诸多优点；目前最新版本是4.0.0，而3.x的版本也是可以生产环境下使用的稳定版本，但yu...
分类：
其他好文 时间：
2014-05-08 06:53:08
阅读次数：
779
平时可以感觉到的几个事实： 1 音乐、视频数据都是放在文件系统中、2 大图片文件是放到文件系统中的、3 小的配置文件，文件系统会比数据库的效率高出很多
假定在程序效率和关键过程相当且不计入缓存等措施的条件下，读写任何类型的数据都没有直接操作文件来的快，不论MSYQL过程如何，最后都要到磁盘上去读这个“文件”（记录存储区等效），所以当然这一切的前提是只读 内容，无关任何排序或查找操...
分类：
微信 时间：
2014-05-08 06:00:49
阅读次数：
672
参考自《大型网站技术架构》第1~3章
1、大型网站架构演化发展历程
（1）初始阶段的网站架构：一台服务器分别作为应用、数据、文件服务器
（2）应用服务和数据服务分离：三台服务器分别承担上述三项工作，其中应用服务器要求CPU强大、数据库服务器需求更快的硬盘和内存，文件服务器需要较大的硬盘。
（3）使用缓存改善网站性能：分为本地缓存以及缓存在专门的分布式服务器上的远程缓存。
（4）使...
分类：
Web程序 时间：
2014-05-08 04:42:48
阅读次数：
430
面对大量的PV访问，web服务器的缓存功能不容小觑，缓存在互联网中的地位已经举足轻重。那么好的缓存机制对web服务来说已经不可获取，varnish的缓存功能有目共睹，那么我们似乎没理由不了解一下基于varnish是如何让实现缓存的。varnish的官方站点：https://www.varnish-cache.or..
分类：
Web程序 时间：
2014-05-08 03:27:52
阅读次数：
510
简介Varnish是一款高性能且开源的反向代理服务器和HTTP加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合，与传统的squid相比，varnish具有性能更高、速度更快、管理更加方便等诸多优点；目前最新版本是4.0.0，而3.x的版本也是可以生产环境下使用的稳定版本，但yum..
分类：
其他好文 时间：
2014-05-08 03:14:33
阅读次数：
429
一、实验环境服务器IP地址系统版本varnish服务器172.16.8.1Centos6.5web1服务器172.16.8.5:81Centos6.5web2服务器172.16.8.5:82Centos6.5img1服务器172.16.8.5:83Centos6.5img2服务器172.16.8.5:84Centos6.5php1服务器172.16.8.5:85Centos6.5php2服务器172.16.8.5:86Centos6.5..
分类：
其他好文 时间：
2014-05-08 02:59:08
阅读次数：
531
varnish简介varnish是一款强大的http加速器，其设计初衷因为计算机越来越复杂，不像那个只有内存与硬盘的存储媒介的年代，如今的计算机系统除了内存外还有cpu的L1、L2、L3快取，因此当初的Squidcache自行处理物件替换的架构不可能得知这些情况而做到最佳，但操作系统可以得知该..
分类：
其他好文 时间：
2014-05-08 02:43:38
阅读次数：
587
