大型网站架构的演化历程1、网站初始架构2、应用于数据分离（应用程序，文件系统，数据库系统）3、使用缓存4、应用服务器集群5、数据库读写分离6、CDN和反向代理7、分布式数据库系统和分布式文件系统8、nosql和搜索引擎9、业务拆分10、分布式服务
分类：
Web程序 时间：
2015-10-01 19:15:19
阅读次数：
175
一、大数据1、什么是大数据大数据是指无法在一定时间内用常规软件工具对其内容进行抓娶管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布..
分类：
其他好文 时间：
2015-09-30 01:06:59
阅读次数：
309
GFS捕捉一些业务场景的分布式文件系统的需求。很自然。此外还有一些与他们一些业务或依赖于文件系统是不那么容易，他们需要一个分布式数据库系统。BigTable那是，Google结构化数据处理的需求而产生的。论文摘要涉及的“关键”字为：1. 结构化数据2. 数据量大3. 典型应用：Web索引，Googl...
分类：
其他好文 时间：
2015-09-25 09:37:20
阅读次数：
186
1.TFS（Team Foundation Server）（1）定义：TFS是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据， 它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。（2）优点：它采用了HA架构和平滑扩...
分类：
其他好文 时间：
2015-09-21 19:28:08
阅读次数：
174
1、HDFS（分布式文件系统体系） 1.1、NameNode:（名称节点） ????????Hdfs的守护程序 ????????记录文件是如何分割成数据块的，以及这些数据块被存储到了哪些节点上 ????????对内存和I/O...
分类：
其他好文 时间：
2015-09-16 23:46:51
阅读次数：
575
1.HDFS是什么？Hadoop分布式文件系统(HDFS)，被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。2.HDFS中的基本概念（1）块（block） " 块 " 是固定大小的存储单元，HDFS的文件被分成块进行存储，....
分类：
其他好文 时间：
2015-09-16 18:05:22
阅读次数：
151
Linux文件系统管理Linux文件系统称为vfs(VirtualFileSystem虚拟文件系统)可支持的文件系统类型：Linux：ext2,ext3,ext4,reiserfs,xfs,btrfs,swap光盘：iso9660Windows:fat32(vfat),ntfsUnix:ffs,ufs,jfs,jfs2网络文件系统：nfs,cifs集群文件系统：ocfs2,gfs2分布式文件系统：ce..
分类：
其他好文 时间：
2015-09-15 09:30:45
阅读次数：
316
Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让...
分类：
其他好文 时间：
2015-09-10 19:41:48
阅读次数：
280
转载请注明来自36大数据（36dsj.com)：36大数据 » Hadoop分布式文件系统HDFS的工作原理详述转注：读了这篇文章以后，觉得内容比较易懂，所以分享过来支持一下。Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适...
分类：
其他好文 时间：
2015-09-10 11:08:23
阅读次数：
157
参考资料：http://www.moosefs.org/tl_files/manpageszip/moosefs-step-by-step-tutorial-cn-v.1.1.pdf环境介绍：OS: CentOS 6.3 x86_64server1 - mfsmaster & mfschunkser...
分类：
其他好文 时间：
2015-09-09 13:27:21
阅读次数：
285
