1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用....
分类：
其他好文 时间：
2014-09-28 14:04:02
阅读次数：
309
前言一、最开始的网站架构二、应用、数据、文件分离三、利用缓存改善网站性能四、使用集群改善应用服务器性能五、数据库读写分离和分库分表六、使用CDN和反向代理提高网站性能七、使用分布式文件系统八、使用NoSql和搜索引擎九、将应用服务器进行业务拆分十、搭建分布式服务小结前言一个成熟的大型网站（如淘宝、天...
分类：
Web程序 时间：
2014-09-27 23:44:20
阅读次数：
350
注：以下内容来自互联网MFS文件系统概论 MFS是linux下的开源存储系统，是由波兰人开发的。MFS文件系统能够实现RAID的功能，不但能够节约存储成本，而且不逊于专业的存储系统，能够实现在线扩展。MFS是一种半分布式文件系统。MFS的架构和读写原理一个完整的MFS应用由四个部件构成：主控点服务M...
分类：
其他好文 时间：
2014-09-24 00:08:35
阅读次数：
397
[root@ky_hs_252 mfs-1.6.27]# mkdir /usr/local/mfs[root@ky_hs_252 mfs-1.6.27]# useradd mfs -s /sbin/nologin -u 513[root@ky_hs_252 mfs-1.6.27]# ./config...
分类：
其他好文 时间：
2014-09-24 00:07:15
阅读次数：
463
MFS版本mfs-1.6.27MFS-MASTER192.168.1.190MFS-CHUNKSERVER1192.168.1.252MFS-CHUNKSERVER2192.168.1.188MFS-client192.168.1.52下载MFS地址：http://sourceforge.net/p...
分类：
其他好文 时间：
2014-09-23 23:59:55
阅读次数：
256
挂载基于MooseFS 分布式文件，客户端主机必须安装FUSE软件包（FUSE版本号至少2.6，推荐版本号大于2.7的fuse）[root@master ~]# rpm -qa|grep fuse fuse-2.8.3-4.el6.x86_64fuse-libs-2.8.3-4.el6.x86_64...
分类：
其他好文 时间：
2014-09-23 23:07:15
阅读次数：
403
Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。详见：http://www.oschina.net/p/ceph ? ? 目前大部分部署ceph基本都是在Ubuntu，因为它的内核默认打开了C...
分类：
其他好文 时间：
2014-09-22 20:15:14
阅读次数：
372
一、HDFS的shell命令简介我们都知道HDFS 是存取数据的分布式文件系统，那么对HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。我...
分类：
其他好文 时间：
2014-09-19 17:03:45
阅读次数：
334
淘宝技术这10年，里面涉及的技术确实颇有传奇色彩。突然觉得，没有时间看书，而且需要补充技术营养的技术宅来说，勤奋的渣渣我来提供福利了，萃取一些精华分享给大家吧...
分类：
其他好文 时间：
2014-09-18 23:51:24
阅读次数：
363
HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有...
分类：
其他好文 时间：
2014-09-18 13:09:33
阅读次数：
309
