分布式存储当下互联网飞速发展，海量并发所产生的数据量以几何方式增长，随着信息链接方式日益多样化，数据存储的结构也发生了变化，在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战，比如：数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可..
分类：
其他好文 时间：
2014-05-12 04:08:32
阅读次数：
493
DNS服务器的更新：一听就知道不止一台的DNS服务器，要是一台也用不着更新对吧？一般都是DNS集群。一台DNS更新了，添加一条数据，下面的都要跟着它变。主DNS服务器的配置首先先配置DNS服务器信息同步，后面再配置更新DNS服务器：1、
前面很简单：安装bind软件包、修改named服务配置文件;V...
分类：
其他好文 时间：
2014-05-12 00:49:26
阅读次数：
278
一、CoroSynccorosync最初只是用来演示OpenAIS集群框架接口规范的一个应用，可以说corosync是OpenAIS的一部分，然而后面的发展超越了官方最初的设想，越来越多的厂商尝试使用corosync作为集群解决方案。如Redhat的RHCS集群套件就是基于corosync实现。corosync只提供了messagela..
分类：
其他好文 时间：
2014-05-11 19:43:46
阅读次数：
532
Hadoop集群（第9期）_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类：
其他好文 时间：
2014-05-11 16:02:24
阅读次数：
538
一、分布式文件系统分布式文件系统（Distributed File
System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，也就是集群文件系统，可以支持大数量的节点以及PB级的数量存储。相对地，在一个分享的磁盘文件系统中，所有节点对数据存储区块都有相同的...
分类：
其他好文 时间：
2014-05-11 15:16:30
阅读次数：
470
Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程
工作流程 ：
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件，可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类：
编程语言 时间：
2014-05-11 14:46:35
阅读次数：
519
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器，允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法，以致到最后，平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的， Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类：
其他好文 时间：
2014-05-11 13:05:57
阅读次数：
393
mysql集群架构方式很多，根据不同的需求做不一样的架构，简单一点的就是mysql的replication，也就是Mysql的复制功能，模式有：master-slaves，master-slaves-slaves,master-master-slaves等可以有多个分层，那么现在我所要说的是mast...
分类：
数据库 时间：
2014-05-10 23:30:36
阅读次数：
553
----本文大纲分布式文件系统MogileFS环境安装及配置代理测试-------------一、分布式文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，也就是集群文件系统，可以支持大数量的节点以..
分类：
其他好文 时间：
2014-05-10 09:05:12
阅读次数：
568
最近在win7上装了个centos虚拟机，打开虚拟机后发现不能上网，经过查资料，研究发现，有几种连网的方式：方法一：右击VMnet8->属性，把VMware
DHCP....和VMware NAT....两项启动为了避免每次重启电脑都要把VMware DHCP....和VMware NAT........
分类：
其他好文 时间：
2014-05-10 07:07:35
阅读次数：
342
