原文网址：http://www.csdn.net/article/1970-01-01/28246611.Hadoop在百度得使用 Hadoop在百度的应用领域主要包括：大数据挖掘与分析，日志分析平台，数据仓库系统，用户行为分析系统，广告平台等存储与计算服务。 目前百度的Hadoop集群规模已经超过...
分类：
其他好文 时间：
2015-11-18 16:21:14
阅读次数：
192
本系列文章着重学习和研究OpenStack Swift，包括环境搭建、原理、架构、监控和性能等。（1）OpenStack + 三节点Swift 集群+ HAProxy + UCARP 安装和配置（2）原理、架构和性能（3）监控对 Swift 集群的监控是必要的，特别是集群规模很大的时候。1. 监控目...
分类：
编程语言 时间：
2015-11-17 10:51:15
阅读次数：
295
前言在Hadoop集群中，按照集群规模来划分，规模可大可小，大的例如百度，据说有4000台规模大小的Hadoop集群，小的话，几十台机器组成的集群也都是存在的。但是不论说是大型的集群以及小规模的集群，都免不了出现节点故障的情况，尤其是超大型的集群，节点故障几乎天天发生，因此如何做到正确，稳妥的故障情况处理，就显得很重要了，这里提供一个在Hadoop集群中可以想到的办法，就是Decommission...
分类：
其他好文 时间：
2015-08-20 09:12:18
阅读次数：
176
前言正如我在前面的文章中曾经写过，在HDFS中存在着两大关系模块，一个是文件与block数据块的关系，简称为第一关系，但是相比于第一个关系清晰的结构关系，HDFS的第二关系就没有这么简单了，第二关系自然是与数据节点相关，就是数据块与数据节点的映射关系，里面的有些过程的确是错综复杂的，这个也很好理解嘛，本身block块就很多，而且还有副本设置，然后一旦集群规模扩大，数据节点的数量也将会变大，如何处理...
分类：
其他好文 时间：
2015-08-19 00:40:37
阅读次数：
199
由于自己的电脑配置普普通通，在VM虚拟机中搭建的集群规模也就是6个节点左右，再多就会卡的不行
碰巧接触了Docker这种轻量级的容器虚拟化技术，理论上在普通PC机上搭建的集群规模可以达到很高（具体能有多少个也没有实际测试过）于是就准备在Docker上搭建Spark集群
由于是Docker新手，在操作过程中遇到了不少麻烦刚开始在网上找的资料都是直接从DockerHub上拉取别人已经建好的镜像使用...
分类：
其他好文 时间：
2015-06-04 09:52:27
阅读次数：
212
Hadoop在百度的应用领域主要包括：大数据挖掘与分析，日志分析平台，数据仓库系统，用户行为分析系统，广告平台等存储与计算服务。目前百度的Hadoop集群规模已经超过数十个至多，单集群节点数目超过5000台，每天处理的数据量超过8000TB。同时百度在Hadoop的基础上还开发了自己..
分类：
其他好文 时间：
2015-06-03 06:16:38
阅读次数：
363
背景随着集群规模和负载增加，MapReduce JobTracker在内存消耗，线程模型和扩展性/可靠性/性能方面暴露出了缺点，为此需要对它进行大整修。需求当我们对Hadoop MapReduce框架进行改进时，需要时刻谨记的一个重要原则是用户的需求。近几年来，从Hadoop用户那里总结出MapRe...
分类：
Web程序 时间：
2015-03-20 17:56:32
阅读次数：
207
特别隆重分享此内容给所有关心，支持老男孩的所有朋友和学员！博文内容介绍：本视频精彩纷呈，无比震撼，不看会后悔，特别是初中级运维，会感受很多！本内容来自老男孩教育，20期学生的期中架构实战分享讲解，全架构用了近40个SHELL脚本，8个expect脚本，2个python程序实现，历..
分类：
其他好文 时间：
2015-03-20 11:06:45
阅读次数：
274
原文:http://www.infoq.com/cn/articles/introduction-puppetpuppet主要用于维护集群的各个节点向一致的状态转变, 集群规模大了之后, 如何保证各个节点的状态一致(比如安装的软件包, /proc参数等)? puppet提供了一套解决方案Puppet...
分类：
其他好文 时间：
2015-03-13 09:20:07
阅读次数：
167
zookeeper服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。1、解压zookeeper-3.4.5.tar.gz 文件 执行命令：tar -zxvf zookeeper-3.4.5.tar.gz2、重命名文件夹 执行命令：mv zookeeper-3.4.5/ zk3、设.....
分类：
其他好文 时间：
2015-02-28 17:59:09
阅读次数：
135
