目的这份文档描写叙述了怎样安装、配置和管理从几个节点到有数千个节点的Hadoop集群。玩的话，你可能想先在单机上安装。(看单节点配置)。准备从Apache镜像上下载一个Hadoop的稳定版本号。安装安装一个Hadoop集群，一般包含分发软件到全部集群中的机器上或者是安装RPMs。一般地，集群中的一台...
分类：
其他好文 时间：
2014-06-19 00:19:50
阅读次数：
372
五、搭建Hadoop集群上面的步骤，确认了单机可以执行Hadoop的伪分布执行，真正的分布式执行无非也就是多几台slave机器而已，配置方面的有一点点区别，配置起来就非常简单了。1、准备三台服务器192.168.56.101192.168.56.102192.168.56.103在每台机器的/etc/hosts中都将ip及hostname给映射上：192.168.56.101 nginx1192...
分类：
其他好文 时间：
2014-06-16 23:18:41
阅读次数：
499
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：
Spark应用程序的WebUI或者Spark Standalone的集群监控指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控辅助监控工具
1：WebUI
Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的4...
分类：
其他好文 时间：
2014-06-16 20:12:51
阅读次数：
325
记录使用RedHatClusterSuite实现高可用集群，利用web服务实验。实现RHCS的集群，有三个前提条件：①每个集群都有惟一集群名称；②至少有一个fence设备；③至少应该有三个节点；两个节点的场景中要使用qdisk（仲裁磁盘）；实验环境介绍：集群主机：192.168.1.6test1；192.168.1...
分类：
Web程序 时间：
2014-06-16 17:54:12
阅读次数：
616
我们曾经介绍过三种Tomcat集群方式的优缺点分析。本文将介绍Tomcat集群与负载均衡技术具体实施过程。在进入集群系统架构探讨之前，先定义一些专门术语：1. 集群(Cluster)：是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进...
分类：
Web程序 时间：
2014-06-15 21:12:31
阅读次数：
266
一、项目要求
本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、nginx、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。
二、需求分析： KPI指标设计
PV(PageView): 页面访问量统计
IP: 页面独立IP的访问量统计
...
分类：
其他好文 时间：
2014-06-15 10:25:49
阅读次数：
395
本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.CSD...
如何使用Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基...
分类：
编程语言 时间：
2014-06-14 22:05:43
阅读次数：
487
写了几天，用OSG，实现了集群渲染，感觉还不错，线性加速比还算可以。采用KDTree 、八叉树管理场景，场景数据通过UDP和TCP。
不用拷贝文件，直接在线读取。效率基本满帧。如图：
这个 3*2 的一个投影墙：（渲染节点）...
分类：
其他好文 时间：
2014-06-14 12:14:35
阅读次数：
2302
关于Nginx+tomcat+memcached（缓存）配置集群负载均衡的下载与安装流程：
实现的整体步骤
一：安装memcached。（memcached可以一个或者多个）
二：安装两个tomcat
三：配置msm。
四：安装nginx，实现负载均衡。
以下是详细步骤：
第一步：安装memcached
1. 下载memcached服务...
分类：
其他好文 时间：
2014-06-14 11:14:00
阅读次数：
229
