码迷,mamicode.com
首页 >  
搜索关键字:hadoop 集群    ( 32537个结果
集群配置工具之conga:web配置简易RHCS
RHCS,红帽的集群套件,至于原理性能什么的我这里也不多说了,很复杂也很无趣,而且网上一百遍介绍RHCS的文章,通常也是只是在用同一种方式同一种语言同一种思路说同一件事,有的甚至拼音的错误也是一样的,很无聊,大家有兴趣可以自己搜。好了,吐槽完毕,开始今天的实验!准备..
分类:Web程序   时间:2014-05-05 12:32:12    阅读次数:584
基于HAproxy的web动静分离及输出状态检测页面
一、简介HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并..
分类:Web程序   时间:2014-05-05 12:28:18    阅读次数:553
基于keepalived对HAproxy做高可用集群
一、Keepalived简介Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需..
分类:其他好文   时间:2014-05-05 12:13:18    阅读次数:487
nginx+apache+php+mysql服务器集群搭建
nginx+apache+php+mysql服务器集群搭建由于需要搭建了一个基本的服务器集群。具体的配置方案先不说了,到有时间的时候再介绍。下面介绍下整个方案的优点。我总共准备了四台阿里云的主机,架设分别是A,B1,B2,C,A在集群的最前面,B1和B2在A的后面,C在最后面。A主要用的nginx,...
分类:数据库   时间:2014-05-05 12:01:43    阅读次数:407
Linux服务器集群运维经验
公司大概有5000+以上的服务器节点,包括各种应用,我和同事共同维护大约2500+的服务器,主要包括一些视频cdn,直播视频cdn,webcdn和p2p服务器。以下是自己在运维工作中的一点经验和看法,希望对大家有所帮助1. 服务器型号的区分,为以后的统一化和标准化作硬件上的准备,很多人忽视这一点,其...
分类:系统相关   时间:2014-05-05 11:56:15    阅读次数:542
Mahout学习
Mahout小案例学习,实现k-means算法。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget http://archive.ics.uci.edu/ml/databas...
分类:其他好文   时间:2014-05-04 12:34:58    阅读次数:340
Hadoop MRUnit使用(一)
之前在写MR job的时候,由于要在云梯,或者一淘的开发集群上运行;所以处理方法是,在本地打成jar包,然后scp到客户端网关机上,然后在提交job运行。这样的问题时,有时候如果遇到一些逻辑上的问题,job跑挂了。必须在本地修改程序,然后重新打包,scp,再运行,这样比较麻烦;询问了一圈,觉得采用M...
分类:其他好文   时间:2014-05-04 10:54:29    阅读次数:427
ubuntu下hadoop环境配置
软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:hadoop-1.2.1 Hadoop下载地址:http://mirrors.cnnic.cn/apa...
分类:其他好文   时间:2014-05-04 10:43:51    阅读次数:370
使用hadoop multipleOutputs对输出结果进行不一样的组织
MapReduce job中,可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中,框架自己会自动对输出文件进行命名和组织,如:part-(m|r)-00000之类。但有时为了后续流程的方便,我们常需要对输出结果进行一定的分类和组织。...
分类:其他好文   时间:2014-05-04 10:22:15    阅读次数:341
ansible安装应用及playbook剧本的定义
在配置集群时,每个节点上有很多相同的配置,如启动服务相同、安装程序、提供相同的配置文件,甚至定制相同的任务计划来定期执行某些操作等。如果你管理的只是三两个节点配置起来还是相当简单的,但是有三五十台,甚至上百台你还要自已一个一个手动来配置,那就太痛苦了。因些..
分类:其他好文   时间:2014-05-03 20:42:02    阅读次数:572
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!