构造分布式的Spark1.0.2集群下载Scala 2.10.4,具体下载地址:http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载;安装和配置Scala我们需要在ma...
分类:
其他好文 时间:
2015-09-21 17:29:06
阅读次数:
221
作者:周志湖
网名:摇摆少年梦
微信号:zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,本人发现Hadoop 2.4.1集群可以顺利搭建,但在Spark 1.5.0集群启动时出现了问题(可能原因是64位操作系统原因,源码需要重新编译,但本人没经...
分类:
其他好文 时间:
2015-09-19 08:31:57
阅读次数:
230
转载自http://blog.csdn.net/sweetvvck/article/details/38315149?utm_source=tuicool要搭建Redis集群,首先得考虑下面的几个问题;Redis集群搭建的目的是什么?或者说为什么要搭建Redis集群?Redis集群搭建的目的其实也就...
分类:
其他好文 时间:
2015-09-16 19:55:26
阅读次数:
169
本文将搭建一个最简化的MySQL Cluster系统,配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点,这五个结点会分别安装在五个虚拟机上,虚拟机的名称和IP如下所示:管理结点mysql-mgm192.168.124.141数据...
分类:
数据库 时间:
2015-09-16 14:16:07
阅读次数:
247
##elasticsearch-1.7.1集群搭建redis1:192.168.1.10redis2:192.168.1.11redis3:192.168.1.12###java安装rpm–ivhjdk-7u67-linux-x64.rpmvi/root/.bash_profile添加内容JAVA_HOME=/usr/java/jdk1.7.0_67PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME..
分类:
其他好文 时间:
2015-09-14 19:40:43
阅读次数:
214
一、搭建环境: mongodb版本:mongodb-linux-x86_64-3.0.6.gz linux版本:CentOS 7 x64 服务器:(端口:27000) 192.168.1.201 数据库服务器、192.168.1.202 数据库服务器、192.168.1.203 仲裁服务器 (每个服务...
分类:
数据库 时间:
2015-09-12 06:23:12
阅读次数:
287
三台机器,ip分别是192.168.1.231、192.168.1.232、192.168.1.233 用到工具:SecureCRT、WinSCP ?SecureCRT用于连接机器,执行命令 ?WinSCP用于往机器上传文件 前提:机器安装好SSH服务 下载zookeeper-3.3.5.t...
分类:
其他好文 时间:
2015-08-29 23:30:48
阅读次数:
383
MongoDB分片实战(一):集群搭建 http://www.cnblogs.com/magialmoon/archive/2013/04/10/3013121.html ? MongoDB分片实战(二):Sharding http://www.cnblogs.com/zhanjindong/archive/2013/04/11/3015394.html...
分类:
数据库 时间:
2015-08-29 23:28:12
阅读次数:
385
1. zookeeper介绍
ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooK...
分类:
其他好文 时间:
2015-08-28 17:40:36
阅读次数:
398
前两天和一个朋友在聊天的时候说,很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上,原因吗无在乎:1,没有很好的电脑配置,不能像机房一样用多台电脑搭建起集群;2,对linux的不熟悉,各种小黑窗,linux命令……;3,环境搭建的反锁步骤,需要耐心+细心+认真等等吧。不过吗,我觉的,只要敢于坚持,敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程,由于条件有限,也是在虚拟机中进...
分类:
其他好文 时间:
2015-08-27 02:15:00
阅读次数:
282