最近连着搭了两次hadoop的集群，搭建的时候也碰到了一些问题，因为之前对linux 不熟悉，经常遇到各种问题和命令忘记写，幸亏有度娘谷哥，这里做一个记录 下次使用的时候用的上 计算机的配置 分布式安装的主要的几个步骤就是 1、安装虚拟机 2、安装操作系统 3、配置静态ip（为了避免局域网ip冲突， ...
分类：
系统相关 时间：
2017-04-06 17:49:07
阅读次数：
395
完全分布式安装： 1.集群规划 a.服务分配 组件 Linux.one Linux.two Linux.three HDFS NameNode Sencondarynamenode DataNode DataNode DataNode YARN ResourceManager NodeManager ...
分类：
其他好文 时间：
2017-03-25 00:11:25
阅读次数：
211
安装完全分布式Hadoop1安装准备工作本安装示例将使用三台主机(RHEL5.832bit)来实现，其规划如下所示： IP地址 主机名 运行的进程或扮演的角色172.16.100.11 master.magedu.com NameNode,JobTracker172.16.100.12 datanode.magedu.com DataNode,TaskTracker172.16.100.13..
分类：
其他好文 时间：
2017-02-20 23:17:01
阅读次数：
231
步骤1：修改IP 地址和主机名： vi /etc/sysconfig/network-scripts/ifcfg-eth0 如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-eth0” ，可以 cd /etc/sysconfig/network-scripts/ 这个目录查看 ...
分类：
其他好文 时间：
2017-02-09 10:54:17
阅读次数：
257
为了将Hadoop和Spark的安装简单化，今日写下此帖。 首先，要看手头有多少机器，要安装伪分布式的Hadoop+Spark还是完全分布式的，这里分别记录。 1. 伪分布式安装 伪分布式的Hadoop是将NameNode，SecondaryNameNode，DataNode等都放在一台机器上执行， ...
分类：
系统相关 时间：
2016-12-11 12:33:58
阅读次数：
306
一、HBase(NoSQL)的数据模型 1.1 表(table)，是存储管理数据的。 1.2 行键(row key)，类似于MySQL中的主键，行键是HBase表天然自带的，创建表时不需要指定 1.3 列族(column family)，列的集合。 一张表中有多个行健，一个行健读取出来的是一条记录， ...
分类：
其他好文 时间：
2016-12-10 16:22:12
阅读次数：
193
解析SQL Server 2012安装中心 当系统打开“SQL Server安装中心”，则说明我们可以开始正常的安装SQL Server 2012了。 SQL Server安装中心 在微软提供的“SQL Server安装中心”界面里，我们可以通过“计划”、“安装”、“维护”、“工具”、“资源”、“高 ...
分类：
数据库 时间：
2016-11-28 19:32:44
阅读次数：
231
本博文的主要内容有 .Storm的单机模式安装 .Storm的分布式安装（3节点） .No space left on device .storm工程的eclipse的java编写 http://storm.apache.org/ 分布式的一个计算系统，但是跟mr不一样，就是实时的，实时的跟Mr离线 ...
分类：
其他好文 时间：
2016-10-16 00:46:55
阅读次数：
718
Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测试– 完全分布式模式1> 进程运行在多个服务器 ...
分类：
其他好文 时间：
2016-10-09 23:14:35
阅读次数：
251
1.准备环境 虚拟机（redhat enterprise linux 6.5） jdk-8u92-linux-x64.tar.gz hadoop-0.20.2.tar.gz 2.关闭虚拟机的防火墙，selinux，配置SSH免密码登录 [root@sishen ~]# vim /etc/syscon... ...
分类：
其他好文 时间：
2016-10-09 14:17:50
阅读次数：
243
