在虚拟机利用两台centos（64位）,由于使用的机器是64位，所以要自己编译好安装包1、建Hadoop运行组和用户root下运行命令，创建组和用户groupadd hadoopuseradd -g hadoop hadooppasswd hadoop2、修改/etc/hosts192.168.13...
分类：
其他好文 时间：
2014-08-16 12:21:20
阅读次数：
263
本文是将三台电脑用路由器搭建本地局域网，系统为centos6.5,已经实验验证，搭建成功。一、设置静态IP&修改主机名&关闭防火墙（all-root）（对三台电脑都需要进行操作）0.将三台电脑安装centos6.5系统1.设置静态ip（便于机器之间的通信，防止路由器电脑重启后，ip变化，导致不能通信...
分类：
其他好文 时间：
2014-08-10 15:29:40
阅读次数：
312
Git概念Git其实是一种分布式版本控制系统，与CVS，Subversion等集中化的版本控制系统相对。它主要有几个特点：?速度快?简单的设计?对非线性开发模式的强力支持（允许上千个并行开发的分支）?完全分布式?有能力高效管理类似Linux内核一样的超大规模项目（速度和数据量）安装Git1.从源代码...
分类：
其他好文 时间：
2014-07-30 00:43:32
阅读次数：
334
安装环境：
OS:
Centos 6.5
JDK: jdk1.6.0_18
Hadoop: hadoop-0.20.2
Hbase: hbase-0.90.5
安装准备：
1.
Jdk环境已安装：版本为1.6以上
2.
hadoop环境已安装：完全分布模式安装如下
http://blog.csdn.net/lichangzai/arti...
分类：
其他好文 时间：
2014-07-18 22:08:46
阅读次数：
441
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类：
其他好文 时间：
2014-07-14 17:17:25
阅读次数：
289
最近在学习hadoop，首先通过网上大把的教程搭建好了完全分布式环境，在分布式环境上运行wordcount也成功，接下来就打算自己写mr来处理实际的业务了，在真正的开发开始之前首先要搭建好开发环境啊，所以就想到了eclipse，可接下来遇到了好多的问题：1、首先是考虑到找一个hadoop..
分类：
系统相关 时间：
2014-07-08 12:10:17
阅读次数：
271
这次开发要使用Git代替SVN，借机学习了一二，跟大家分享一下。
Git简介
一句话总结的说，Git是一个开源的分布式版本控制系统，由Linux内核开发人员开发，现已用来管理android等多个大型项目。
设计目标：
快速操作简单设计并行开发（上千个）完全分布式能力超强（类似Linux内核管理）
和SVN
提到版本管理系统，自然会想到SVN，如果...
分类：
其他好文 时间：
2014-06-14 14:41:18
阅读次数：
296
本文旨在介绍通过两台物理节点，实现完全分布式hadoop程序的安装部署。
分类：
其他好文 时间：
2014-06-10 10:13:49
阅读次数：
313
hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
