1. 下载hadoop使用如下命令:wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz使用如下命令解压:tar -zxvf hadoop-1.2.1.tar.gz2. 配置hadoop将hadoop的bin目录加入到配置文件中,使用如下命令:vim .bashrc添加如下行:expor...
分类:
其他好文 时间:
2016-05-28 16:01:09
阅读次数:
173
最近在学Hadoop,学习Hadoop第一步当然是搭建环境。因为刚开始接触Hadoop,加之对Linux命令行不熟悉。完全搭建好这个环境用了两天的时间。虽然搭建好这个环境只是第一步,但是我感觉还是收获很多,比如对Linux的操作,其中最让我头疼的是Linux权限问题。搭建过程中操作一般都是对的,因为开始用的是root用户,所以切换到普通用户老是报拒绝操作。所以我频换的切换用户进行权限更改,下次再搭...
分类:
其他好文 时间:
2016-05-13 03:07:03
阅读次数:
241
一、Hadoop部署模式单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的Java进程运行完全分布式模式:真实的生产环境,搭建在完全分布式的集群环境二、添加用户..
分类:
其他好文 时间:
2016-04-20 13:45:05
阅读次数:
225
一、本文说明:本次测试在五台虚拟机系统上进行完全分布式搭建。Hadoop分布式模式是在多台机器上分布式部署,配置非常类似于伪分布式,名称节点和数据节点都分布在不同的主机上,每台数据节点上都有相应的任务调度。二、环境说明:虚拟软件:VM10.0操作系统:CentOs6.7hadoop版..
分类:
其他好文 时间:
2016-04-14 22:44:22
阅读次数:
262
安装Mahout之前,一定要把hadoop装好,hadoop的安装方法可以参考我的前一篇随笔,我安装的是hadoop2.7.0,具体方法在此不做介绍。1.首先下载相应版本的Mahout:axel -n 10 http://archive.apache.org/dist/mahout/0.9/maho...
分类:
其他好文 时间:
2015-06-30 20:05:53
阅读次数:
220
转载请注明出处:http://blog.csdn.net/lhy_ycu/article/details/40031567
Git主要特点
1、速度:Git在本地上保存着所有当前项目的版本和更新,并且Git中的绝大多数操作都在本地,无需连网,所以处理起来速度。
2、简单的设计:Git的实现与项目复杂度无关,它永远可以在几毫秒的时间内完成分支的创建和切换。
3、完全分布式模式:每个人电脑上都有一个完整的版本库,而且它支持离线工作(大部分操作都是本地执行),本地提交可以稍后提交到服务器上。
4、对非线性开发模式...
分类:
其他好文 时间:
2015-05-26 18:56:37
阅读次数:
192
1.Hadoop的3种运行模式单机模式:安装简单,几乎不用作任何配置,但仅限于调试用途伪分布模式:在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程,模拟分布式运行的各个节点完全分布式模式:正常的Hadoop集群,由多个各司其职的节..
分类:
其他好文 时间:
2015-05-09 20:36:04
阅读次数:
169
1、单机模式:安装简单,几乎不用做任何配置,但仅限于调试用途2、伪分布模式:在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondarynamenode等5个进程,模拟分布式运行的各个节点3、完全分布式模式:正常的Hadoop集群,由多个各司...
分类:
其他好文 时间:
2015-05-05 10:23:52
阅读次数:
168
转自:?http://www.cyblogs.com/ 我自己的博客~ 首先, 我们需要3台机器, 这里我是在Vmware里面创建了3台虚拟机, 来保证我的Hadoop完全分布式的最基本配置.我这里选择的CentOS, 因为RedHat系列,在企业中比较的受欢...
分类:
其他好文 时间:
2015-05-03 22:13:39
阅读次数:
140
上一篇blog我们介绍了Hbase的单机模式安装与伪分布式的安装方式,本篇blog我们将详细介绍如何搭建hbase完全分布式环境,搭建hbase完全分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop完全分布式环境请参考:【Hadoop基础教程】4、Hadoop之完全分布式环境搭建...
分类:
其他好文 时间:
2015-03-05 19:27:52
阅读次数:
144