hadoop1 升级到hadoop2 借用别人的步骤,在时间中做了细化说明,希望对升级的玩家起到一定的辅助作用...
分类:
其他好文 时间:
2014-09-17 13:43:12
阅读次数:
169
1.将jdk-7u5-linux-x64.tar.gz拷贝到/usr/lib/jdk/目录下面,这里如果没有jdk文件夹,则创建该文件夹,命令:sudo mkdir jdk //创建文件夹jdksudo cp -r ~/download/jdk-7u10-linux-x64.tar.gz /usr/...
分类:
其他好文 时间:
2014-09-09 22:49:29
阅读次数:
241
1 #!/usr/bin/env bash 此处为什么不是 #!/bin/bash ? 考虑到程序的可移植性,env的作用就是为了找到正确的脚本解释器(这里就是bash),在不同的Linux系统上该解释器可能所处的位置不同 18 # This script runs the hadoop...
分类:
其他好文 时间:
2014-09-06 19:54:43
阅读次数:
316
hadoop安装 关闭防火墙 修改ip 修改hostname 设置ssh自动登录 安装jdk 安装hadoop1.将hadoop-1.1.2.tar.gz上传到/usr/local/,解压并改名为hadoop 2.配置hadoop环境变量,编辑/etc/profile文件,在该文件底部...
分类:
其他好文 时间:
2014-09-04 18:54:19
阅读次数:
217
Hadoop1的HDFS和Mapreduce在高可用和拓展性方面存在问题。 HDFS存在的问题: Namenode单点故障,难以应用于在线场景。 Namenode压力过大,且内存受限,影响系统扩展性。 Mapreduce存在问题: Jobtracker单点故障 ...
分类:
其他好文 时间:
2014-09-04 10:40:49
阅读次数:
254
本机环境:
ubuntu 12.04 32位
jdk 1.7
(1)maven-3.2.2的安装
首先到maven官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2
解压到/usr/local/目录下: tar -zxvf apache-maven-3.2.2-bin.tar.gz,并重命名为maven
修改 /etc/...
分类:
其他好文 时间:
2014-08-26 17:25:46
阅读次数:
305
注意:以下操作基于Hadoop-1.2.1,Eclipse Luna 1、将hadoop eclipse插件的工程导入Eclipse。插件源码目录如下: D:\Lab\lib\hadoop\hadoop-1.2.1\src\contrib\eclipse-plugin 2、配置工程依赖 3、准备ant的配置文...
分类:
系统相关 时间:
2014-08-23 16:58:21
阅读次数:
410
以下程序在hadoop1.2.1上测试成功。
本例先将源代码呈现,然后详细说明执行步骤,最后对源代码及执行过程进行分析。
一、源代码
package org.jediael.hadoopdemo.wordcount;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop...
分类:
其他好文 时间:
2014-08-20 16:30:42
阅读次数:
243
下面介绍myeclipse与hadoop的集成。我用的myeclipse版本是8.5.1、安装hadoop开发插件在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hadoop-eclipse-pligin-1.2.1.jar;而是提供了源代码文件,需要我们自行重新编译成jar...
hadoop网盘的最终效果见下面,可以实现简单的文件上传、删除、下载功能,不同用户可以登录到自己的页面进行管理。
一、准备的安装包资源
(1)hadoop1.1.2安装包
(2)bootmetro一个CSS开元框架,用来提高web前端的开发效率
(3)mysql的Jdbc驱动包
(4)上传组件
(5)mysql安装包(我的电脑是x64,x86系统...
分类:
其他好文 时间:
2014-08-18 16:32:22
阅读次数:
343