本文使用的pig版本是pig-0.12.0.tar.gz,在安装以前已经安装好了hadoop,hadoop的安装方法参考 hadoop-1.2.1安装方法详解
pig的安装方法很简单,配置一下环境即可,pig有两种工作模式:本地模式和MapReduce模式(默认)。
1、上传并解压pig-0.12.0.tar.gz
[hadoop@mdw temp]$ tar
zxf pig-0.1...
分类:
其他好文 时间:
2015-07-21 10:43:11
阅读次数:
170
先决条件:
1)java环境,需要安装java1.6以上版本
2)hadoop环境,由于HBase架构是基于其他文件存储系统的,因此在分布式模式下安装Hadoop是必须的,但是,如果运行在单价模式下,此条件可以省略。Hadoop-1.2.1的安装方法参考 hadoop-1.2.1安装方法详解
注意:安装时要注意Hadoop和HBase之间的版本关系,如果不匹配,很可能会影响H...
分类:
其他好文 时间:
2015-07-20 23:40:04
阅读次数:
190
安装环境:虚拟机:VMware® Workstation 8.0.1(网络桥接)OS:CentOS 7JDK版本:jdk-7u79-linux-x64.tarScala版本:scala-2.11.7Spark版本:spark-1.4.0-bin-hadoop2.4用户:hadoop安装Centos时...
分类:
其他好文 时间:
2015-07-17 22:17:36
阅读次数:
201
启动hive时报如下的错误[ERROR] Terminal initialization failed; falling back to unsupported
解决办法:进入到hadoop安装目录下的share/hadoop/yarn下删除 jline的jar文件。再启动hive即可...
分类:
其他好文 时间:
2015-07-12 23:28:20
阅读次数:
297
安装hadoop要先做以下准备:1.jdk,安装教程在http://www.cnblogs.com/stardjyeah/p/4640917.html2.ssh无密码验证,配置教程在http://www.cnblogs.com/stardjyeah/p/4641524.html3.linux静态ip...
分类:
其他好文 时间:
2015-07-12 21:34:33
阅读次数:
161
由于Hive依赖于Hadoop,安装Hive之前必须确认Hadoop可用,关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤,这里不再叙述。1.下载Hive安装包
下载地址为:http://www.apache.org/dyn/closer.cgi/hive(或点击下面链接),选择一个稳定版本,假设下载的版本为:apache-hive-1.0.1-bin.tar.gz,解压:t...
分类:
数据库 时间:
2015-07-12 09:42:38
阅读次数:
230
网上类似的文章很多,本文只是记录下来备忘.本文分四大步骤: 准备工作、安装zookeeper、安装hadoop、安装hbase,下面分别详细介绍: 一。准备工作1. 下载 zookeeper、hadoop、hbase三个压缩包并放入/home/servers目录并解压2. 安装JDK (略...
分类:
其他好文 时间:
2015-07-10 10:52:40
阅读次数:
122
本博客hadoop版本是hadoop 0.20.2。
安装hadoop-0.20.2-eclipse-plugin.jar
下载hadoop-0.20.2-eclipse-plugin.jar文件,并添加到eclipse插件库,添加方法很简单:找到eclipse安装目录下的plugins目录,直接复制到此目录下,重启eclipse依次点击eclipse工具栏的window-----sho...
分类:
系统相关 时间:
2015-07-08 09:35:44
阅读次数:
212
Hadoop 安装简单说就是:ssh、配JAVA_HOME / HADOOP_HOME等profile参数、配 数据存放目录 / MR要用yarn 及 master是谁 。
本文还提供涉及到的文件下载。...
分类:
其他好文 时间:
2015-07-05 09:34:59
阅读次数:
112
异常报错1、ssh配置出错,ssh登录 The authenticity of host 192.168.0.xxx can’t be established.用ssh登录一个机器(换过ip地址),提示输入yes后,屏幕不断出现y,只有按ctrl + c结束错误是:The authenticity of host 192.168.0.xxx can’t be established.以前和同事碰到过...
分类:
其他好文 时间:
2015-06-28 12:51:39
阅读次数:
511