码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop入门(一)概念

时间:2017-08-18 11:16:57      阅读:191      评论:0      收藏:0      [点我收藏+]

标签:内容   下载   1.2   ubuntu   acl   www.   path   tun   core   

  

一、hadoop的概念

(1)什么是大数据

  大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。

 

(2)hadoop的定义

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

  Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

 

二、单机安装(Ubuntu14版)

1、安装配置jdk

A、在线安装:

 技术分享

B、离线安装 

1)下载jdk-7u80-linux-x64.tar.gz

  下载路径:http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

  把离线包拷入到ubuntu的当前用户mk的software文件夹下,然后执行命令安装。


2)执行命令
  mkdir ~/software
  tar -zxvf jdk-7u80-linux-x64.tar.gz
  mv jdk1.7.0_80/ software/jdk1.7.0_80

 

C、配置JDK环境变量JAVA_HOME

安装完jdk后,需要配置环境变量,把java变成系统内命令
编辑/etc/profile文件来修改系统环境变量。

1)配置环境变量

执行命令(后面java.sh不要有空格,如‘java.sh ’,否则读不了配置文件)
  sudo gedit /etc/profile.d/java.sh

打开/etc/profile文件在文件中添加如下配置
  export JAVA_HOME=/home/mk/software/jdk1.7.0_80
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  export PATH=$JAVA_HOME/bin:$PATH

注意:写配置值时,export语句的内容里面不要换行

 

2)验证配置

(1)使profile文件修改配置生效
  执行命令:source /etc/profile

   或者注销再登录当前用户

       执行命令:sudo reboot


(2)验证java质量

     执行命令 :java -version

技术分享

 


 

2、安装hadoop

A、下载解压hadoop安装包

下载hadoop安装包hadoop-2.6.0.tar.gz

下载路径:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

 

B、拷贝到hadoop用户目录中,执行命令进行安装 

 执行命令
  tar xvf hadoop-2.6.0.tar.gz
  mv hadoop-2.6.0 software/

C、修改hadoop环境变量配置

 执行命令(后面hadoop.sh不要有空格,如‘hadoop.sh ’,否则读不了配置文件)
  sudo gedit /etc/profile.d/hadoop.sh

   hadoop.sh的内容

export HADOOP_HOME=/home/mk/software/hadoop-2.6.0
export CLASSPATH=.:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

  注意:写配置值时,export语句的内容里面不要换行

 D、验证配置

 1)使hadoop命令配置生效

   执行命令source /etc/profile

  或注销再登录当前用户

  2) 验证:
  hadoop version

技术分享

 

Hadoop入门(一)概念

标签:内容   下载   1.2   ubuntu   acl   www.   path   tun   core   

原文地址:http://www.cnblogs.com/maokun/p/7387795.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!