基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（五）

标签：

1. 安装Git：在nbidc-agent-04上执行下面的指令。

   yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel  
   yum install gcc perl-ExtUtils-MakeMaker  
   yum remove git  
   cd /home/work/tools/  
   wget https://github.com/git/git/archive/v2.8.1.tar.gz  
   tar -zxvf git-2.8.1.tar.gz  
   cd git-2.8.1.tar.gz  
   make prefix=/home/work/tools/git all  
   make prefix=/home/work/tools/git install

2. 安装Java：在nbidc-agent-03机器上执行下面的指令拷贝Java安装目录到nbidc-agent-04机器上。

   scp -r jdk1.7.0_75 nbidc-agent-04:/home/work/tools/

3. 安装Apache Maven：在agent-04上执行下面的指令。

   cd /home/work/tools/  
   wget ftp://mirror.reverse.net/pub/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz  
   tar -zxvf apache-maven-3.3.9-bin.tar.gz

4.  安装Hadoop客户端：在nbidc-agent-03机器上执行下面的指令拷贝Hadoop安装目录到nbidc-agent-04机器上。

   scp -r hadoop nbidc-agent-04:/home/work/tools/

5. 安装Spark客户端：在nbidc-agent-03机器上执行下面的指令拷贝Spark安装目录到nbidc-agent-04机器上。

   scp -r spark nbidc-agent-04:/home/work/tools/

6. 安装Hive客户端：在nbidc-agent-03机器上执行下面的指令拷贝Hive安装目录到nbidc-agent-04机器上。

   scp -r hive nbidc-agent-04:/home/work/tools/

7. 安装phantomjs：在nbidc-agent-04上执行下面的指令。

   cd /home/work/tools/  
   tar -jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2

8. 下载最新的zeppelin源码：在nbidc-agent-04上执行下面的指令。

   cd /home/work/tools/  
   git clone https://github.com/apache/incubator-zeppelin.git

9. 设置环境变量：在nbidc-agent-04上编辑/home/work/.bashrc文件，内容如下。

   vi /home/work/.bashrc
   # 添加下面的内容  
   export PATH=.:$PATH:/home/work/tools/jdk1.7.0_75/bin:/home/work/tools/hadoop/bin:/home/work/tools/spark/bin:/home/work/tools/hive/bin:/home/work/tools/phantomjs-2.1.1-linux-x86_64/bin:/home/work/tools/incubator-zeppelin/bin;  
   export JAVA_HOME=/home/work/tools/jdk1.7.0_75  
   export HADOOP_HOME=/home/work/tools/hadoop  
   export SPARK_HOME=/home/work/tools/spark  
   export HIVE_HOME=/home/work/tools/hive  
   export ZEPPELIN_HOME=/home/work/tools/incubator-zeppelin  
   # 保存文件，并是设置生效  
   source /home/work/.bashrc

10. 编译zeppelin源码：在nbidc-agent-04上执行下面的指令。

    cd /home/work/tools/incubator-zeppelin  
    mvn clean package -Pspark-1.6 -Dspark.version=1.6.0 -Dhadoop.version=2.7.0 -Phadoop-2.6 -Pyarn -DskipTests

1. 配置zeppelin-env.sh文件：在nbidc-agent-04上执行下面的指令。

   cp /home/work/tools/incubator-zeppelin/conf/zeppelin-env.sh.template  /home/work/tools/incubator-zeppelin/conf/zeppelin-env.sh 
   vi /home/work/tools/incubator-zeppelin/conf/zeppelin-env.sh
   # 添加下面的内容  
   export JAVA_HOME=/home/work/tools/jdk1.7.0_75  
   export HADOOP_CONF_DIR=/home/work/tools/hadoop/etc/hadoop  
   export MASTER=spark://nbidc-agent-03:7077

2. 配置zeppelin-site.xml文件：在nbidc-agent-04上执行下面的指令。

   cp /home/work/tools/incubator-zeppelin/conf/zeppelin-site.xml.template  /home/work/tools/incubator-zeppelin/conf/zeppelin-site.xml
   vi /home/work/tools/incubator-zeppelin/conf/zeppelin-site.xml
   # 修改下面这段的value值，设置zeppelin的端口为9090  
   <property>  
     <name>zeppelin.server.port</name>  
     <value>9090</value>  
     <description>Server port.</description>  
   </property>

3. 将hive-site.xml拷贝到zeppelin的配置目录下：在nbidc-agent-04上执行下面的指令。

   cd /home/work/tools/incubator-zeppelin  
   cp /home/work/tools/hive/conf/hive-site.xml .

zeppelin-daemon.sh start

%sql  
select * from wxy.t1 where rate > ${r} 

cd /home/work/tools/
git clone https://github.com/jiekechoo/zeppelin-interpreter-mysql
mvn clean package

mkdir /home/work/tools/incubator-zeppelin/interpreter/mysql
cp /home/work/tools/zeppelin-interpreter-mysql/target/zeppelin-mysql-0.5.0-incubating.jar /home/work/tools/incubator-zeppelin/interpreter/mysql/
# copy dependencies to mysql directory
cp commons-exec-1.1.jar mysql-connector-java-5.1.6.jar slf4j-log4j12-1.7.10.jar log4j-1.2.17.jar slf4j-api-1.7.10.jar /home/work/tools/incubator-zeppelin/interpreter/mysql/
vi /home/work/tools/incubator-zeppelin/conf/zeppelin-site.xml

zeppelin-daemon.sh restart

打开主页http://nbidc-agent-04:9090/，‘Interpreter’ -> ‘Create’，完成类似下图的页面，完成点击‘Save’ 

• 创建名为mysql_test的note，如下图所示。

• 输入下面的查询语句，按创建日期统计建立表的个数。

%mysql
select date_format(create_time,‘%Y-%m-%d‘) d, count(*) c 
  from information_schema.tables 
 group by date_format(create_time,‘%Y-%m-%d‘) 
 order by d;

        查询结果的表格表示如下图所示。

        查询结果的柱状图表示如下图所示。

        查询结果的饼图表示如下图所示。

        查询结果的堆叠图表示如下图所示。

        查询结果的线形图表示如下图所示。

        查询结果的散点图表示如下图所示。

        报表模式的饼图表示如下图所示。

select date_format(create_time,‘%Y-%m-%d‘) d, count(*) c 
  from information_schema.tables 
 where create_time > ‘2016-06-07‘
 group by date_format(create_time,‘%Y-%m-%d‘) 
 order by d;

• Zeppelin和Hue都能提供一定的数据可视化的功能，都提供了多种图形化数据表示形式。单从这点来说，个人认为功能类似，大同小异，Hue可以通过经纬度进行地图定位，这个功能我在Zeppelin 0.6.0上没有找到。
• Zeppelin支持的后端数据查询程序较多，0.6.0版本缺省有18种，原生支持Spark。而Hue的3.9.0版本缺省只支持Hive、Impala、Pig和数据库查询。
• Zeppelin只提供了单一的数据处理功能，包括前面提到的数据摄取、数据发现、数据分析、数据可视化等都属于数据处理的范畴。而Hue的功能相对丰富的多，除了类似的数据处理，还有元数据管理、Oozie工作流管理、作业管理、用户管理、Sqoop集成等很多管理功能。从这点看，Zeppelin只是一个数据处理工具，而Hue更像是一个综合管理工具。

• Zeppelin采用插件式的翻译器，通过插件开发，可以添加任何后端语言和数据处理程序。相对来说更独立和开放。
• Hue与Hadoop生态圈的其它组件密切相关，一般都与CDH一同部署。

• Zeppelin适合单一数据处理、但后端处理语言繁多的场景，尤其适合Spark。
• Hue适合与Hadoop集群的多个组件交互、如Oozie工作流、Sqoop等联合处理数据的场景，尤其适合与Impala协同工作。

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（五）

标签：

原文地址：http://blog.csdn.net/wzy0623/article/details/52370045