标签:
Zeppelin是一个Web笔记形式的基于Spark的大数据交互式数据查询分析工具(类似python notebook),可以在线写Scala和SQL代码对数据进行查询分析并生成报表,开发者也可以通过实现更多的解释器来为Zeppelin添加数据引擎。
0、 下载zeppelin
下载地址:https://zeppelin.incubator.apache.org/download.html
选择已编译版本:
解压目录结构:
1、 修改conf/zeppelin-env.sh,设置SPARK_HOME、HADOOP_HOME(先copy模板)
export SPARK_HOME=$SPARK_HOME
exportHADOOP_HOME=$HADOOP_CONF_DIR
(设置为堡垒机.bashrc中参数)
2、 修改conf/zeppelin-site.sh,设置运行端口(先copy模板)
<property>
<name>zeppelin.server.port</name>
<value>8097</value>
<description>Server port.</description>
</property>
3、 修改conf/interpreter.json,定位spark配置项,修改spark配置参数
4、 修改bin/interpreter.sh
去除参数:--driver-class-path"${ZEPPELIN_CLASSPATH_OVERRIDES}:${CLASSPATH}"
(--driver-class-path必需去除参数,不然会报错)
(Error:Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.)
并增加运行队列参数:--queue [队列名]
5、 启动/停止zeppelin
启动命令:bin/zeppelin-daemon.sh start
停止命令:bin/zeppelin-daemon.sh start
重启命令:bin/zeppelin-daemon.sh restart
6、 访问页面(ip:port),运行示例程序
Eg. http://172.22.170.128:8097
7、 其它
Zeppelin定位于交互式可视化分析环境,而yarn-client模式适用于交互和调试zeppelin目前不支持yarn-cluster模式运行
标签:
原文地址:http://blog.csdn.net/you12345678901234567/article/details/51346306