报错： 原因： hadoop目录下存在老版本jline: /hadoop-2.6.0/share/hadoop/yarn/lib： -rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar 解决： cp /hive/apache-hive- ...
分类：
其他好文 时间：
2016-11-25 12:20:28
阅读次数：
208
搭建Hadoop Yarn on Docker 一、概览 Docker基于Linux Container技术整合了一堆易用的接口用于构建非常轻量级的虚拟机。Docker Container Executor（DCE）使得Yarn NodeManager服务可以将其container进程运行在Dock ...
分类：
其他好文 时间：
2016-11-24 18:32:49
阅读次数：
253
在Hadoop集群里，有三种模式: 1、本地模式 2、伪分布模式 3、全分布模式 在Spark集群里，有四种模式： 1、local单机模式 结果xshell可见： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --maste ...
分类：
其他好文 时间：
2016-11-23 10:10:39
阅读次数：
335
Yarn & Mapreduce 参数的具体含义和配置 http://zh.hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/ ...
分类：
其他好文 时间：
2016-11-21 19:44:38
阅读次数：
137
注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。 1. ResourceManager相关配置参数 （1） yarn.resourcemanager.address 参数解释：ResourceManager 对客户 ...
分类：
其他好文 时间：
2016-11-19 03:13:10
阅读次数：
228
resourcemanager启动报错，其中一个启动成功，另一个启动报8088端口被成功启动的rm占用 标红的IP:172.16.145.114为成功启动的resourcemanager，上面的报错信息是启动失败的rm(172.16.145.115)报的错 错误显示114的8088端口已经在使用，跟 ...
分类：
其他好文 时间：
2016-11-19 01:51:26
阅读次数：
284
现象： 集群大面积异常，通过ambari启动不起来。逐一排查，顺序 hdfs -> mapreduce->yarn->hive -other hdfs下发现namenode ,datanode启动不起来 namenode报错如下 【namenode.NameNode: Failed to start ...
分类：
其他好文 时间：
2016-11-17 13:10:38
阅读次数：
430
在yarn资源管理的集群上运行spark程序，无法读取的数据多与少，都会报这个错误，但是其他程序在集群上能够正常运行。 通过这个异常，很容易认为是yarn的配置出现了问题，但是无论num-executors和execute-memory设置多大，都是直接报这个错，为了分析那部分出现的问题，将spar ...
分类：
其他好文 时间：
2016-11-14 07:45:18
阅读次数：
1025
1.apt-get update 99% waiting for headers卡住了，fix如下 2. 安装git 3.获取代码 4. install node js 5. 输入node -v，提示我安装node-legancy ，只好安装: 6. 安装yarn（npm的替代品） 官方的安装方法， ...
分类：
Web程序 时间：
2016-11-13 22:21:39
阅读次数：
259
包管理 ：npm cnpm yarn Node Package Manager node的包管理工具 cls清除控制台 npm install jquery 下载依赖包 就自动下载最新版本的jq npm install jquery@3.0.0 下载指定版本 功能：1、下载东西 2、npm help ...
分类：
Web程序 时间：
2016-11-12 11:39:38
阅读次数：
185
