ssh免密码登陆配置ssh localhostssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys修改/etc/hosts文件（vi或gedit都可以，需要sudo）添加YARN...
分类：
其他好文 时间：
2015-02-11 21:48:17
阅读次数：
179
线上job报错：Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:java.io.FileNotFoundException:/home/vipshop/hard_disk/1/yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/S..
分类：
其他好文 时间：
2015-02-07 19:07:34
阅读次数：
234
在MRv1中，对象之间的作用关系是基于函数调用实现的，当一个对象向另外一个对象传递消息时，会直接采用函数调用的方式，并且这个过程是串行的。比如，当TaskTracker需要执行一个Task的时候，将首先下载Task依赖的文件(JAR包，二进制文件等，字典文件等)，然后执行Task。在整个过程中，下载依赖文件是阻塞式的，也就是说，前一个任务未完成文件下载之前，后一个新任务将一直处于等待状态，只有在下...
分类：
移动开发 时间：
2015-02-03 07:05:11
阅读次数：
191
执行语句：
sudo spark-submit --master yarn--driver-memory 7G --executor-memory 5G --executor-cores 24 --num-executors 4--class spark.init.InitSpark /home/hxf/gogo.jar>/home/hxf/dddd.txt2>&1;
执行过程：...
分类：
其他好文 时间：
2015-02-02 10:49:28
阅读次数：
179
1：什么是yarnYARN是一个框架管理器，用户可以将各种各样的计算框架移植到YARN之上，由YARN进行统一管理和资源分配、本质上是一个资源统一管理系统，将各种框架运行在YARN之上，可以实现框架的资源统一管理和分配，使他们共享一个集群，而不是“一个框架一个集群”，这可大大降低运维成本和硬件成本比...
分类：
其他好文 时间：
2015-02-01 07:04:12
阅读次数：
161
本文以start-dfs.sh为例向下延展解释各脚本的作用和相互关系，对于start-yarn.sh同理可证。下图解释了各个脚本的作用：注意：slaves.sh在通过SSH推送命令时，会首先读取$HADOOP_SLAVE_NAMES这个数组中的机器列表作为推送目标，当这个数组为空时才使用slaves文件中给出的机器列表。实际上slaves.sh这个脚本的命名很不好，它会给人一种误导，这个脚本实际上...
分类：
其他好文 时间：
2015-01-29 09:27:39
阅读次数：
205
关于Cluster Manager和Deploy Mode的组合在SparkSubmit.scala的createLaunchEnv中有比较详细的逻辑。Cluster Manager基本上有Standalone，YARN和Mesos三种情况，说明Cluster Manager用来指明集群的资源管理器...
分类：
其他好文 时间：
2015-01-28 06:09:55
阅读次数：
1978
经过前年的初次接触，现在已大约能理解整个体系啦。MAPREDUCE都改成YARN啦。不过，还得继续往前走，再能实用。。。HIVE,HBASE,ZOOKEEPER，，思路如下：安装系统，配置网络及计算机名配置SSH登陆安装及JAVA及配置JAVE_HOME，配置HADOOP基础，在WEB下查看端口及测...
分类：
其他好文 时间：
2015-01-22 19:42:28
阅读次数：
214
mapreduce_shuffle does not exist
提交作业出现类似下面的错误：
mapreduce_shuffle does not exist
解决办法：
在 yarn-site.xml 配置文件中增加：
yarn.nodemanager.aux-services
mapreduce_shuffle...
分类：
其他好文 时间：
2015-01-22 18:15:37
阅读次数：
182
spark支持YARN做资源调度器，所以YARN的原理还是应该知道的：http://www.socc2013.org/home/program/a5-vavilapalli.pdf 但总体来说，这是一篇写得一般的论文，它的原理没有什么特别突出的，而且它列举的数据没有对比性，几乎看不出YARN有什么优...
分类：
Web程序 时间：
2015-01-22 01:40:48
阅读次数：
521
