目的此文档描写叙述了FairScheduler, Hadoop 的一个可插入式的调度器，同意 YARN 应用在一个大集群中公平地共享资源。简单介绍公平调度是一种分配资源给应用的方法。以致到最后，平均上全部应用获得相等的资源。 Hadoop NextGen 可以调度多种类型的资源。默认的， Fair ...
分类：
其他好文 时间：
2015-06-23 19:33:32
阅读次数：
186
出现这个问题，是因为spark的excutor执行的时候，缺少hive的依赖包，添加依赖包的参数是：--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*...
分类：
数据库 时间：
2015-06-23 13:30:45
阅读次数：
337
如果HIVE的输入文件是大量的小文件，而每个文件启动一个map的话是对yarn资源的浪费，同样的，Hive输出的文件也远远小于HDFS块大小，对后续处理也是不利的...
分类：
其他好文 时间：
2015-06-18 11:32:27
阅读次数：
126
公司最近的spark集群由原来的standalone迁移到spark on yarn了，在迁移相关的程序时，发现调整还是有一些的，以下分别是两个版本提交的部分shell命令，从命令可以看出其区别，这个区别主要是spark on yarn的工作方式不太一样，造成提交的方式也不太一样。
standalone方式的脚本为:
spark-submit --class com.bg.tools...
分类：
其他好文 时间：
2015-06-17 21:36:42
阅读次数：
393
1）弹性计算资源 将storm执行在yarn上后。Storm能够与其它计算框架（如mapreduce)共享整个集群的资源。这样当Storm负载骤增时，可动态为它添加计算资源。负载减小时，能够释放资源。2）共享底层存储 执行在yarn上的Storm能够与其它计算框架共享HDFS存储，避免多个集群带.....
分类：
其他好文 时间：
2015-06-17 18:01:36
阅读次数：
146
关于Hadoop[root@master ~]# hadoop --help
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
fs run a generic filesystem user client
version print...
分类：
其他好文 时间：
2015-06-16 23:02:30
阅读次数：
188
总结一：
关于内存的配置总共有以下几个方面：
以下的示例数据为gdc中的配置
（1）每个节点可用于container的内存与虚拟内存
NM的内存资源配置，主要是通过下面两个参数进行的（这两个值是Yarn平台特性，应在yarn-sit.xml中配置） ：
yarn.nodemanager.resource.memory-mb 94208
yarn.nodemanager.vmem-...
分类：
其他好文 时间：
2015-06-16 19:24:28
阅读次数：
369
1、修改etc/hadoop/yarn.sh，增加以下内容
export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y”
export YARN_RESOUCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_soc...
分类：
其他好文 时间：
2015-06-16 19:22:56
阅读次数：
131
一. yarn产生背景： 1. mapreduce 1.0的问题： 1）JobTracker性能问题 ， 2）JobTracker单点问题 ，3）只支持mapreduce一个计算框架 2. 资源利用率：3. 运维成本与数据共享： 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理...
分类：
其他好文 时间：
2015-06-15 12:58:59
阅读次数：
121
与其他几项不同的是 A. Mesos B. Mongodb C. Corona D. Borg E. YARN注：其他几项都是资源统一管理系统或者资源统一调度系统，而 Mongodb一种非关系型数据库。2、[java基础] 以下不属于线程安全的数据结构是 A. HashMap B. HashTabl...
分类：
其他好文 时间：
2015-06-15 09:07:06
阅读次数：
162
