如果HIVE的输入文件是大量的小文件，而每个文件启动一个map的话是对yarn资源的浪费，同样的，Hive输出的文件也远远小于HDFS块大小，对后续处理也是不利的...
分类：
其他好文 时间：
2015-06-18 11:32:27
阅读次数：
126
公司最近的spark集群由原来的standalone迁移到spark on yarn了，在迁移相关的程序时，发现调整还是有一些的，以下分别是两个版本提交的部分shell命令，从命令可以看出其区别，这个区别主要是spark on yarn的工作方式不太一样，造成提交的方式也不太一样。
standalone方式的脚本为:
spark-submit --class com.bg.tools...
分类：
其他好文 时间：
2015-06-17 21:36:42
阅读次数：
393
1）弹性计算资源 将storm执行在yarn上后。Storm能够与其它计算框架（如mapreduce)共享整个集群的资源。这样当Storm负载骤增时，可动态为它添加计算资源。负载减小时，能够释放资源。2）共享底层存储 执行在yarn上的Storm能够与其它计算框架共享HDFS存储，避免多个集群带.....
分类：
其他好文 时间：
2015-06-17 18:01:36
阅读次数：
146
关于Hadoop[root@master ~]# hadoop --help
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
fs run a generic filesystem user client
version print...
分类：
其他好文 时间：
2015-06-16 23:02:30
阅读次数：
188
总结一：
关于内存的配置总共有以下几个方面：
以下的示例数据为gdc中的配置
（1）每个节点可用于container的内存与虚拟内存
NM的内存资源配置，主要是通过下面两个参数进行的（这两个值是Yarn平台特性，应在yarn-sit.xml中配置） ：
yarn.nodemanager.resource.memory-mb 94208
yarn.nodemanager.vmem-...
分类：
其他好文 时间：
2015-06-16 19:24:28
阅读次数：
369
1、修改etc/hadoop/yarn.sh，增加以下内容
export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y”
export YARN_RESOUCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_soc...
分类：
其他好文 时间：
2015-06-16 19:22:56
阅读次数：
131
一. yarn产生背景： 1. mapreduce 1.0的问题： 1）JobTracker性能问题 ， 2）JobTracker单点问题 ，3）只支持mapreduce一个计算框架 2. 资源利用率：3. 运维成本与数据共享： 运维成本 如果采用“一个框架一个集群”的模式，则可能需要多个管理员管理...
分类：
其他好文 时间：
2015-06-15 12:58:59
阅读次数：
121
与其他几项不同的是 A. Mesos B. Mongodb C. Corona D. Borg E. YARN注：其他几项都是资源统一管理系统或者资源统一调度系统，而 Mongodb一种非关系型数据库。2、[java基础] 以下不属于线程安全的数据结构是 A. HashMap B. HashTabl...
分类：
其他好文 时间：
2015-06-15 09:07:06
阅读次数：
162
单选题
1、与其他几项不同的是
A. Mesos
B. Mongodb
C. Corona
D. Borg
E. YARN注：其他几项都是资源统一管理系统或者资源统一调度系统，而 Mongodb一种非关系型数据库。2、[java基础] 以下不属于线程安全的数据结构是
A. HashMap
B. HashTable
C. CopyOnWriteArrayList
D. Concur...
分类：
其他好文 时间：
2015-06-15 00:23:08
阅读次数：
333
1、Xerox 2、xenophobe 3、xenophobia 4、xerography 5、xerophyte 6、xerox 1、Yale 2、Yangshuo 3、Yankee 4、Yugoslavia 5、yacht 6、yang 7、yard 8、yardstick 9、yarn 10、yawn 11、yeah 12、year 13、yea...
分类：
其他好文 时间：
2015-06-13 06:33:46
阅读次数：
320
