Spark版本：spark-1.1.0-bin-hadoop2.4 (下载：http://spark.apache.org/downloads.html)服务器环境的情况，请参考上篇博文hbase centOS生产环境配置笔记(hbase-r是ResourceManager; hbase-1, hb...
分类：
其他好文 时间：
2014-11-03 16:19:44
阅读次数：
288
本次是第一次在生产环境部署HBase，本文若有配置上的不妥之处还请高手指正。hadoop版本：hadoop-2.4.1HBase版本：hbase-0.98.6.1-hadoop2JDK：1.6操作系统：centOS6.3 64bit1. 安装snappy#yum install snappyInst...
分类：
其他好文 时间：
2014-10-28 17:00:52
阅读次数：
719
从控制台我们可以看见有两个DataNode，此时我们点击“LiveNodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：而在SparkWo..
分类：
其他好文 时间：
2014-10-21 10:27:47
阅读次数：
163
从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：
从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！
第三步：启动yarn集群
使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：
而在Spa...
分类：
其他好文 时间：
2014-10-21 10:24:25
阅读次数：
230
jobtracker变成了ResourceManager和ApplicationMaster;
tasktraker变成了nodeManager
applicationMaster是一个可变更的部分，用户可以对不同的编程模型些自己的applicationMaster...
分类：
其他好文 时间：
2014-10-19 23:18:52
阅读次数：
196
YARN中实现了多个状态机对象，包括ResourceManager中的RMAppImpl、RMApp-AttemptImpl、RMContainerImpl和RMNodeImpl，NodeManager中的ApplicationImpl、ContainerImpl和LocalizedResource，MRAppMaster中的JobImpl、TaskImpl和TaskAttemptImpl等。为了...
分类：
其他好文 时间：
2014-10-09 18:24:27
阅读次数：
194
开发基于YARN的应用程序需要开发客户端程序和AppMaster程序：我们基于程序自带的例子来实现提交application 到YARN的ResourceManger。Distributed Shell application：Client 步骤：连接 ResourceManager；通过Appli...
分类：
其他好文 时间：
2014-09-12 20:31:24
阅读次数：
297
首先client向ResourceManager提交程序（包括ApplicationMaster程序，ApplicationMaster启动命令，用户程序）后，ResourceManager向资源调度器去申请资源，一旦申请的ApplicationMaster须要的资源，ApplicationMast...
分类：
移动开发 时间：
2014-08-31 10:27:31
阅读次数：
382
问题解决：这个错误是：yarn里面的配置的格式有错误：如：yarn.resourcemanager.addressMaster:8032 在标签之间不能有空格。去掉空格OK。异常堆栈如下2014-08-30 10:20:30,171 INFO org.apache.hadoop.service.A....
分类：
其他好文 时间：
2014-08-30 11:06:39
阅读次数：
927
在某些项目中，可能需要动态的改变控件的模板，例如软件中可以选择不同的主题，在不同的主题下软件界面、控件的样式都会有所不同，这时即可通过改变控件模板的方式实现期望的功能。基本方法是当用户点击切换主题按钮是加载新的资源字典，并使用新加载的资源字典替代当前的资源字典这时要用到ResourceManager...
分类：
其他好文 时间：
2014-08-08 23:42:36
阅读次数：
410
