本文是根据Hadoop官网安装教程写的Hadoop YARN在单机伪分布式环境下的安装报告，仅供参考。
1. 安装环境如下：
操作系统：Ubuntu14.04
Hadoop版本：hadoop-2.5.0
Java版本：openjdk-1.7.0_55...
分类：
其他好文 时间：
2014-10-29 19:20:57
阅读次数：
286
jobtracker变成了ResourceManager和ApplicationMaster;
tasktraker变成了nodeManager
applicationMaster是一个可变更的部分，用户可以对不同的编程模型些自己的applicationMaster...
分类：
其他好文 时间：
2014-10-19 23:18:52
阅读次数：
196
带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富...
分类：
其他好文 时间：
2014-10-09 17:05:07
阅读次数：
264
Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo！、阿里淘宝...
分类：
移动开发 时间：
2014-09-13 17:03:45
阅读次数：
328
1、什么是序列化和反序列化
神马是序列化呢，序列化就是把内存中的对象的状态信息，转换成字节序列以便于存储（持久化）和网络传输。（网络传输和硬盘持久化，你没有一定的手段来进行辨别这些字节序列是什么东西，有什么信息，这些字节序列就是垃圾）。
反序列化就是将收到字节序列或者是硬盘的持久化数据，转换成内存中的对象。
2、JDK的序列化
JDK的序列化只有实现了serializable接口就...
分类：
编程语言 时间：
2014-08-18 20:29:22
阅读次数：
330
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类：
其他好文 时间：
2014-08-17 21:08:52
阅读次数：
890
我的测试环境是三台机器分别是Hadoop-Yarn.Hark.Com 192.168.1.200Hadoop-Slave1.Hark.Com 192.168.1.201Hadoop.Slave2.Hark.Com 192.168.1.202我为了自己能充分练习hadoop 64位源码编译，所以三台机...
分类：
其他好文 时间：
2014-08-17 15:29:52
阅读次数：
236
hadoop yarn里用了RPC调用。NM里面文件本地化类ContainerLocalizer用RPC心跳方式跟本机的ResourceLocalizationService通信。用shared memory还要调到native层去，不知道会不会比tcp/ip快？可以用文件，考虑锁的问题。但是文件貌...
分类：
其他好文 时间：
2014-08-15 22:22:39
阅读次数：
220
项目起源是因为有人希望有个模拟环境来模拟公平调度器和容量调度器，以便合理配置调度器，降低生产环境出问题的风险，详见https://issues.apache.org/jira/browse/YARN-1021。之后在hadoop2.3.0就增加了这个工具。首先设定环境变量：exportHADOOP_HOME=/usr/hadoop-2.3.0export..
分类：
其他好文 时间：
2014-08-01 20:10:42
阅读次数：
284
本文编译方法所支持的hadoop环境是Hadoop-2.2.0，YARN是2.2.0，JAVA版本为1.8.0_11，操作系统Ubuntu14.04Spark1.0.0 源码下载地址：http://mirror.bit.edu.cn/apache/spark/spark-1.0.0/spark-1....
分类：
其他好文 时间：
2014-07-24 09:59:23
阅读次数：
448
