问题解决：这个错误是：yarn里面的配置的格式有错误：如：yarn.resourcemanager.addressMaster:8032 在标签之间不能有空格。去掉空格OK。异常堆栈如下2014-08-30 10:20:30,171 INFO org.apache.hadoop.service.A....
分类：
其他好文 时间：
2014-08-30 11:06:39
阅读次数：
927
红色留着继续思考。问题背景： CCSWYB ，在云平台上模拟shell流程，在各个节点上分配fvcom计算任务。Spark程序流程： 从HDFS中读取tasklist.txt(每一行对应一个任务) 经过一些操作过后生成一个JavaPairRDD ，记作data，对data执行foreac...
分类：
其他好文 时间：
2014-08-26 01:47:25
阅读次数：
5885
Hadoop服务库与事件库的使用及其工作流程 Hadoop服务库:
YARN采用了基于服务的对象管理模型,主要特点有:
被服务化的对象分4个状态:NOTINITED,INITED,STARTED,STOPED
任何服务状态变化都可以触发另外一些动作
可通过组合方式对任意服务进行组合,统一管理
具体类...
分类：
其他好文 时间：
2014-08-25 18:46:54
阅读次数：
231
hadoop2.0 yarn 内存溢出问题解决异常提示：Container [pid=20170,containerID=container_1390877171119_0002_01_000005] is running beyond virtual memory limits. Current ...
分类：
其他好文 时间：
2014-08-23 15:12:51
阅读次数：
218
YARN加载本地库抛出Unable to load native-hadoop library解决办法用官方的Hadoop2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WarningWARN util.NativeCodeLoader: Unable to load nativ...
分类：
其他好文 时间：
2014-08-23 12:30:40
阅读次数：
282
1、什么是序列化和反序列化
神马是序列化呢，序列化就是把内存中的对象的状态信息，转换成字节序列以便于存储（持久化）和网络传输。（网络传输和硬盘持久化，你没有一定的手段来进行辨别这些字节序列是什么东西，有什么信息，这些字节序列就是垃圾）。
反序列化就是将收到字节序列或者是硬盘的持久化数据，转换成内存中的对象。
2、JDK的序列化
JDK的序列化只有实现了serializable接口就...
分类：
编程语言 时间：
2014-08-18 20:29:22
阅读次数：
330
Hadoop的各个组件是通过XML配置的。
2.0以后，配置文件的位置发生了小变化，我安装的Hadoop 2.4.1，配置文件的位置在$HADOOP_INSTALL/etc/hadoop/
在初期运行MapReduce DEMO时，我们只需关注三个基本配置就好：
core-site.xml
hdfs-site.xml
yarn-site.xml(2.0后的版本，MapReduce运行在y...
分类：
其他好文 时间：
2014-08-18 14:33:26
阅读次数：
272
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类：
其他好文 时间：
2014-08-17 21:08:52
阅读次数：
890
我的测试环境是三台机器分别是Hadoop-Yarn.Hark.Com 192.168.1.200Hadoop-Slave1.Hark.Com 192.168.1.201Hadoop.Slave2.Hark.Com 192.168.1.202我为了自己能充分练习hadoop 64位源码编译，所以三台机...
分类：
其他好文 时间：
2014-08-17 15:29:52
阅读次数：
236
上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下任务提交过程。MapReduce集群包含一个JobTracker和多个TaskTracker，这里先不考虑YARN，仍然依据1版本进行分析。一个MapReduce...
分类：
其他好文 时间：
2014-08-17 02:20:01
阅读次数：
320
