王家林简介Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码，并已完成2014年5月31日发布的Spark1.0...
分类：
移动开发 时间：
2014-07-22 23:29:47
阅读次数：
241
Hadoop学习笔记(2) ——解读Hello World 上一章中，我们把hadoop下载、安装、运行起来，最后还执行了一个Hello world程序，看到了结果。现在我们就来解读一下这个Hello Word。 OK，我们先来看一下当时在命令行里输入的内容： $mkdir input $cd i....
分类：
其他好文 时间：
2014-07-22 23:27:57
阅读次数：
401
我在写hadoop的时候，在mapper里定义了一个public static int rownums = 0.但我在main里对这个变量进行了赋值。结果在循环的过程中，根本没有任何输出，因为我是用这个变量来控制循环的，所以我猜想可能是不能改变这个值，于是我直接在初始定义的时候直接赋上正确的值，所以...
分类：
编程语言 时间：
2014-07-22 23:03:12
阅读次数：
253
package cn.lmj.mapreduce;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritabl...
分类：
其他好文 时间：
2014-07-22 22:40:15
阅读次数：
170
Hadoop代码测试环境：Hadoop2.4应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。Hadoop内置的输入文件格式类有：1）FileInputFormat这个是基本的父类，我们自定义就直接使用它作为父类；2）TextInputFormat这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，...
分类：
其他好文 时间：
2014-07-22 22:39:54
阅读次数：
270
用Eclipse远程连接hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode="system":hadoop:supergroup:rwx-wx-wx错误，解决方法： ????...
分类：
系统相关 时间：
2014-07-22 22:37:34
阅读次数：
283
进到8088页面后，怎么看不到mapreudce的执行状态，有哪里需要配置的解决办法：在$HADOOP_HOME/conf/mapred-site.xml 在原来的配置文件基础之上添加： mapreduce.framework.name yarn mapre...
分类：
其他好文 时间：
2014-07-22 22:36:15
阅读次数：
211
我用的是cdh4.5版本：配置文件：$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/...
分类：
其他好文 时间：
2014-07-22 22:35:55
阅读次数：
204
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂..
分类：
其他好文 时间：
2014-07-22 14:55:35
阅读次数：
365
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output0...
分类：
其他好文 时间：
2014-07-22 14:38:19
阅读次数：
179
