hadoop dfs -cat xxxhadoop dfs -ls [xxx]hadoop dfs -rm xxx删除目录及其内容hadoop dfs -rmr xxx 查看子目录数、文件数及大小hadoop dfs -count xxx 查看目录大小hadoop dfs -du xxxhadoop...
分类：
其他好文 时间：
2014-07-12 00:22:25
阅读次数：
164
import org.apache.hadoop.io.Text;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.C...
分类：
其他好文 时间：
2014-07-11 23:34:33
阅读次数：
231
hadoop2分布式安装后总是报这个bug2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (....
分类：
其他好文 时间：
2014-07-11 19:02:38
阅读次数：
364
Hadoop的配置文件解释hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等；core-site.xml: 用于定义系统级别的参数，它作...
分类：
其他好文 时间：
2014-07-11 13:05:01
阅读次数：
275
1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
Hadoop分布式平台的大数据解决方案
讲师：迪伦
对这个课程有兴趣的可以加我qq2059055336联系我
1 课程背景
GREENPLUM适用场景
Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件的添加，呈线性增加...
分类：
其他好文 时间：
2014-07-09 11:36:26
阅读次数：
205
线上一个job出错，报错信息如下：DiagnosticMessagesforthisTask:
Error
:
java.io.IOException:java.io.EOFException:Unexpectedendofinputstream
atorg.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.jav..
分类：
其他好文 时间：
2014-07-09 08:40:55
阅读次数：
347
最近学习hadoop，建了个工程，由于是引入的jar包，不方便阅读，百度了一下，发现还是各种麻烦，在这里给大家介绍一种简单的办法，两步搞定一.下载hadoop完整包并解压二.选择hadoopjar包---》右键属性--》source---》外部文件夹（选择解压的目录就可以了）三.看成果是不是方便多..
分类：
系统相关 时间：
2014-07-09 08:32:45
阅读次数：
219
通过HBaseAdmin维护表（创建，删除表）importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.hbase.HBaseConfiguration;
importorg.apache.hadoop.hbase.HColumnDescriptor;
importorg.apache.hadoop.hbase.HTableDescriptor;
importorg.apache.hadoop.hbase...
分类：
编程语言 时间：
2014-07-09 08:28:58
阅读次数：
170
今天收到线上的resourcemanager报警：报错信息如下：2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx:53356Timedoutafter600secs
2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl..
分类：
其他好文 时间：
2014-07-09 08:21:41
阅读次数：
436
