需要准备2个文件Apache-tomcat-5.5.25.zip(推荐使用tomcat6)hdfs-webdav.war 解压tomcat# unzip apache-tomcat-5.5.25.zip 复制war到webapps# cd apache-tomcat-5.5.25# cp /soft...
分类：
Web程序 时间：
2014-07-12 00:28:44
阅读次数：
520
具体参考: 官方用户手册和开发指南http://flume.apache.org/FlumeDeveloperGuide.html*) 定位和简单例子1). Flume-ng-sdk是用于编写往flume agent发送数据的client sdk2). 简单示例RpcClient client = ...
分类：
其他好文 时间：
2014-07-11 21:12:08
阅读次数：
256
hadoop2分布式安装后总是报这个bug2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (....
分类：
其他好文 时间：
2014-07-11 19:02:38
阅读次数：
364
我用命令：bin/hdfsnamenode-format 格式化NameNode时报下面的错：14/07/09 17:12:49 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.q...
分类：
其他好文 时间：
2014-07-11 11:01:55
阅读次数：
282
【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一...
分类：
其他好文 时间：
2014-07-10 16:51:14
阅读次数：
304
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，MapReduce来实现分布式并行任务处理的程序支持。HDFSHDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个Data...
分类：
其他好文 时间：
2014-07-10 15:36:19
阅读次数：
204
1.文件的读取在客户端执行读取操作时，客户端和HDFS交互过程以及NameNode和各DataNode之间的数据流是怎样的？下面将围绕图1进行具体讲解。 图 1 客户端从HDFS中读取数据1）客户端通过调用FileSystem对象中的open()函数来读取它做需要的数据。FileS...
分类：
其他好文 时间：
2014-07-09 13:58:58
阅读次数：
824
1、从HDFS中读取数据
Configuration conf = getConf();
Path path = new Path(pathstr);
FileSystem fs = FileSystem.get(conf);
FSDataInputStream fsin= fs.open(path );
BufferedReader br =null;
Strin...
分类：
其他好文 时间：
2014-07-09 09:17:40
阅读次数：
290
1、构建Nutch
tar -zxvf apache-nutch-2.2.1-src.tar.gz
cd apache-nutch-2.2.1
ant runtime
2、 ant构建之后，生成runtime文件夹，该文件夹下面有deploy和local文件夹，分别代表了nutch的两种运行方式：
Deploy：的数据必须运行在Hadoop的HDFS中
loca...
分类：
其他好文 时间：
2014-07-08 18:20:36
阅读次数：
268
快，指时延storm:网络直传，基于内存，流式处理，省去了批量处理收集数据的时间和作业调度时延，用于实时hadoop:hdfs传输，磁盘作为中间交换的介质，基于任务调度吞吐：单位时间内处理的数据量当数据量很大时，比的是吞吐，那hadoop会比storm快
分类：
其他好文 时间：
2014-07-08 09:11:30
阅读次数：
195
