最近在使用flume进行文件读取时遇到一个问题：接收到的信息未按照预想的数据格式输出。 ????文件格式： xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,...
分类：
其他好文 时间：
2014-08-27 19:04:38
阅读次数：
301
1错误：DataXceiver error processing WRITE_BLOCK operation2014-05-06 15:21:30,378 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: hadoop-datanode1:...
分类：
其他好文 时间：
2014-08-27 18:04:08
阅读次数：
215
hadoop的hdfs API的基本操作
简单的介绍
hadoop为我们提供了hdfs非常方便的shell命令（类似于Linux文件操作的命令），再者。hadoop还为我们提供hdfsAPI，使我们开发人员可以对hfds进行一些操作。如：copy文件（从本地到hdfs，从hdfs到本地）、删除文件或者目录、读取文件的内容、看文件的相关信息、列出文件的所有子目录，在文件后面追加内容。（注意：hd...
secondarynamenode异常2014-08-26 22:06:12,793 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpointjava.io.IOExceptio...
分类：
其他好文 时间：
2014-08-26 22:53:46
阅读次数：
378
2014-08-26 20:27:22,712 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimagejava.io.IOException: NameNode i...
分类：
其他好文 时间：
2014-08-26 21:20:47
阅读次数：
877
前言： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，...
分类：
其他好文 时间：
2014-08-26 09:51:26
阅读次数：
502
红色留着继续思考。问题背景： CCSWYB ，在云平台上模拟shell流程，在各个节点上分配fvcom计算任务。Spark程序流程： 从HDFS中读取tasklist.txt(每一行对应一个任务) 经过一些操作过后生成一个JavaPairRDD ，记作data，对data执行foreac...
分类：
其他好文 时间：
2014-08-26 01:47:25
阅读次数：
5885
来自：http://blog.xlvector.net/2014-01/flume-spooldir-source-problem/（自己写的插件，数据序列化，格式化抛出的异常都会导致flume停止，不能继续取数据，异常可以自己处理）最近在用Flume做数据的收集。用到了里面的Spooldir的源在...
分类：
其他好文 时间：
2014-08-25 18:57:04
阅读次数：
248
第四步：配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;修改Hadoo...
分类：
其他好文 时间：
2014-08-25 16:51:54
阅读次数：
267
