最初的代码源自free2000fly的一个标准的 COM 连接点接收器(Sink)的实现,
使用相当简单!!!，作者封装了不少工作，但调用时的代码还可以再封装一下，最后只要拷贝并修改Sink实现类的Invoke就好了。以下是这个代码的头文件
"sinkimpl.h"，比free2000fly的"si...
分类：
其他好文 时间：
2014-06-11 09:38:08
阅读次数：
264
flume-ng
是一个分布式，高可用的日志收集系统。主要用来将分布在不同服务器上的业务日志汇总在一个集中的数据存储中心一
安装与环境配置下载地址http://flume.apache.org/download.html，下载Apache Flume
binary至目标服务器解压运行环境java版本...
分类：
其他好文 时间：
2014-06-10 21:03:30
阅读次数：
451
按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor模式，因此本文，就只是在source端简单的实现了对数据发送速度的限制。...
分类：
其他好文 时间：
2014-06-10 18:01:51
阅读次数：
1183
之前在借助模板类自动实现COM连接点接收器（Sink）中对原作者的代码进一步封装，弄清了连接点使用的原理，在看ATL代码的过程中，发现ATL本身就提供了AtlAdvise/AtlUnadvise这样的机制来简化连接点的使用，CComPtrBase中也有Advise这个成员函数，它是对AtlAdvis...
分类：
其他好文 时间：
2014-06-10 13:24:09
阅读次数：
311
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储
了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上，客户端联系Name...
分类：
其他好文 时间：
2014-06-10 12:40:13
阅读次数：
275
堆排的灵感源自于堆的数据结构。它是一种原地排序算法，不需要额外的临时数组。
基本思想
堆排的基本思想是：
先建立一个最大堆
将最大的元素移动到数组末尾，减小堆的大小，调整最大堆使其符合最大堆的性质
重复第二步，直到最大堆耗尽为止
第一个步骤建立最大堆的代码非常简单，只要对每个节点执行sink操作即可。
...
分类：
其他好文 时间：
2014-06-10 06:55:08
阅读次数：
295
Hbase简介
Hbase 全称是Hadoop DataBase ，是一种开源的，可伸缩的，高可靠，高性能，面向列的分布式存储系统。
类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS，通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引，而Hbase支持一级和二级索...
分类：
其他好文 时间：
2014-06-08 18:24:32
阅读次数：
563
在测试sqoop语句的时候，一定要限制记录数量，否则就像我刚才，等了1个多小时，才看到测试结果。????sqoop-import --options-file media_options.txt --table my_table --where "ID = 2" --target-dir /user/jenkins/bigdata/import/20140607 -m 1 --fields-ter...
分类：
其他好文 时间：
2014-06-08 04:57:18
阅读次数：
350
今天碰到不少问题，记录一下。分割符的方向问题首先sqoop的参数要小心, 从数据库导出数据，写到HDFS的文件中的时候，字段分割符号和行分割符号必须要用--fields-terminated-by而不能是--input-fields-terminated-by--input前缀的使用于读文件的分割符号，便于解析文件，所以用于从HDFS文件导出到某个数据库的场景。两个方向不一样。参数必须用单引号括起...
分类：
其他好文 时间：
2014-06-08 03:23:09
阅读次数：
289
运行HBase时常会遇到个错误，我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类：
其他好文 时间：
2014-06-08 03:02:50
阅读次数：
395
