STORM与HADOOP的比较对于一堆时刻在增长的数据，如果要统计，可以采取什么方法呢？等数据增长到一定程度的时候，跑一个统计程序进行统计。适用于实时性要求不高的场景。如将数据导到HDFS，再运行一个MAP REDUCE JOB。如果实时性要求高的，上面的方法就不行了。因此就带来第二种方法。在数据每...
分类：
其他好文 时间：
2014-11-16 21:24:49
阅读次数：
223
ElasticSearch的River机制
ElasticSearch自身提供了一个River机制，用于同步数据。
这里可以找到官方目前推荐的River：
http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/
但是官方没有提供HBase的River。
其实ES的River非常简单，就是一个用户打包好的j...
分类：
其他好文 时间：
2014-11-15 17:08:41
阅读次数：
298
importcom.alibaba.fastjson.JSON
Configurationconf=HBaseConfiguration.create();
HTableInterfaceusersTable=newHTable(conf,table);
Getg=newGet(Bytes.toBytes("TheRealMT"));
Resultr=usersTable.get(g);
Map<byte[],NavigableMap<byte[],NavigableMap<Long,by..
分类：
Web程序 时间：
2014-11-15 06:42:14
阅读次数：
274
1：下载安装包（我下载的0.94版本，如果考虑后期与hadoop兼容，需要找合适的版本）http://mirrors.hust.edu.cn/apache/hbase/hbase-0.94.20/hbase-0.94.20.tar.gz安装jdk略2：安装上传至服务器，tar -zxvf解 压即可3...
分类：
其他好文 时间：
2014-11-14 14:13:45
阅读次数：
130
HBase 安装分为：单击模式，伪分布式，完全分布式，在单机模式中，HBase使用本地文件系统而不是HDFS ，所有的服务和zooKeeper都运作在一个JVM中。本文是安装的伪分布式。安装步骤如下 1 环境配置 2 安装说明1 环境配置 1.1 Java JDK 安装，下载JDK，配置环境变...
分类：
系统相关 时间：
2014-11-14 13:49:25
阅读次数：
300
一个实战的示例，利用kettle组件导入excel文件到数据库，然后通过java代码调用，完整有效，自由掌控。...
分类：
数据库 时间：
2014-11-14 10:47:24
阅读次数：
286
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
在本教程中，您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表。下列步骤描述：
?如何使用提供在Azure门户的HBase的集群。
?如何启用和使用RDP访问HBase的外壳，并使用HBase的外壳创建HBase的示例表，添加行，然后列出表中的行。
?如何创建一个Hive表映射到一个现有的HBase的表，使用HiveQL查询数据在HBase的表。
?如何使用Microsoft HBase的REST客...
分类：
其他好文 时间：
2014-11-13 16:43:25
阅读次数：
377
在kettle中实现数据验证和检查 在ETL项目，输入数据通常不能保证一致性。在kettle中有一些步骤能够实现数据验证或检查。验证步骤能够在一些计算的基础上验证行货字段；过滤步骤实现数据过滤；javascript步骤能够实现更复杂的计算。 通常以某种方式查看那些数据是有缺陷的也是实用的，由于大多....
分类：
其他好文 时间：
2014-11-12 19:21:09
阅读次数：
235
1. 试用thrift python/java以及hbase client api，结论如下：
1.1 thrift的安装和发布繁琐，可能会遇到未知的错误，且hbase.thrift的版本在变化中。优点代码简单，需要打包的内容少。
1.2 hbase client api，需要的jar很多，发布版的容量也很大，打包后近百兆。优点是，明确，无歧义。
2....
分类：
编程语言 时间：
2014-11-12 11:47:03
阅读次数：
287
