1
org.slf4j.impl.StaticLoggerBinder.SINGLETON错误方案:确保slf4j-api-1.5.6.jar
和slf4j-log4j12-1.5.6.jar 版本一致如果发布,pom中其他依赖的jar包排除上面两个2 本地调试不行,在LocalCluster
cl...
分类:
其他好文 时间:
2014-05-16 06:55:48
阅读次数:
251
数据库同步的方式有设置标志位同步方式、以时间戳同步的方式,对于一对一的同步这两种方式都满足,但是对于一对多的同步,则只能选择时间戳的同步方式了,但是已时间戳同步的方式的一个问题是如何可靠的保证数据可以不丢失的同步到数据库中。下面有两种方式来保证以时间戳同步的可靠性。
1、计算服务器与客户端两台电脑的时间差,将该时间差记入在同步时间的比对当中,下图是使用kettle做的一个计算同步的时间差的思路:...
分类:
其他好文 时间:
2014-05-15 08:02:56
阅读次数:
460
HLog概述hbase在写入数据之前会先写入MemStore,成功了再写入HLog,当MemStore的数据丢失的时候,还可以用HLog的数据来进行恢复,下面先看看HLog的图。旧版的HLog是实际上是一个SequceneFile,0.96的已经使用Protobuf来进行序列化了。从Writer和R...
分类:
其他好文 时间:
2014-05-15 07:38:50
阅读次数:
377
创建表:
hive> CREATE TABLE pokes (foo INT, bar STRING);
Creates a table called pokes with two columns, the first being an integer and the other a string
创建一个新表,结构与其他一样
hive> create table n...
分类:
其他好文 时间:
2014-05-15 07:07:58
阅读次数:
303
1.我使用的Hadoop2.0-cdh4.3.0,对应hive配套版本hive-0.10.0-cdh4.3.0。
2.修改hive/conf下hive-site.xml文件,无则创建hive-site.xml,在底部添加如下内容:
[html] view
plaincopy
xml version="1.0" encoding="UTF-8"...
分类:
其他好文 时间:
2014-05-15 04:05:27
阅读次数:
341
很多复杂的报表项目,是借助报表工具(或插件)来实现的,下面以jasperReport举例。这些报表工具可以对传统的数据源(关系型数据库、collections、javaBeanArray)进行很好的支持。HBase的数据结构虽然与关系型数据库不一样,但HBase本身就是java开发的。有专门的javaAPI实现对HB..
分类:
其他好文 时间:
2014-05-14 18:23:58
阅读次数:
281
一、 创建表
在官方的wiki里,example是这样的:
Sql代码
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITION...
分类:
数据库 时间:
2014-05-14 14:50:27
阅读次数:
463
基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。包括服务器端(Server)和客户端(Client)Server运行环境:Hadoop+HBase+TomcatClient运行环境:
Eclipse+Android2.3Server端介绍:接收客户端请求的Actio...
分类:
移动开发 时间:
2014-05-14 13:18:12
阅读次数:
374
从这一章开始要讲Region Server这块的了,但是在讲Region
Server这块之前得讲一下StoreFile,否则后面的不好讲下去,这块是基础,Region
Sever上面的操作,大部分都是基于它来进行的。HFile概述HFile是HBase中实际存数据的文件,为HBase提供高效快速的...
分类:
其他好文 时间:
2014-05-14 11:42:39
阅读次数:
314
今天在设置kettle的界面时,想看看中文是什么样子的,于是就把如图的地方都改成了中文重启后,kettle启不来了一直报错java.lang.ArrayIndexOutOfBoundsException:5
atorg.pentaho.di.ui.spoon.dialog.TipsDialog.getTip(TipsDialog.java:191)
atorg.pentaho.di.ui.spoon.dialog..
分类:
其他好文 时间:
2014-05-13 01:53:37
阅读次数:
625