详细说明kettle中两者方式实现动态查询,分别是占位符和变量方式,示例使用H2数据库,方便学习。...
分类:
数据库 时间:
2014-09-15 07:42:28
阅读次数:
498
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:
移动开发 时间:
2014-09-13 18:34:35
阅读次数:
300
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:
移动开发 时间:
2014-09-13 17:05:15
阅读次数:
333
Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问,并将你的 SQL 查询转成 HBase 的扫描和相应的动作。
兼容性:
Phoenix 2.x - HBase 0.94.x
Phoenix 3.x - HBase 0.94.x
Phoenix 4.x - HBase 0.98.1+...
分类:
其他好文 时间:
2014-09-13 00:50:44
阅读次数:
412
1.基础数据的维护,基本都是人工实现2.慢慢基于文件进行导入3.专业的数据交换平台=================================Kettle:数据导入不是采取数据库模式,因为数据库要求无逻辑,所以基于逻辑抽取,也就是一个ETL的过程。所以使用开源的Kettle工具: 1.完善的....
分类:
其他好文 时间:
2014-09-12 21:56:34
阅读次数:
366
今天在hbase中创建快照的时候遇到了如下错误:
hbase(main):004:0> snapshot 'booking', 'booking-snapshot-20140912'
ERROR: org.apache.hadoop.hbase.snapshot.HBaseSnapshotException: Snapshot { ss=booking-snapshot-20140912 ta...
分类:
其他好文 时间:
2014-09-12 17:21:23
阅读次数:
876
分布式系统的现状,难以区分一个响应慢的节点和一个死掉的节点,所有的rpc流程都是基于timeout机制,我们期望更少的超时时间,则意味着有更高的误判率,误判的情况下hbase容错性虽然很好,但总要付出一些数据恢复的代价。 故障恢复主要牵涉到的组件有zk,hmaster namenode。zk承担锁....
分类:
其他好文 时间:
2014-09-12 16:47:23
阅读次数:
414
最近在做binlog日志采集同步到数据平台的事。刚开始需要借助sqoop将从库数据表数据初始化到hbase中,整个过程都需要自动化进行,尽量减少人为干预。但是,由于历史原因,线上存在两种字符集格式的数据库(表),而导入到hbase的数据我们需要统一采用utf-8格式存储。sqoop直接导入的话,没法控制中文字符转码工作。所以需要对sqoop源码进行简单改动支持这种方式。
大体思路是,通过定义一个...
分类:
数据库 时间:
2014-09-11 19:26:02
阅读次数:
573