码迷,mamicode.com
首页 >  
搜索关键字:kettle hbase    ( 4514个结果
关于Hbase的cache配置
关于Hbase的cache配置...
分类:其他好文   时间:2014-07-16 10:39:50    阅读次数:260
HBase原子性保证
HBase提供基于单行数据操作的原子性保证 即:对同一行的变更操作(包括针对一列/多列/多column family的操作),要么完全成功,要么完全失败,不会有其他状态...
分类:其他好文   时间:2014-07-15 12:46:13    阅读次数:367
通过tarball形式安装HBASE Cluster(CDH5.0.2)——如何配置分布式集群中的zookeeper
集群安装总览参见这里Zookeeper的配置 1,/etc/profile中加入zk的路径设置,见上面背景说明。 2,进入~/zk/conf目录,复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类:其他好文   时间:2014-07-14 23:08:46    阅读次数:430
Kettle学习总结(一)
最近由于项目的需要,初步涉及到了Kettle的使用,现在将这两周自己使用kettle开发JOB的心得整理一下,与大家一起分享。 一、kettle是什么 Kettle是个ETL工具,主要用来管理不同数据来源的数据,按照一定的方式流出来,最常用的情况,不同系统之间数据的传递,可以使用kettle制作转换...
分类:其他好文   时间:2014-07-14 20:58:41    阅读次数:411
通过tarball形式安装HBASE Cluster(CDH5.0.2)——配置分布式集群中的YARN ResourceManager 的HA
yarn.resourcemanager.ha.enabled true yarn.resourcemanager.ha.rm-ids ...
分类:其他好文   时间:2014-07-14 19:48:02    阅读次数:359
HBase 实战(1)--HBase的数据导入方式
前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇博文重点讲解HBase的数据导入, 描述三种方式, Client API, Bulkload, 以及Hive Over .....
分类:其他好文   时间:2014-07-14 15:51:39    阅读次数:288
一个有意思的需求——中文匹配度
引言 最近LZ带头在做一个互联网项目,互联网的东西总是那么新鲜,这也难怪大部分猿友都喜欢互联网。这个互联网项目不仅让LZ开发了一个HBase大数据应用,近期的一次需求讨论会上,又出来一个小需求,蛮有意思的。这些需求在之前枯燥的企业内部应用开发中,还是很难见到的,毕竟内部应用更多的是业务流程的体现。....
分类:其他好文   时间:2014-07-13 19:13:57    阅读次数:266
集成Nutch/Hbase/Solr构建搜索引擎之二:内容分析
一、被索引的域 Schema.xml 在使用solr对Nutch抓取到的网页进行索引时,schema.xml被改变成以下内容。 文件中指定了哪些域被索引、存储等内容。                 <fieldType name="string" class="solr.StrField" sortMissingLast="true"             omitNor...
分类:其他好文   时间:2014-07-13 18:56:21    阅读次数:411
【第二天】用kettle向hdfs复制文件
http://blog.csdn.net/greatelite/article/details/18676281遇到的问题:在连接到hdfs服务器上,一直提示unable to connect to HDFS Server解决过程中:①网上找了各种说是jar包驱动不兼容,端口号不对,最后都没解决②最...
分类:其他好文   时间:2014-07-13 00:38:07    阅读次数:632
什么场景下用Hbase
Hbase适用于存储不太复杂但数据很大的数据。列如商城系统中:用户,商品,订单,店铺,卖家,这些数据关系复杂不适合用Hbase。这里面订单数据量很大,而且要频繁拿出来计算,可以考虑只将订单这项存入Hbase。其他方面: 1,数据量达到上亿以上时可以使用Hbase如果只有上千或上百万行,则用传统的RDBMS。 2,不依赖所有RDBMS的额外特性(列数据类型, 第二索引, 事物,高级查询语言等.)...
分类:其他好文   时间:2014-07-12 19:45:51    阅读次数:202
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!