HBase提供基于单行数据操作的原子性保证
即:对同一行的变更操作(包括针对一列/多列/多column family的操作),要么完全成功,要么完全失败,不会有其他状态...
分类:
其他好文 时间:
2014-07-15 12:46:13
阅读次数:
367
集群安装总览参见这里Zookeeper的配置 1,/etc/profile中加入zk的路径设置,见上面背景说明。 2,进入~/zk/conf目录,复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类:
其他好文 时间:
2014-07-14 23:08:46
阅读次数:
430
最近由于项目的需要,初步涉及到了Kettle的使用,现在将这两周自己使用kettle开发JOB的心得整理一下,与大家一起分享。 一、kettle是什么 Kettle是个ETL工具,主要用来管理不同数据来源的数据,按照一定的方式流出来,最常用的情况,不同系统之间数据的传递,可以使用kettle制作转换...
分类:
其他好文 时间:
2014-07-14 20:58:41
阅读次数:
411
yarn.resourcemanager.ha.enabled true yarn.resourcemanager.ha.rm-ids ...
分类:
其他好文 时间:
2014-07-14 19:48:02
阅读次数:
359
前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇博文重点讲解HBase的数据导入, 描述三种方式, Client API, Bulkload, 以及Hive Over .....
分类:
其他好文 时间:
2014-07-14 15:51:39
阅读次数:
288
引言 最近LZ带头在做一个互联网项目,互联网的东西总是那么新鲜,这也难怪大部分猿友都喜欢互联网。这个互联网项目不仅让LZ开发了一个HBase大数据应用,近期的一次需求讨论会上,又出来一个小需求,蛮有意思的。这些需求在之前枯燥的企业内部应用开发中,还是很难见到的,毕竟内部应用更多的是业务流程的体现。....
分类:
其他好文 时间:
2014-07-13 19:13:57
阅读次数:
266
一、被索引的域 Schema.xml
在使用solr对Nutch抓取到的网页进行索引时,schema.xml被改变成以下内容。
文件中指定了哪些域被索引、存储等内容。
<fieldType name="string" class="solr.StrField" sortMissingLast="true"
omitNor...
分类:
其他好文 时间:
2014-07-13 18:56:21
阅读次数:
411
http://blog.csdn.net/greatelite/article/details/18676281遇到的问题:在连接到hdfs服务器上,一直提示unable to connect to HDFS Server解决过程中:①网上找了各种说是jar包驱动不兼容,端口号不对,最后都没解决②最...
分类:
其他好文 时间:
2014-07-13 00:38:07
阅读次数:
632
Hbase适用于存储不太复杂但数据很大的数据。列如商城系统中:用户,商品,订单,店铺,卖家,这些数据关系复杂不适合用Hbase。这里面订单数据量很大,而且要频繁拿出来计算,可以考虑只将订单这项存入Hbase。其他方面:
1,数据量达到上亿以上时可以使用Hbase如果只有上千或上百万行,则用传统的RDBMS。
2,不依赖所有RDBMS的额外特性(列数据类型, 第二索引, 事物,高级查询语言等.)...
分类:
其他好文 时间:
2014-07-12 19:45:51
阅读次数:
202