HBase-1.0.1的协处理器部分的API已经改变,所以它的协处理器代码部分和0.94有很大改变外,加载协处理的配置也有改变,下面列出和0.94的区别
0.94
hbase.coprocessor.region.classes
org.sigsit.dbproxy.hbase.coprocessor.SigsitEndpointImpl
1.0...
分类:
其他好文 时间:
2015-08-16 12:25:11
阅读次数:
281
HBase1.0以上版本已经废弃了 HTableInterface,HTable,HBaseAdmin等API的使用,新增了一些API来实现之前的功能:
Connectioninterface:
Connection connection = ConnectionFactory.createConnection(config);
// ...
connection.close();...
public class TestAddColumnBaseRegionObserver extends BaseRegionObserver{
@Override
public void prePut(ObserverContext e, Put put, WALEdit edit, Durability durability) throws IOException {
putUUI...
分类:
其他好文 时间:
2015-08-07 14:42:11
阅读次数:
213
HBase的一级索引就是rowkey,我们只能通过rowkey进行检索。如果我们相对hbase里面列族的列列进行一些组合查询,就需要采用HBase的二级索引方案来进行多条件的查询。
常见的二级索引方案有以下几种:
1.MapReduce方案
2.ITHBASE方案
3.IHBASE方案
4.Coprocessor方案
5.Solr+hbase方案MapReduce方案IndexBuild...
分类:
其他好文 时间:
2015-07-07 22:46:30
阅读次数:
604
Apriori在数据挖掘中是经典的频繁项集挖掘算法,其主要思想就是如果某个项集不频繁,则任何包含此项集的项集一定不频繁。而今天要实现的增量式的Apriori算法,有点像分布式的Apriori,因为我们可以把已挖掘的事务集和新增的事务集看作两个互相独立的数据集,挖掘新增的事务集,获取所有新增频繁集,然后与已有的频繁集做并集,对于两边都同时频繁的项集肯定全局频繁,而只有一边频繁的项集则需要统计其在两边的...
分类:
编程语言 时间:
2015-06-13 12:57:43
阅读次数:
159
HBase和Solr可以通过协处理器 Coprocessor 的方式向Solr发出请求,Solr对于接收到的数据可以做相关的同步:增、删、改索引的操作。使用solr作为hbase的二级索引,构建基于solr+hbase的快速多条件复杂查询。查询时,先根据条件在solr中查找符合条件的rowkey,再...
分类:
其他好文 时间:
2015-04-10 22:03:03
阅读次数:
244
intel xeon phi coprocessor 使用offload方式进行计算时,可以利用__MIC__的宏来条件编译代码,以区分在host cpu上的代码和在MIC协处理器上的代码。这对于那些只针对MIC才有的KNC指令特别有用。它的使用方式类似于:#ifdef __MIC__//do so...
分类:
其他好文 时间:
2015-02-03 21:19:21
阅读次数:
155
在遇上一些偶尔才能出现的bug的时候, 根据寄存器的相关信息结合汇编语句, 可以迅速定位到问题, 提高debug的效率.
正好今天项目上报了一个bug, 死机的, 用这个方法很快定位到问题.
死机的一些打印:
#AP!# exception!
Coprocessor Unusable exception
EPC[0x80240760], CAUSE[0x1080002c], SR...
分类:
其他好文 时间:
2015-02-02 18:09:44
阅读次数:
203
环境:cdh5.1.0
方法1.
启用协处理器 Aggregation(Enable Coprocessor Aggregation)
我们有两个方法:1.启动全局aggregation,能过操纵所有的表上的数据。通过修改hbase-site.xml这个文件来实现,只需要添加如下代码:
hbase.coprocessor.user.region.classes
o...
分类:
其他好文 时间:
2015-01-12 19:18:46
阅读次数:
167
Hbase自0.92之后开始支持Coprocessor(协处理器),旨在使用户可以将自己的代码放在regionserver上来运行,即将计算程序移动到数据所在的位置进行运算。这一点与MapReduce的思想一致。Hbase的Coprocess分为observer和endpoint两大类。简单说,observer相当于关系型数据库中的触..
分类:
其他好文 时间:
2014-11-21 16:32:34
阅读次数:
251