码迷,mamicode.com
首页 >  
搜索关键字:hbase hive zookeeper    ( 14462个结果
基于HBASE的并行计算架构之rowkey设计篇
1.大数据在HBASE存储、计算以及查询的应用场景海量数据都是事务数据,事务数据都是在时间的基础上产生的。数据的业务时间可能会顺序产生,也可能不会顺序产生,比如某些事务发生在早上10点,但是在下午5点才结束闭并生成出来,这样的数据就会造成存储加载时的时间连续性。另外海量数据的挖掘后产生的是统计数据,...
分类:其他好文   时间:2014-05-09 03:03:39    阅读次数:347
Hbase Python接口
http://wiki.apache.org/hadoop/Hbase/ThriftApi首先根据Hbase.thrift文件生成Python接口代码,Hbase.thrift在Hbase的源码中有,路径src/main/resources/org/apache/hadoop/hbase/thrif...
分类:编程语言   时间:2014-05-09 02:51:31    阅读次数:344
windows下单机版的伪分布式solrCloud环境搭建Tomcat+solr+zookeeper
前面简单了解了ZooKeeper的相关知识,为SolrCloud的学习作了一层铺垫。在SolrCloud的wiki中,可以很简单地用jetty实现嵌入式ZooKeeper的单机版SolrCloud。但是在生产环境中,Solr一般都是部署在Tomcat上的。为了使架构更加灵活,ZooKeeper也是单独部署的。日常学习中,就一台单..
分类:Windows程序   时间:2014-05-08 16:40:13    阅读次数:802
基于HBase的手机数据备份系统
基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。 包括服务器端(Server)和客户端(Client) Server运行环境:Hadoop+HBase+Tomcat Client运行环境: Eclipse+Android2.3 ----------------------------------------------------- ...
分类:移动开发   时间:2014-05-08 16:07:49    阅读次数:390
hive行转多列LATERAL VIEW explode
源表(table1)数据{A:string B:array C:string}A B C190 [1030,1031,1032,1033,1190] select id191 [1030,1031,1032,1033,1190] select id希望的结果是:190 1030 select id1...
分类:其他好文   时间:2014-05-08 14:19:57    阅读次数:311
hive 中 union all
hive 中的union all是不能在sql语句的第一层使用的,否则会报Top level UNION is not supported currently 错误;例如如下的方式:select id,name from user where type = 1union allselect id,n...
分类:其他好文   时间:2014-05-08 07:17:42    阅读次数:420
hive-mysql安装配置
默认情况下,hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库1、安装好mysql ,sudo apt-get install mysql-server2、创建mysql用户hadoop $mysql-uroot-p 进入root用户 mysql>.....
分类:数据库   时间:2014-05-07 20:40:00    阅读次数:554
hive的union问题
内容来源:http://blog.csdn.net/azhao_dn/article/details/6921429在hive上执行查询:select count(*) from user_active_vv_20110801_31 where active_type_3>0 UNION ALL s...
分类:其他好文   时间:2014-05-07 20:26:30    阅读次数:460
hbase源码系列(六)HMaster启动过程
这一章是server端开始的第一章,有兴趣的朋友先去看一下hbase的架构图,我专门从网上弄下来的。 按照HMaster的run方法的注释,我们可以了解到它的启动过程会去做以下的动作。 * 阻塞直到变成ActiveMaster * 结束初始化操作 * 循环 * 停止服务并执行清理操作* H...
分类:其他好文   时间:2014-05-07 13:53:03    阅读次数:432
Hbase学习笔记(安装和基础知识及操作)
参考书籍: Hadoop in action, 吴超沉思录1.Hbase简介 1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5. sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类:其他好文   时间:2014-05-07 00:35:59    阅读次数:424
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!