写在前面一:本文将Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,相得益彰。写在前面二:使用软件说明:约定所有软件的存放目录:/home/yujianxin一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler-0.9.0...
分类:
其他好文 时间:
2014-06-07 13:33:43
阅读次数:
274
在新近发布的spark
1.0中新加了sql的模块,更为引人注意的是对hive中的hiveql也提供了良好的支持,作为一个源码分析控,了解一下spark是如何完成对hql的支持是一件非常有趣的事情。
分类:
其他好文 时间:
2014-06-06 08:40:02
阅读次数:
348
一:课程简介:作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生,使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序,从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储,而且Hadoop的运算和存储是可靠的、高效,的、可伸缩的,能够使用普通的社区服务器出来PB...
分类:
其他好文 时间:
2014-06-05 16:37:09
阅读次数:
285
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:
其他好文 时间:
2014-06-05 14:25:48
阅读次数:
300
要程序你自己去组装去,我只写两个部分,一个是读Excel的部分,然后是写入到xml的1)
从指定的excel读出信息string strConn="provider=Microsoft.Jet.OLEDB.4.0;data
source=你的Excel文件.xls;Extended Properti...
分类:
其他好文 时间:
2014-06-05 13:15:48
阅读次数:
258
jxl是一个韩国人写的java操作excel的工具, 在开源世界中,有两套比较有影响的API可供使用,一个是POI,一个是jExcelAPI。其中功能相对POI比较弱一点。但jExcelAPI对中文支持非常好,API是纯Java的, 并不依赖Windows系统,即使运行在Linux下,它同样能够正确的处理Excel文件。 另外需要说明的是,这套API对图形和图表的支持很有限,而且仅仅识别PNG格式...
分类:
编程语言 时间:
2014-06-02 15:13:05
阅读次数:
369
前段时间我哥备份手机通讯录备份的是xls表格格式(我也不知道为什么要导出成这样的,,,汗死),然后现在导入不进去了,用各种软件都是错误。我导出为vcard的(后缀是vcf),以文本格式打开看了下,发现是很有格式规范的,顿时觉得有戏了。
BEGIN:VCARD
N:;移动客服;;;;;;
TEL;CELL:10086
STARRED:False
UID:514
VERSION:3.0
REV:20...
分类:
移动开发 时间:
2014-06-02 15:07:50
阅读次数:
370
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库
1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/7105319
2. HBase...
分类:
其他好文 时间:
2014-06-02 10:33:40
阅读次数:
277
创建外部表的好处是数据可以随时从hdfs中挂载进表中使用分区的好处是可以缩短查询范围下面的例子展示了如何创建外部表CREATE EXTERNAL TABLE my_daily_report(
last_update string,
col_a string,
col_b string,
col_c string,
col_d string,
col_...
分类:
其他好文 时间:
2014-06-01 14:04:33
阅读次数:
403
就在昨天,北京时间5月30日20点多。Spark 1.0.0终于发布了:Spark 1.0.0 released
根据官网描述,Spark 1.0.0支持SQL编写:Spark SQL Programming Guide
个人觉得这个功能对Hive的市场的影响很小,但对Shark冲击很大,就像win7和winXP的关系,自相残杀嘛?
这么着急的发布1.x 版是商业行为还是货真价实的体现,让我们拭目以待吧~~~~
本文是CSDN-撸大湿原创,如要转载请注明出处,谢谢:http://blog.csdn.net...
分类:
其他好文 时间:
2014-06-01 08:55:43
阅读次数:
460