前两篇文章介绍了docker的基本命令如何安装hadoop那么大家会比较了解docker的基本语法的安装过程。那么咱们今天来一起安装一下hive。安装1、下载gitHub，地址：https://github.com/prasanthj/docker-hive-on-tez。如果背墙了，可以选择下载z...
分类：
其他好文 时间：
2014-12-16 18:51:47
阅读次数：
841
1 用hbase工具导入 实际上市从hdfs 到hbase 的过程。 hive表的hdfs 路径为 ${hive.metastore.warehouse.dir}hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns...
分类：
其他好文 时间：
2014-12-16 11:34:40
阅读次数：
505
HDInsight如何创建Hadoop集群
带大家一起看下微软Azure云中的Hadoop集群创建，首先你必须先创建个存储账号，然后新建Hadoop集群，等待21分钟左右，一个Hadoop集群就创建完成了，看图：...
分类：
其他好文 时间：
2014-12-15 19:07:50
阅读次数：
206
HDInsight-Hadoop实战（二）传感器数据分析
简介
现在很多个人和商业设备含有从物理世界中收集信息的传感器。例如，大多数电话拥有 GPS，健身设备可跟踪你走的步数，恒温控制器可监控建筑的温度。
在此教程中，你将了解如何将 HDInsight 用于处理暖气、通风和空气调节 (HVAC) 系统产生的历史数据，以识别不能有效维持设定温度的系统。你将了解如何：...
分类：
其他好文 时间：
2014-12-15 19:04:53
阅读次数：
376
近期读的几篇关于Cassandra 大数据分析的几篇文章，记录下：Big Analytics with R, Cassandra, and Hive中文翻译：http://www.csdn.net/article/2012-05-20/2805705Cassandra联姻Spark 大数据分析将迎来...
分类：
其他好文 时间：
2014-12-15 17:00:04
阅读次数：
192
hive权限有两层，hive本身的验证和hadoop的验证。自定义hive的proxy功能时，hive层面的相关验证更改在http://caiguangguang.blog.51cto.com/1652935/1587251中已经提过，这里说下hive和hadoop以及本地文件系统相关的几个出现用户的地方：1.job的log文件session初始化时会初始化..
分类：
其他好文 时间：
2014-12-15 06:43:13
阅读次数：
254
hive在hdfs中的job中间文件是根据当前登陆用户产生的，其默认值为/tmp/hive-${user.name}，这就导致实现proxy的功能时会遇到临时文件的权限问题，比如在实现了proxy功能后，以超级用户hdfsproxy到普通用户user时，在hdfs中的临时文件在/tmp/hive-user目录中，而目录的属主是hdf..
分类：
其他好文 时间：
2014-12-15 06:42:31
阅读次数：
445
使用proxy之后，目录名为proxy之后的用户名目录，但是生成的文件属主是当前登陆用户，导致不能正常写入，日志目录的创建在org.apache.hadoop.hive.ql.history.HiveHistoryImpl类中，更改后的构造方法（增加了proxy之后的代码）：publicHiveHistoryImpl(SessionStatess){
try{
c..
分类：
其他好文 时间：
2014-12-15 06:40:26
阅读次数：
186
Centos搭建Eclipse C/C++环境只需要CDT即可，解压运行，新建工程，运行报 program g++ not found in path ： eclipse 的window--》preference--》c/c++--》 build --》 setting --》discovery--...
分类：
数据库 时间：
2014-12-14 18:22:10
阅读次数：
321
Hive自定义函数UDAF开发
Hive支持自定义函数，UDAF是接受多行,输出一行。
通常是group by时用到这种函数。
其实最好的学习资料就是官方自带的examples了。
我这里用的是0.10版本hive，所以对于的examples在
https://github.com/apache/hive/tree/branch-0.10/contri...
分类：
其他好文 时间：
2014-12-14 00:46:21
阅读次数：
202
