Apache DataFu分两部分，本文介绍的是其Pig UDF的部分。代码在Github上开源。
DataFu里面是一些Pig的UDF，主要包括这些方面的函数：
bags、geo、hash、linkanalysis、random、sampling、sessions、sets、stats、urls
每方面都对应一个package。
我把所有的函数源码都浏览了一遍。其实本身对这些UDF的使用，官方的文档上都有介绍，而且源码的注释里也些的很清晰。所以使用本身是很简单的。
从实现角度看，继承自Pig Ev...
分类：
其他好文 时间：
2014-05-09 01:14:25
阅读次数：
436
1.COPY配置文件：cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录：vimhive-env.shHADOOP_HOME=/usr/a..
分类：
其他好文 时间：
2014-05-09 00:51:29
阅读次数：
282
摘要：介绍Hadoop生态系统，从Hadoop生态系统有什么成员，成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词：Hadoop
HDFS MapReduce HBase Hive PigHadoop生态图，通俗地说，就是Hadoop核心模块和衍生的子项目。一幅Ha....
分类：
其他好文 时间：
2014-05-08 23:16:24
阅读次数：
387
源表（table1）数据{A:string B:array C:string}A B C190
[1030,1031,1032,1033,1190] select id191 [1030,1031,1032,1033,1190] select
id希望的结果是：190 1030 select id1...
分类：
其他好文 时间：
2014-05-08 14:19:57
阅读次数：
311
hive 中的union all是不能在sql语句的第一层使用的，否则会报Top level
UNION is not supported currently 错误；例如如下的方式：select id,name from user where type
= 1union allselect id,n...
分类：
其他好文 时间：
2014-05-08 07:17:42
阅读次数：
420
默认情况下，hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库1、安装好mysql ，sudo apt-get
install mysql-server2、创建mysql用户hadoop $mysql-uroot-p 进入root用户 mysql>.....
分类：
数据库 时间：
2014-05-07 20:40:00
阅读次数：
554
内容来源：http://blog.csdn.net/azhao_dn/article/details/6921429在hive上执行查询：select
count(*) from user_active_vv_20110801_31 where active_type_3>0 UNION ALL s...
分类：
其他好文 时间：
2014-05-07 20:26:30
阅读次数：
460
版本：cdh5.0.0+hadoop2.3.0+hive0.12一、原始数据：1. 本地数据[root@node33 data]# ll
total 12936
-rw-r--r--. 1 root root 13245467 May 1 17:08 hbase-data.csv
[root@node33 data]# head -n 3 hbase-data.csv
1,1.52101,13...
分类：
其他好文 时间：
2014-05-06 22:24:07
阅读次数：
437
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
