hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现，其同时支持别的存储系统，并在别的存储系统上运行分布式计算程序（mapreduce）。 从开发角度来说，h...
分类：
其他好文 时间：
2014-11-11 09:22:37
阅读次数：
239
1、安装1.1、下载apache-hive-0.13.1-bin.tar.gz1.2、解压至安装目录tar -zxv -f apache-hive-0.13.1-bin.tar.gz -C ../soft/#此处为了方便，进行了文件路径重命名mv apache-hive-0.13.1-bin/ h....
分类：
其他好文 时间：
2014-11-09 19:18:43
阅读次数：
201
创建带分区的外部表创建外部表的优点是数据能够随时从hdfs中挂载进表中使用分区的优点是能够缩短查询范围以下的样例展示了怎样创建外部表CREATE EXTERNAL TABLE my_daily_report( last_update string, col_a string, co...
分类：
其他好文 时间：
2014-11-08 19:37:38
阅读次数：
161
生产背景：
在从mysql导入到hive中,遇到如下问题：
1） 源mysql和集群机器不在同一个网段中，导致执行导入命令，网络连接失败。
2） 某些字符导入到hive中，出现报错终止。
2.1 sqoop使用的JDBC-connector 版本太低（更换版本）。
从hive导出到mysql中，遇到如下问题：
1）某些字符插入mysql，出现报错终止。
1.1...
分类：
其他好文 时间：
2014-11-07 22:09:13
阅读次数：
234
hive一次使用命令：
$ hive -e "select * from mytable limit 1;"
OK
name1 1
name2 2
Time taken: 3.935 seconds
$ hive -e "select * from mytable limit 1;" > /tmp/myfile
$ cat /tmp/myfile
OK
name1 1
name...
分类：
其他好文 时间：
2014-11-07 20:55:48
阅读次数：
279
Hive中有种假NULL，它看起来和NULL一摸一样，但是实际却不是NULL。例如如下这个查询：hive> desc ljn004;OKa stringTime taken: 0.237 secondshive> select a from ljn004;OKNULLTime taken: 46.2...
分类：
其他好文 时间：
2014-11-07 18:59:42
阅读次数：
134
多样性数据源在报表开发中越来越常见，润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单，目前集算报表支持的数据源类型除传统的关系型数据库外，还支持：TXT文本、Excel、JSON、HTTP、Hadoop、mongodb等。对于Hadoop，集算报表既可以直接访问Hive，也可以读..
分类：
其他好文 时间：
2014-11-07 15:08:50
阅读次数：
131
hadoop环境描述：master节点：node1slave节点：node2，node3，node4远端服务器（python连接hive）：node29需求：通过hive查询到cdn日志中指定时间段内url访问次数最多的前10个urlps：用pig查询可以查询文章：http://shineforever.blog.51cto.com/1429204/1571124说明：python操..
分类：
编程语言 时间：
2014-11-06 17:50:01
阅读次数：
424
1、非交互模式执行HQL语句
$HIVE_HOME/bin/hive -e 'select * from movie limit 10'
会现实mapreduce的进度，但不会进入hive的交互模式，最终现实查询结果...
分类：
其他好文 时间：
2014-11-06 17:40:53
阅读次数：
122
MySQL设置： #添加一个数据库用户 insert into mysql.user(Host,User,Password) values("%","longsheng",password("longsheng1234")); #数据库授权： GRANT all ON hive.* TO longsheng@‘longV007‘ IDENTIFIED B...
分类：
其他好文 时间：
2014-11-06 13:15:43
阅读次数：
408
