最近升级cdh版本，从4.5 升级到 5.0.0 beta-2
但是升级后，发现/etc/alternatives 路径下的软链接还是只想旧的4.5 版本，而且hadoop环境也是沿用4.5
的版本conf，导致hive不能正常使用，报错为hdfs 的版本不对。 后面使用strace工具查看，发现它...
分类：
其他好文 时间：
2014-06-07 02:44:21
阅读次数：
248
创建外部表的好处是数据可以随时从hdfs中挂载进表中使用分区的好处是可以缩短查询范围下面的例子展示了如何创建外部表CREATE EXTERNAL TABLE my_daily_report(
last_update string,
col_a string,
col_b string,
col_c string,
col_d string,
col_...
分类：
其他好文 时间：
2014-06-01 14:04:33
阅读次数：
403
Java Client API
OverviewHBase是用Java写的，支持用编程语言来动态操作管理数据库，能用命令行做的都能够用API来做。主要的使用步骤例如以下：1.创建一个
Configuration 对象–从 HDFS 对象中调用 Configuration–加入 HBase 属性Con...
分类：
编程语言 时间：
2014-05-31 20:13:17
阅读次数：
370
Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapRed...
分类：
其他好文 时间：
2014-05-30 14:23:07
阅读次数：
409
分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例：scala> val distFile...
分类：
其他好文 时间：
2014-05-29 18:58:27
阅读次数：
429
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类：
其他好文 时间：
2014-05-29 12:27:09
阅读次数：
260
HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类：
其他好文 时间：
2014-05-27 17:39:15
阅读次数：
328
package com.kane.hdfs;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class Test {...
在成功安装Pig的基础上，本文将使用Pig对手机上网日志进行分析，具体步骤如下：
写在前面：
手机上网日志文件phone_log.txt，文件内容 及 字段说明部分截图如下
需求分析
显示每个手机号的上网流量情况。
依次完成以下步骤：
1、将Linux本地文件phone_log.txt上传到HDFS
执行命令dump C; 查看经过以上步骤处理后的...
分类：
移动开发 时间：
2014-05-25 13:00:50
阅读次数：
318
