欢迎转载，转载请注明出处，徽沪一郎概要在新近发布的spark 1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。Hive简介Hive的由来以下部分摘自Hadoop defini...
分类：
其他好文 时间：
2014-07-07 14:45:58
阅读次数：
224
欢迎转载，转载请注明出处，徽沪一郎。楔子Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。存储子系统概览上图是Spark存储子系统中几个主要模块...
分类：
其他好文 时间：
2014-07-07 14:30:41
阅读次数：
304
欢迎转载，转载请注明出处，徽沪一郎。楔子Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块...
分类：
其他好文 时间：
2014-07-07 14:17:47
阅读次数：
295
1.1. 压缩减少存储空间，加快传输速率在hadoop中，压缩应用于文件存储、Map端到Reduce端的数据交换等情景。hadoop，主要考虑压缩速率和压缩文件的可分割性压缩算法：时间和空间的权衡 更快的压缩和解压缩效率通常压缩比较低。hadoop提供了对压缩算法的编码和解码器类编码和解码示例（采用...
分类：
其他好文 时间：
2014-07-01 12:13:27
阅读次数：
222
1. hadoop远程过程调用RPC：XML-RPC，JSON-RPC，CORBA，RMI（Remote Method Invocation）,Haoop IPC(进程间通信)RPC原理：允许本地程序（客户端）调用其他机器（服务器）上的过程，客户端使用参数将信息传送给调用方，通过返回值得到消息。RP...
分类：
其他好文 时间：
2014-07-01 12:01:22
阅读次数：
316
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。...
分类：
其他好文 时间：
2014-07-01 08:17:24
阅读次数：
576
2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架，该框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。时至今日，MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型，它是Apache Hadoop的基...
分类：
其他好文 时间：
2014-07-01 00:21:41
阅读次数：
320
使用sqoop-1.4.4.bin__hadoop-2.0.4-alpha将Oracle11g数据导入HBase0.96...
分类：
数据库 时间：
2014-06-30 08:21:16
阅读次数：
356
今天来说说编译hadoop源码的事情吧~
1、首先下载源码
地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/
2、加压tar包到指定文件夹：/home/hadoop/soft/hadoop
tar zxvf hadoop-2.4.0-src.tar.gz
3、Linux编译环境准备
java环境...
分类：
系统相关 时间：
2014-06-30 06:18:12
阅读次数：
379
packagecom.yuhui.gd.hadoop.hbase;importjava.util.Iterator;importjava.util.Map;importjava.util.Map.Entry;importjava.util.NavigableMap;importjava.util.Set;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.ap..
分类：
编程语言 时间：
2014-06-29 21:09:00
阅读次数：
453
