1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map.....
分类：
其他好文 时间：
2014-05-20 01:54:58
阅读次数：
341
Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认（嵌入式Derby模式）安装配置过程。1、下载安装包到官方网站下载最新的安装包，这里以Hive-0.12.0为例：$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里，HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
分类：
其他好文 时间：
2014-05-16 02:36:44
阅读次数：
369
从上周起，我开始翻译一本新书。IT类中文书籍的翻译往往有一个术语的问题，如何选择最准确的中文术语，让读者清楚明白而且在实际操作和配置的时候不至于误解，是一件不那么容易的事情。一个简单的例子就是cluster，中文可以译作“集群”或者“群集”。这两者本身都广为使用，而..
分类：
其他好文 时间：
2014-05-16 02:29:28
阅读次数：
430
今日，笔者将X9BYOD_v3.0.4版本分别安装在了采用传统集群存储策略的服务器上和采用X9BYOD存储策略的服务器上，然后采用相同的镜像分别生成一个具有相同规格的Windows7HomeBasic虚拟机，来测试采用不同存储策略下虚拟机系统盘的IOPS性能。在这里，笔者采用CrystalDiskMark3.0.3..
分类：
其他好文 时间：
2014-05-16 02:08:15
阅读次数：
408
1、Oracle Enterprise Linux 和 iSCSI 上构建 Oracle
RAC 11g 集群2、Oracle RAC 的所有共享磁盘存储将基于iSCSI，iSCSI 使用在第三个节点（该节点在本文中称为网络存储服务器）上运行的
Openfiler 2.3 版 x86_643、每个 ...
分类：
数据库 时间：
2014-05-16 00:38:04
阅读次数：
489
HADOOP HA配置
hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先，先配置core-site.xml配置文件：
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
fs.defaultFS
此处配置的mycluster目前还没...
分类：
其他好文 时间：
2014-05-15 23:40:10
阅读次数：
705
因为毕业设计上需要将控制台的任务实时输出到界面上，而且那是个Hadoop的mapreduce任务，一跑半个小时的节奏，所以需要用到多线程并随时读取返回的数据，百度了没找到合适的方法，于是被逼无奈编写了这个十分简单的多线程操作工具类。大概的功能就是可以执行一个特定的线程（线程必须调用本类的方法才能实现...
分类：
编程语言 时间：
2014-05-15 21:50:11
阅读次数：
366
数据导入HBase最常用的三种方式及实践分析
摘要：要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase
的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。
【编者按】要使用Hadoop，数据合并至...
分类：
其他好文 时间：
2014-05-15 18:15:19
阅读次数：
495
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。
...
分类：
其他好文 时间：
2014-05-15 18:13:55
阅读次数：
438
