1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map.....
分类：
其他好文 时间：
2014-05-20 01:54:58
阅读次数：
341
遇到的问题：当点击上面的logs时，会出现下面问题：这个解决方案为：By default,
Hadoop stores the logs of each container in the node where that container was
hosted. While this is irre...
分类：
其他好文 时间：
2014-05-19 10:33:13
阅读次数：
369
hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的...
分类：
其他好文 时间：
2014-05-19 08:33:35
阅读次数：
349
UCloud云服务以大家所称道的高性能和高稳定性，走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的？如何使得SATA跑过SSD？持久化分布式内存存储机制是怎样的？如何实现云计算模式下的Hadoop多租户隔离？分布式虚拟交换机又.....
分类：
其他好文 时间：
2014-05-19 08:28:47
阅读次数：
338
链接：http://www.uml.org.cn/sjjm/201308264.asp高并发数据库可以同时处理海量信息，应用范围很广。今天我们将讨论的是大数据量高并发的数据库优化，希望对大家有所帮助。一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难...
分类：
数据库 时间：
2014-05-18 20:30:59
阅读次数：
519
PrerequisiteHadoop 2.2 has been installed (and
the below installation steps should be applied on each of Hadoop node)Step 1.
Install R (by yum)[hadoop...
分类：
系统相关 时间：
2014-05-17 21:51:24
阅读次数：
671
Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认（嵌入式Derby模式）安装配置过程。1、下载安装包到官方网站下载最新的安装包，这里以Hive-0.12.0为例：$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里，HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
分类：
其他好文 时间：
2014-05-16 02:36:44
阅读次数：
369
HADOOP HA配置
hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先，先配置core-site.xml配置文件：
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
fs.defaultFS
此处配置的mycluster目前还没...
分类：
其他好文 时间：
2014-05-15 23:40:10
阅读次数：
705
