1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map.....
分类：
其他好文 时间：
2014-05-20 01:54:58
阅读次数：
341
遇到的问题：当点击上面的logs时，会出现下面问题：这个解决方案为：By default,
Hadoop stores the logs of each container in the node where that container was
hosted. While this is irre...
分类：
其他好文 时间：
2014-05-19 10:33:13
阅读次数：
369
UCloud云服务以大家所称道的高性能和高稳定性，走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的？如何使得SATA跑过SSD？持久化分布式内存存储机制是怎样的？如何实现云计算模式下的Hadoop多租户隔离？分布式虚拟交换机又.....
分类：
其他好文 时间：
2014-05-19 08:28:47
阅读次数：
338
He is worth no weal that can bide no
woe.禁不起吃苦的人不配得到幸福有句谚语叫No weal without woe 福兮祸所伏 ; 祸兮福所倚weal和woe是一对反义词 很像no pain
no gain1.be worth sth..=deserve s...
分类：
其他好文 时间：
2014-05-19 07:11:33
阅读次数：
353
uva 10391 Compound Words （字符串-hash）
题目大意：
有一堆按照字典序排好的字符串，问你有多少字符串是由其它两个字符串组成。
解题思路：
如果用两个字符串拼接看拼接好的字符串是否在字典中，一定会超时。
我们可以逆向，由于字符串的长度不是很长，所以把一个字符串拆为两个字符串看这两个字符串是否都在字典中即可
解题代码一：
判断字符串是否在字典中，可以用STL set，也是轻松AC
解题代码二：
判断字符串是否在字典中，可以用hash，于是手写ha...
分类：
其他好文 时间：
2014-05-16 02:48:12
阅读次数：
377
Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认（嵌入式Derby模式）安装配置过程。1、下载安装包到官方网站下载最新的安装包，这里以Hive-0.12.0为例：$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里，HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
分类：
其他好文 时间：
2014-05-16 02:36:44
阅读次数：
369
HADOOP HA配置
hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先，先配置core-site.xml配置文件：
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
fs.defaultFS
此处配置的mycluster目前还没...
分类：
其他好文 时间：
2014-05-15 23:40:10
阅读次数：
705
数据导入HBase最常用的三种方式及实践分析
摘要：要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase
的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。
【编者按】要使用Hadoop，数据合并至...
分类：
其他好文 时间：
2014-05-15 18:15:19
阅读次数：
495
当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技术是云计算的基础,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战[1]。
...
分类：
其他好文 时间：
2014-05-15 18:13:55
阅读次数：
438
