HDFS小文件问题及解决方案：http://dongxicheng.org/mapreduce/hdfs-small-files-solution/Hadoop升级方案（一）：Hadoop
1.0内部版本升级（初稿）：http://dongxicheng.org/mapreduce-nextgen/...
分类：
其他好文 时间：
2014-05-10 02:08:24
阅读次数：
327
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello
World"，该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。现在我们以"hadoop...
分类：
其他好文 时间：
2014-05-10 01:54:48
阅读次数：
445
需求描述考虑直接在Hive或者Impala等Big
Data方案，能够支持MDX查询，现调研一下Mondrian对hive的支持情况。环境准备hive环境，采用hive-0.10-cdh4.2.1
客户端程序使用的类库：mondrian-3.6.0、olap4j-1.2.0-SNAPSHOT数据准备...
分类：
其他好文 时间：
2014-05-09 18:15:58
阅读次数：
494
Hadoop
MapReduce开发最佳实践（上篇）本文是Hadoop最佳实践系列第二篇，上一篇为《Hadoop管理员的十个最佳实践》。MapRuduce开发对于大多数程序员都会觉得略显复杂，运行一个WordCount（Hadoop中hello
word程序）不仅要熟悉MapRuduce模型，还要了...
分类：
其他好文 时间：
2014-05-08 21:45:46
阅读次数：
640
dataguru访问地址：http://f.dataguru.cn/?fromuid=99611课程优惠码：C4B6这段时间一直在dataguru（炼数成金）上学习《hadoop数据分析平台（第十四期）》，说说我对炼数成金的印象。最开始听说dataguru是通过它的广告邮件中的链接，发送的对象是it...
分类：
其他好文 时间：
2014-05-08 21:19:30
阅读次数：
727
Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
如果不考虑其他任何问题，只比较速度的话，那肯定是mem快，但他们各有优缺点。文件缓存优点：1、由于现在的硬盘都非常大，所有如果是大数据的时候，放硬盘里就比较合适，比如做一个cms网站，网站里有10万篇文章，生成的文件大小总数可能就会很大。2、数据的存放较为安全，由于是硬盘存放，所以在意外掉电的情况下...
分类：
Web程序 时间：
2014-05-08 20:03:19
阅读次数：
307
import java.io.IOException;import
java.util.Iterator;import java.util.StringTokenizer;import
org.apache.hadoop.conf.Configuration;import org.apache.ha...
分类：
其他好文 时间：
2014-05-07 19:14:58
阅读次数：
416
转自:http://blog.csdn.net/bluesky8640/article/details/6945776之前装python、jdk、hadoop都是用的root账户，这是一个绝对的失策，linux对用户访问权限很严格，新创的hod账户根本无法启动hadoop，而root在hod模式下使...
分类：
系统相关 时间：
2014-05-05 10:09:20
阅读次数：
753
记住，大数据的本质在于数据，大只是它在整个宏观社会整体上的一个体现
分类：
其他好文 时间：
2014-05-05 09:31:32
阅读次数：
517
