hive是一个SQL解析引擎，可以在hive中创建表，执行sql语句。创建的表是存储在hdfs中，执行的sql语句是通过MapReduce执行的。可以通过执行sql语句来代替编写MapReduce作业，太方便了！1.解压缩、设置环境hive使用的版本是hive-0.9.0.tar.gz。我们在/.....
分类：
其他好文 时间：
2014-06-27 19:59:49
阅读次数：
179
package com.leaf.hadoop.second;
import java.util.Random;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hado...
分类：
其他好文 时间：
2014-06-27 10:00:17
阅读次数：
294
过去十年，数据处理领域发生了很大的变化，可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是，这些数据处理技术并不是实时系统，而且他们命中注定也不是。无法将Hadoop转换成实时系统，因为实时数据处理和批处理在要求上有本质的不同。
然后，大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“（即类似于Hadoop在批处理领域的通用解决方案）已经成为一个最大的遗憾。Storm弥补了...
分类：
其他好文 时间：
2014-06-27 09:04:04
阅读次数：
184
摘要：Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。而另一方面，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。 Hadoop技术已经无处不在。不管是好是坏，Hadoop已经成为大数据的代名词。短短...
分类：
其他好文 时间：
2014-06-26 17:02:48
阅读次数：
191
以后spark，mapreduce，mpi可能三者集于同一平台，各自的侧重点有所不用，相当于云计算与高性能计算的集合，互补，把spark的基础看了看，现在把开发环境看看，主要是看源码，最近Apache Spark源码走读系列挺好的，看了些。具体环境配置不是太复杂，具体可以看https://githu...
分类：
其他好文 时间：
2014-06-25 11:44:47
阅读次数：
185
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类：
其他好文 时间：
2014-06-25 10:56:38
阅读次数：
355
问题导读：1. 推荐系统概述；2. 推荐系统指标设计；3. Hadoop并行算法；4. 推荐系统架构；5. MapReduce程序实现。前言Netflix电影推荐的百万美金比赛，把“推荐”变成了时下最热门的数据挖掘算法之一。也正是由于Netflix的比赛，让企业界和学科界有了更深层次的技术碰撞。引发...
分类：
其他好文 时间：
2014-06-25 09:46:57
阅读次数：
329
packagecom.smilezl.learn.CalWord;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hado..
分类：
其他好文 时间：
2014-06-25 06:28:59
阅读次数：
242
MapReduce TopK统计加排序中介绍的TopK在mapreduce的实现。
本案例省略的上面案例中的Sort步骤，改用TreeMap来实现获取前K个词
package TopK1;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configurat...
分类：
其他好文 时间：
2014-06-24 22:33:34
阅读次数：
293
难得想写个mapreduce程序，发现已经不记得需要添加那些jar包了，网上找了一会也没发现准确的答案。幸好对hadoop体系结构略知一二，迅速试出了写mapreduce程序需要的三个jar包。
不多不少，3个包足矣……贴出来免得其朋友再走弯路
（请忽视包的版本不一致问题，是我从其他项目中东拼西凑过来的）...
分类：
其他好文 时间：
2014-06-24 21:44:15
阅读次数：
321
