Hadoop
MapReduce开发最佳实践（上篇）本文是Hadoop最佳实践系列第二篇，上一篇为《Hadoop管理员的十个最佳实践》。MapRuduce开发对于大多数程序员都会觉得略显复杂，运行一个WordCount（Hadoop中hello
word程序）不仅要熟悉MapRuduce模型，还要了...
分类：
其他好文 时间：
2014-05-08 21:45:46
阅读次数：
640
HAVING 子句在 SQL 中增加 HAVING 子句原因是，WHERE
关键字无法与合计函数一起使用。SQL HAVING 语法SELECT column_name,
aggregate_function(column_name)FROM table_nameWHERE column_name ...
分类：
其他好文 时间：
2014-05-08 20:48:01
阅读次数：
311
Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
迭代器模式定义：提供一种方法顺序访问一个聚合对象中的各个元素，而又不需要暴露该对象的内部实现
Iterator:：迭代器接口。定义访问和遍历元素的接口
ConcreteIterator：具体的迭代器实现对象。实现对聚合对象的遍历，并跟踪遍历时的当前位置
Aggregate：聚合对象。定义创建相应迭代器对象的接口
ConcreteAggregate：具体聚合对象。实现创建相应的迭代器对象...
分类：
其他好文 时间：
2014-05-07 07:37:03
阅读次数：
313
这里介绍一下hadoop的组成， hadoop主要由两部分组成，，一个是hdfs，另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode， namenode既是是传说中的matser, datanod...
分类：
其他好文 时间：
2014-05-07 04:33:35
阅读次数：
359
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
mapreduce数据本地化（核心特征）、无共享。
1 HDFS的设计
为了存储超大文件 流式访问（一次写入多次读取）商用硬件（不需要超豪华的机器）
2 数据快（block）
磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大？（最小化寻址开销）块抽象带来的好处（一个文件的...
分类：
其他好文 时间：
2014-05-06 23:26:24
阅读次数：
519
2014 年，SDN 和NFV 将超越炒作阶段，进入实际部署阶段，并扩散到新的网络位置和服务。新的生态系统正在推动更多的服务聚合（mash-up），催生创业公司和新的个性化的软件平台和云环境。新SDN 和NFV 云平台必须是可编程的、健壮的、开放的、可互操作的、虚拟和物理共存的，能够可靠地将接入网与云组合起来。这是我们所有人都需要的网络产业的发展方向。...
分类：
其他好文 时间：
2014-05-06 22:43:30
阅读次数：
447
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
