Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
本节包含以下方面的内容基本概念路由默认路由动作的参数在动作中定义参数从请求（request）中获取参数独立动作动作过滤器（Action
Filters）捕获所有的请求自定义响应类控制器（Control）是应用程序中最关键的部分之一，它决定了如何处理传递进来的请求(Request)，以及生成相应的响应...
分类：
其他好文 时间：
2014-05-07 19:51:46
阅读次数：
552
本节包含以下方面的内容基本概念路由默认路由动作的参数在动作中定义参数从请求（request）中获取参数独立动作动作过滤器（Action
Filters）捕获所有的请求自定义响应类控制器（Control）是应用程序中最关键的部分之一，它决定了如何处理传递进来的请求(Request)，以及生成相应的响应...
分类：
其他好文 时间：
2014-05-07 19:01:21
阅读次数：
460
stm32的can总线的配置如下：
CAN_InitStructure.CAN_TTCM=DISABLE;//禁止时间触发通信模式
CAN_InitStructure.CAN_ABOM=DISABLE; CAN_InitStructure.CAN_AWUM=DISABLE;
CAN_InitStru...
分类：
其他好文 时间：
2014-05-07 18:22:18
阅读次数：
377
这里介绍一下hadoop的组成， hadoop主要由两部分组成，，一个是hdfs，另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode， namenode既是是传说中的matser, datanod...
分类：
其他好文 时间：
2014-05-07 04:33:35
阅读次数：
359
MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用...
分类：
其他好文 时间：
2014-05-07 04:05:06
阅读次数：
272
基本命令ls ："列出"文件的基本命令. 但是往往就是因为这个命令太简单,
所以我们总是低估它. 比如, 使用-R选项, 递归选项, ls将会以目录树的形式列出所有文件. 另一个很有用的选项-S, 将会按照文件尺寸列出所有文件, -t,
将会按照修改时间来列出文件, -i选项会显示文件的inode。...
分类：
其他好文 时间：
2014-05-07 02:14:19
阅读次数：
394
参考书籍： Hadoop in action, 吴超沉思录1.Hbase简介
1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5.
sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类：
其他好文 时间：
2014-05-07 00:35:59
阅读次数：
424
mapreduce数据本地化（核心特征）、无共享。
1 HDFS的设计
为了存储超大文件 流式访问（一次写入多次读取）商用硬件（不需要超豪华的机器）
2 数据快（block）
磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大？（最小化寻址开销）块抽象带来的好处（一个文件的...
分类：
其他好文 时间：
2014-05-06 23:26:24
阅读次数：
519
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作，两边关联只取交集。
outer join分为left outer join、rig...
分类：
其他好文 时间：
2014-05-06 15:01:38
阅读次数：
269
