码迷,mamicode.com
首页 >  
搜索关键字:map-reduce    ( 649个结果
HBase 超详细介绍
1-HBase的安装HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧... ...
分类:其他好文   时间:2017-06-22 12:06:28    阅读次数:195
Hive官方文档
Hive官方文档 Hive官方文档 内容列表 Cloudera制作的Hive介绍视频 安装与配置 系统需求 安装Hive发行版 从Hive源码编译 运行Hive 配置管理概览 运行时配置 Hive, Map-Reduce 与本地模式 错误日志 DDL 操作 元数据存储 DML 操作 SQL 操作 查 ...
分类:其他好文   时间:2017-06-21 21:59:34    阅读次数:167
更新 hadoop eclipse 插件
卸载hadoop 1.1.2插件。并安装新版hadoop 2.2.0插件。 假设直接删除eclipse plugin文件夹下的hadoop 1.1.2插件,会导致hadoop 1.1.2插件残留在eclipse中,在eclipse perspective视图中有Map/Reduce视图,可是没有图标 ...
分类:系统相关   时间:2017-06-19 14:24:54    阅读次数:144
Python【map、reduce、filter】内置函数使用说明
介绍下Python中map,reduce,和filter内置函数的方法:一:mapmap(...) map(function,sequence[,sequence,...])->list说明:对sequence中的item依次执行function(item),执行结果输出为list。例子:>>>map(str,range(5))[,,,,]>>>add(n):n+>>>ma..
分类:编程语言   时间:2017-06-09 09:59:17    阅读次数:198
day05 协程函数,递归函数,匿名函数lambda,内置函数map reduce filter max min zip sorted,匿名函数lambda和内置函数结合使用,面向过程编程与函数编程,模块与包的使用,re模块内置函数
基础篇 本章大纲: 协程函数带参的yield使用递归函数 匿名函数lambda 内置函数map reduce filter max min zip sorted 匿名函数lambda和内置函数结合使用面向过程编程与函数编程模块与包的使用re模块内置函数 本章大纲: 协程函数带参的yield使用递归函 ...
分类:其他好文   时间:2017-06-03 11:17:51    阅读次数:217
有关OLAP的一些概念
MR引擎: MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行处理,每个阶段都是用键值对(key/value)作为输入和输出,非常适合数据密集型计算。Map/Reduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性;每个节点会周期性地返回它所完成的 ...
分类:其他好文   时间:2017-06-02 17:50:53    阅读次数:207
map/ reduce/ filter
原文:http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/00141861202544241651579c69d4399a9aa135afef28c44000 1.利用map()函数,将 ...
分类:其他好文   时间:2017-05-27 15:28:40    阅读次数:158
Hadoop快速入门
传说中的Hadoop,我终于来对着你唱"征服"了,好可爱的小象,!J 总的来说,hadoop的思路比较简单(map-reduce),就是将任务分开进行,最后汇总。但这个思路实现起来,比较复杂,但相对于几年前Intel等硬件公司提出的网格运算等方式,显得更加开放。 你难任你难,哥就是头铁! Tip:实 ...
分类:其他好文   时间:2017-05-22 23:25:38    阅读次数:1698
第十一篇:Map/Reduce 工作机制分析 - 错误处理机制
对于Hadoop集群来说,节点损坏是非常常见的现象。 而Hadoop一个很大的特点就是某个节点的损坏,不会影响到整个分布式任务的运行。 下面就来分析Hadoop平台是如何做到的。 ...
分类:其他好文   时间:2017-05-20 12:30:03    阅读次数:209
第九篇:Map/Reduce 工作机制分析 - 作业的执行流程
从运行我们的 Map/Reduce 程序,到结果的提交,Hadoop 平台其实做了很多事情。 那么 Hadoop 平台到底做了什么事情,让 Map/Reduce 程序可以如此 "轻易" 地实现分布式运行? ...
分类:其他好文   时间:2017-05-20 12:24:04    阅读次数:181
649条   上一页 1 ... 24 25 26 27 28 ... 65 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!