1-HBase的安装HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧... ...
分类:
其他好文 时间:
2017-06-22 12:06:28
阅读次数:
195
Hive官方文档 Hive官方文档 内容列表 Cloudera制作的Hive介绍视频 安装与配置 系统需求 安装Hive发行版 从Hive源码编译 运行Hive 配置管理概览 运行时配置 Hive, Map-Reduce 与本地模式 错误日志 DDL 操作 元数据存储 DML 操作 SQL 操作 查 ...
分类:
其他好文 时间:
2017-06-21 21:59:34
阅读次数:
167
卸载hadoop 1.1.2插件。并安装新版hadoop 2.2.0插件。 假设直接删除eclipse plugin文件夹下的hadoop 1.1.2插件,会导致hadoop 1.1.2插件残留在eclipse中,在eclipse perspective视图中有Map/Reduce视图,可是没有图标 ...
分类:
系统相关 时间:
2017-06-19 14:24:54
阅读次数:
144
介绍下Python中map,reduce,和filter内置函数的方法:一:mapmap(...)
map(function,sequence[,sequence,...])->list说明:对sequence中的item依次执行function(item),执行结果输出为list。例子:>>>map(str,range(5))[,,,,]>>>add(n):n+>>>ma..
分类:
编程语言 时间:
2017-06-09 09:59:17
阅读次数:
198
基础篇 本章大纲: 协程函数带参的yield使用递归函数 匿名函数lambda 内置函数map reduce filter max min zip sorted 匿名函数lambda和内置函数结合使用面向过程编程与函数编程模块与包的使用re模块内置函数 本章大纲: 协程函数带参的yield使用递归函 ...
分类:
其他好文 时间:
2017-06-03 11:17:51
阅读次数:
217
MR引擎: MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行处理,每个阶段都是用键值对(key/value)作为输入和输出,非常适合数据密集型计算。Map/Reduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性;每个节点会周期性地返回它所完成的 ...
分类:
其他好文 时间:
2017-06-02 17:50:53
阅读次数:
207
原文:http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/00141861202544241651579c69d4399a9aa135afef28c44000 1.利用map()函数,将 ...
分类:
其他好文 时间:
2017-05-27 15:28:40
阅读次数:
158
传说中的Hadoop,我终于来对着你唱"征服"了,好可爱的小象,!J 总的来说,hadoop的思路比较简单(map-reduce),就是将任务分开进行,最后汇总。但这个思路实现起来,比较复杂,但相对于几年前Intel等硬件公司提出的网格运算等方式,显得更加开放。 你难任你难,哥就是头铁! Tip:实 ...
分类:
其他好文 时间:
2017-05-22 23:25:38
阅读次数:
1698
对于Hadoop集群来说,节点损坏是非常常见的现象。 而Hadoop一个很大的特点就是某个节点的损坏,不会影响到整个分布式任务的运行。 下面就来分析Hadoop平台是如何做到的。 ...
分类:
其他好文 时间:
2017-05-20 12:30:03
阅读次数:
209
从运行我们的 Map/Reduce 程序,到结果的提交,Hadoop 平台其实做了很多事情。 那么 Hadoop 平台到底做了什么事情,让 Map/Reduce 程序可以如此 "轻易" 地实现分布式运行? ...
分类:
其他好文 时间:
2017-05-20 12:24:04
阅读次数:
181