Hadoop有两个大版本0.20.x,1.x通常为hadoop
1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop
2版本,在开发模型上类似1,都...
分类:
其他好文 时间:
2014-05-18 19:24:17
阅读次数:
291
前言 OpenCV
提供了许多封装好了的类型,而其中,以三大类型最为核心。本文将大致介绍这三大类型。CvArr:不确定数组
它可以被视为一个抽象基类,后面的两大类型都继承此类型并扩展。只要某个函数的形参是这个类型,那么我们就可以把后面两种类型作为实参传递进去做处理。CvMat:多通道矩阵
它用...
分类:
其他好文 时间:
2014-05-18 19:02:49
阅读次数:
221
淘宝他会知道你最近想买什么,在你搜索前,Google会知道你想搜索什么。所有这些公司都在使用预测分析法来向你推销点什么-------无论是淘宝的广告,还是Google侧边的广告。如果企业中的销售人员也拥有这种能力,那岂不是如虎添翼?
预测性CRM,构建于大数据之上 传统CRM专注于企业内部现有...
分类:
其他好文 时间:
2014-05-18 18:55:47
阅读次数:
273
前言 本文将介绍 OpenCV 中的矩阵结构 CvMat
并提供一些很实用的技巧。CvMat的类型定义 1 typedef struct CvMat 2 { 3 int type; // 数据类型 4 int
step; // 行长度 5 int* refcou...
分类:
其他好文 时间:
2014-05-18 18:54:07
阅读次数:
1771
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出)
通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:
其他好文 时间:
2014-05-18 15:12:21
阅读次数:
380
在筑尼玛看来随着大数据时代的来临,不可否认的成为现今企业发展的必要参考条件,而大数据不止是帮助企业增加应收、提升市场份额,它还能令企业的产品及产品开发更上层楼,然而现在很少有企业认真思考如何将更多的数据加入产品中。
而什么是产品和大产品呢?作为消费者这是最简单的一个问题,你吃的、穿的、用的、玩的,无一不是产品,如果我们要用专业术语去书,产品就是用来满足人们需求和欲望的物体或无形的载体,简言之,是...
分类:
其他好文 时间:
2014-05-18 10:20:29
阅读次数:
304
概览
这个入门教程描述了native(本地?原生?)hadoop库,包含了一小部分关于native hadoop共享库的讨论。
This guide describes the native hadoop library and includes a small discussion about native shared libraries.
注意: 根据你的环境,词组 "native l...
分类:
其他好文 时间:
2014-05-18 03:21:01
阅读次数:
458
NameNode有这么几个配置:PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类:
其他好文 时间:
2014-05-17 18:56:09
阅读次数:
367
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中,通过linux
shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:
编程语言 时间:
2014-05-17 18:38:16
阅读次数:
364