#!/usr/bin/env python3
# -*- coding: utf-8 -*-
def f(x):
return x * x
r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9])
# 结果r是一个Itertator，是惰性序列
# 通过list()函数让它把整个序列都计算出来并返回一个list
print(list(r))
# [1, 4, 9, 16...
分类：
编程语言 时间：
2015-06-30 09:00:16
阅读次数：
163
一、Hadoop来历 Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce的思想来计算Page Rank，通过不断的演变Google带给我们了GFS、Map-....
分类：
其他好文 时间：
2015-06-22 19:16:19
阅读次数：
126
数据倾斜
概念：数据倾斜是指，map /reduce程序执行时，reduce节点大部分执行完毕，但是
有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一
个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce
节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。
执行操作：
1...
分类：
其他好文 时间：
2015-06-20 11:56:58
阅读次数：
131
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/L...
分类：
其他好文 时间：
2015-06-19 21:33:11
阅读次数：
133
来自http://blog.csdn.net/iefreer/article/details/32715153
Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。
所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使得迭代算法...
分类：
其他好文 时间：
2015-06-19 10:27:38
阅读次数：
90
FROM :http://hugh-wangp.iteye.com/blog/1472371自己写代码时候的利用到的模板UDF步骤：1.必须继承org.apache.hadoop.hive.ql.exec.UDF2.必须实现evaluate函数，evaluate函数支持重载Java代码package...
分类：
其他好文 时间：
2015-06-18 23:47:50
阅读次数：
138
作业设计与资料链接: http://pan.baidu.com/s/1o6MJTyi 密码: 628d一、 作业要求根据关注列表relsample.json文件，设计MapReduce算法得到被关注次数最多的前十人，即寻找谁是大V。二、 算法设计第一个Mapper用于解析json文件：从relsam...
分类：
编程语言 时间：
2015-06-15 23:43:39
阅读次数：
280
简述：Hadoop计数器：可以让开发人员以全局的视角来审查相关作业的运行情况以及各项指标，及时做出错误诊断并进行相应处理。
相比而言，计数器方式比日志更易于分析。内置计数器：（1）Hadoop内置的计数器，主要用来记录作业的执行情况
（2）内置计数器包括如下：
—MapReduce框架计数器（Map-Reduce Framework）
—文件系统计数器（File System Counte...
分类：
其他好文 时间：
2015-06-15 14:46:34
阅读次数：
76
前言在Java项目中，比如我们经常使用String的split方法对文本进行处理；在Map/Reduce中，我们也需要对HDFS文件读取后对line进行分割，也涉及到split。前几天，本来“好好的”程序，突然在split处报错，后来才知道由于有一条“脏数据”导致split“超出”了预期，才导致了“不可..
分类：
编程语言 时间：
2015-06-12 15:21:42
阅读次数：
156
相似度计算map-reduce实现思路
输入：
1 f(1)
2 f(2)
3 f(3)
4 f(4)
mapper:
1,2 f(1)
1,3 f(1)
1,4 f(1)
1,2 f(2)
2,3 f(2)
2,4 f(2)
1,3 f(3)
2,3 f(3)
3,4 f(3)
1,4 f(4)
2,4 f(4)
3,4 f(4)...
分类：
其他好文 时间：
2015-05-31 18:32:49
阅读次数：
98
