码迷,mamicode.com
首页 >  
搜索关键字:shuff    ( 242个结果
Hadoop之WordCount
求平均数是MapReduce比较常见的算法,求平均数的算法也比较简单,一种思路是Map端读取数据,在数据输入到Reduce之前先经过shuffle,将map函数输出的key值相同的所有的value值形成一个集合value-list,然后将输入到Reduce端,Reduce端汇总并且统计记录数,然后作 ...
分类:其他好文   时间:2019-11-15 12:19:47    阅读次数:77
python random
random:随机数函数 import random #随机小数 >>> random.random() # 大于0且小于1之间的小数 0.7664338663654585 >>> random.uniform(1,3) #大于1小于3的小数 1.6270147180533838 #随机整数 >>> ...
分类:编程语言   时间:2019-11-12 12:52:14    阅读次数:76
Hadoop大实验——MapReduce的操作
日期:2019.10.30 博客期:114 星期三 实验6:Mapreduce实例——WordCount 实验说明: 1、 本次实验是第六次上机,属于验证性实验。实验报告上交截止日期为2018年11月16日上午12点之前。 2、 实验报告命名为:信1605-1班学号姓名实验六.doc。 实验目的 1 ...
分类:其他好文   时间:2019-10-30 18:50:47    阅读次数:137
MapReduce中的shuffle过程
MapReduce的shuffle过程介绍 Shuffle的语义是洗牌、混洗,即把一组有一定规则的数据尽量转换成一组无规则的数据,随机性越高越好。 MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shu ...
分类:其他好文   时间:2019-10-24 15:46:21    阅读次数:94
LeNet-5模型的keras实现
1 import keras 2 from keras.models import Sequential 3 from keras.layers import Input,Dense,Activation,Conv2D,MaxPooling2D,Flatten 4 from keras.datase... ...
分类:Web程序   时间:2019-10-22 18:48:38    阅读次数:157
Reservoir Sampling
Reservoir sampling is a family of randomized algorithms for randomly choosing k samples from a list of n items, where n is either a very large or unkn ...
分类:其他好文   时间:2019-10-21 10:07:50    阅读次数:100
python数据分析——手写数字识别
import numpy as np # bmp 图片后缀 import matplotlib.pyplot as plt %matplotlib inline from sklearn.neighbors import KNeighborsClassifier import numpy as np ...
分类:编程语言   时间:2019-10-10 15:56:17    阅读次数:128
最小圆覆盖
转自:https://www.cnblogs.com/125418a/p/11621177.html 参考书籍《算法竞赛入门到进阶》 最小圆覆盖问题:给定n个点的平面坐标,求一个半径最小的圆,把n个点全部包围,部分点在圆上。(两种算法:几何算法和模拟退火算法) 几何算法:(1)加第1个点P1。C1的 ...
分类:其他好文   时间:2019-10-08 14:42:24    阅读次数:137
面向对象之反射及内置方法
面向对象之反射及内置方法 一、静态方法(staticmethod)和类方法(classmethod) 类方法:有个默认参数cls,并且可以直接用类名去调用,可以与类属性交互(也就是可以使用类属性) 静态方法:让类里的方法直接被类调用,就像正常调用函数一样 类方法和静态方法的相同点:都可以直接被类调用 ...
分类:其他好文   时间:2019-10-06 20:35:52    阅读次数:82
从groupby 理解mapper-reducer
注,reduce之前已经shuff。 mapper.py reducer.py Improved Mapper and Reducer code: using Python iterators and generators mapper.py reducer.py ...
分类:移动开发   时间:2019-10-03 14:39:29    阅读次数:206
242条   上一页 1 ... 6 7 8 9 10 ... 25 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!