mapred-default.xml: 版本 参数位置 参数名 默认值 说明 cdh5.0.1 mapred-default.xml mapred.reduce.tasks(mapreduce.job.reduces) 1 默认启动的reduce数。通过该参数可以手动修改reduce的个数 mapr ...
分类:
其他好文 时间:
2020-07-10 15:35:12
阅读次数:
74
PCA:主成分分析-Python实现,X:[2500,784],把X降到50维 1 def pca(X=np.array([]), no_dims=50): 2 """ 3 Runs PCA on the NxD array X in order to reduce its dimensionali ...
分类:
编程语言 时间:
2020-07-10 13:39:47
阅读次数:
113
function reduce(arr, callBack ,initVal){ if(!Array.isArray(arr) || !arr.length || typeof callBack != 'function') return []; let hasInitVal = initVal ! ...
分类:
其他好文 时间:
2020-07-10 13:39:11
阅读次数:
68
# coding: utf-8 import tensorflow as tf import os os.environ["CUDA_VISIBLE_DEVICES"] = "-1" print(tf.__version__) print(tf.test.is_gpu_available()) fr ...
分类:
其他好文 时间:
2020-07-10 10:00:02
阅读次数:
62
package com.sjw.flink import org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.windowing.time.Time object WindowTest { def m ...
分类:
其他好文 时间:
2020-07-09 23:59:55
阅读次数:
253
如果你看完了你会体会到一个人能有多无聊,这东西都能看完!!?? 大概js有以下几种循环遍历的方法: 1 let arr = ['aaa','bbb','ccc'] 2 let obj = {a:'aaa',b:'bbb',c:'ccc'} 3 let deepObj = {a:'aaa', b:{c ...
分类:
编程语言 时间:
2020-07-09 01:14:07
阅读次数:
118
from functools import reduce import re def remove_addsub(exp): s=re.findall("[+-]?\d+(?:\.\d+)?",exp) return reduce(lambda a,b:float(a)+float(b),s) s= ...
分类:
其他好文 时间:
2020-07-08 22:51:48
阅读次数:
68
计算数组元素相加后的总和: var numbers = [65, 44, 12, 4]; function getSum(total, num) { return total + num; } function myFunction(item) { document.getElementById(" ...
分类:
编程语言 时间:
2020-07-08 13:23:14
阅读次数:
260
map数量 计算向数据移动,map计算框架移动到Block map和Block不是一一对应,map与逻辑片(split)一一对应。原因:单个块可能过大,map处理时间长。所以block逻辑分块,多来几个map reduce数量 按理说reduce应该和key数量一样,但是可能存在不同key对应的数据 ...
分类:
其他好文 时间:
2020-07-07 17:43:22
阅读次数:
85
前言 最典型的一个react项目就是react-router+redux(可能再加上redux-thunk或saga),在hooks出来之后,redux也同步跟进加了很多hooks,但已经可以完全抛弃redux,仅仅使用useReducer等hooks来管理数据流了(大型、复杂项目的话,目前还是推荐 ...
分类:
其他好文 时间:
2020-07-06 12:31:01
阅读次数:
156