希望实现图片上的功能 import tensorflow as tfa = tf.range(10,dtype=float)b = aa = tf.reshape(a,[-1,1])a = tf.tile(a,[1,3]) sess = tf.Session()print(sess.run(b))p ...
分类：
其他好文 时间：
2020-10-29 10:39:17
阅读次数：
23
1.Lambda匿名函数 # 匿名函数# 匿名函数，没有定义函数的名称，可以实现函数某些简单功能# 需求# 传入 x，y# 返回 x + y 的值#%%def add(x,y): a = x + y return alambda param_list:expression# param_list，参 ...
分类：
编程语言 时间：
2020-10-24 10:27:18
阅读次数：
29
map方法 let objArr = [{name: 'xue',age: 24},{name: 'xue',age: 25},{name:'qing'}] const res = new Map(); objArr = objArr.filter((arr) => !res.has(arr.nam ...
分类：
编程语言 时间：
2020-10-24 09:59:43
阅读次数：
28
Given an input string s, reverse the order of the words. A word is defined as a sequence of non-space characters. The words in s will be separated by ...
分类：
其他好文 时间：
2020-10-18 10:19:49
阅读次数：
29
我们要理解什么是高阶组件可以先从高阶函数开始。高阶函数指的是一个函数接受一个或者多个函数作为参数或者返回一个函数就可以称之为高阶函数。我们平时用到的reduce，map，filter就是高阶函数。高阶组件和高阶函数类似，高阶组件(higher-order-component，简称HOC)它是参数为组 ...
分类：
其他好文 时间：
2020-10-12 20:07:11
阅读次数：
19
shuffle阶段 概念 shule 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般把从 Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shule。 一张图看懂Mapreduce全过程 概念解释 Collect阶段 ...
分类：
其他好文 时间：
2020-10-05 21:45:42
阅读次数：
32
#1.安装Eclipse EE版本 #2.配置Eclipse 配置Eclipse 将插件hadoop-eclipse-plugin-2.6.0jar拷贝到Eclipse安装目录下的dropins目录 启动Eclipse,增加Map/Reduce功能区 增加Hadoop集群的连接 导入MapReduc ...
分类：
系统相关 时间：
2020-09-18 01:39:40
阅读次数：
46
一、Map端的主要工作 为来自不同表或文件的key/value对，打标签以区别不同来源的记录。 然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 二、Reduce端的主要工作 在Reduce端以连接字段作为key的分组已经完成， 我们只需要在每一个分组当中将那些来源于不同 ...
分类：
其他好文 时间：
2020-09-17 19:03:58
阅读次数：
23
1 开启 Map 输出阶段压缩(中间压缩) 开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下： 步骤1: 开启 Hive 中间传输数据压缩功能 map 任务和 reduce 任务之间的数据的压缩. hive.exec.compress.i ...
分类：
其他好文 时间：
2020-09-17 17:04:51
阅读次数：
30
当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的，在执行mapreduce的时候，每个map和reduce都有自己分配到内存的最大值，当map函数需要的内存大于这个值就会报这个错误，解决方法： 在mapredu ...
分类：
其他好文 时间：
2020-09-17 13:31:24
阅读次数：
39
