1、参数配置(并行度)分区的默认个数等于对spark.default.parallelism的指定值2、根据父rdd的reduceTask数量3、读取hdfs的文件生成的rddrdd分区的数量等于hdfs的文件的block4、sparkStreaming生成的rdd根据block interval， ...
分类：
其他好文 时间：
2020-05-08 16:12:24
阅读次数：
129
组合索引与排序 步骤一 构造测试表 drop table TX1 purge; create table TX1 as select * from dba_objects; create index idx_object_id on TX1(owner,object_type); alter tab ...
分类：
数据库 时间：
2020-05-08 14:41:06
阅读次数：
84
1. BN层不能少于1张图片 问题分析 ： 模型中用了batchnomolization，训练中用batch训练的时候，应该是有单数，比如dataset的总样本数为17,batch_size为8,就会报这样的错误。 解决方案 ： 1. 将dataloader的一个丢弃参数设置为true 2. 手动舍 ...
分类：
其他好文 时间：
2020-05-07 13:41:19
阅读次数：
83
特征缩放 to do Batch Normalization原理 https://zhuanlan.zhihu.com/p/34879333 https://zhuanlan.zhihu.com/p/69659844 背景 对深层神经网络的训练调参困难且复杂，深度神经网络之所以如此难训练，其中一个重 ...
分类：
其他好文 时间：
2020-05-04 17:21:13
阅读次数：
52
为什么要做 batch normalization 没有加batch normalization，过拟合，也就是训练集的效果还不错，但是测试集的效果真的差 BN的基本思想其实相当直观：因为深层神经网络在做非线性变换前的激活输入值（就是那个x=WU+B，U是输入）随着网络深度加深或者在训练过程中，其分 ...
分类：
其他好文 时间：
2020-05-02 22:30:06
阅读次数：
62
batch 发送，batch 存储(可压缩, FileChannel 顺序写盘)，batch 拉取(sendFile) 查看 log： kafka-run-class.bat kafka.tools.DumpLogSegments --files D:/tmp/kafka-11-logs/zhang ...
分类：
其他好文 时间：
2020-05-02 00:16:20
阅读次数：
81
这里有几个重要参数需要注意： axis的值取决于按照input的哪一个维度进行BN，例如输入为channel_last format，即[batch_size, height, width, channel]，则axis应该设定为4，如果为channel_first format，则axis应该设定 ...
分类：
其他好文 时间：
2020-04-28 09:57:42
阅读次数：
60
1.一般的模型构造、训练、测试流程 # 模型构造 inputs = keras.Input(shape=(784,), name='mnist_input') h1 = layers.Dense(64, activation='relu')(inputs) h1 = layers.Dense(64, ...
分类：
其他好文 时间：
2020-04-27 09:44:37
阅读次数：
87
1. prefetch_generator 使用 库 在后台加载下一 batch 的数据，原本 PyTorch 默认的 会创建一些 线程来预读取新的数据，但是除非这些线程的数据全部都被清空，这些线程才会读下一批数据。使用 ，我们可以保证线程不会等待，每个线程都总有至少一个数据在加载。 安装 使用 之 ...
分类：
其他好文 时间：
2020-04-26 01:42:54
阅读次数：
123
using System.Security.Principal;using System.Reflection.Emit;using System.Diagnostics; namespace TopsAdmin_Batch{ internal static class WinLogonHelper ...
