一、梯度消失与爆炸 二、Xavier方法与Kaiming方法 1、Xavier初始化 方差一致性：保持数据尺度维持在恰当范围，通常方差为1 激活函数：饱和函数，如Sigmoid，Tanh 三、常用初始化方法 10种： Xavier均匀分布、正态分布 Kaiming均匀分布、正态分布 均匀分布、正态分 ...
分类：
其他好文 时间：
2019-11-08 09:36:50
阅读次数：
109
11.7 CSP赛前集训小结 今天是单赛日 1.上午的订正：没啥好说的 昨天的T1，稍微写下思路，维护高度差然后直接分情况讨论会很让人自闭，再加上符号+-和变化量的不同，会爆炸，那么不妨将之间的变化先减去，算上答案后再再加回来即可，正难则反的道理。 #include<stdio.h> #includ ...
分类：
其他好文 时间：
2019-11-07 13:35:26
阅读次数：
114
noip2014 生活大爆炸版石头剪刀布 模拟== 康了yyb的，大佬做水题的姿势都比我高端！！！ 寻找道路 重做并没有用心.... 先dfs一遍将合法的点搞出来 然后再跑最短路 解方程 $\begin{align }f(x)&=a_nx^n+a_{n 1}x^{n 1}+...+a_1x_1+a_ ...
分类：
其他好文 时间：
2019-11-06 22:50:17
阅读次数：
102
2019年11月05日 2019年徐州区域赛结束了。封榜前3题铜牌前部，封榜后最后27分钟罚了4次通过E题。虽然4题罚时爆炸，不过万幸得了银牌后部。目前看应该还会再参加一年的，这个博客会不断更新记录最后一年参加比赛的学习进度（以及最后两年本科的其他事情），今年的目标是做一个真正的全能选手，首先希望在 ...
分类：
其他好文 时间：
2019-11-06 00:44:09
阅读次数：
114
大家都知道，云计算是一种基于互联网的超级计算模式。凭借其强大的运算能力，云计算甚至可以用于模拟核爆炸，预测气候变化。可以估算的云计算应用范围的影响正逐渐扩大，未来将是不可估量的。 首先，我们发现，在云计算这片沃土上的it企业开始先挖先建，然后金融、营销咨询、零售、医疗等领域的企业开始纷纷搬迁。看到这 ...
分类：
其他好文 时间：
2019-11-04 20:06:33
阅读次数：
136
问题描述 先来看看问题描述。 当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。 下面以2层隐藏层神经网络为例，进行说明。 结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整 ...
分类：
其他好文 时间：
2019-11-04 14:05:19
阅读次数：
68
考前10天了。。。 昨天晚上真的不清醒，什么也码不对，心态爆炸。 T1调了一个多小时没出来，T2因为少了一出q.pop()没A掉，T3随便写了几个sort竟然A了。十分懵逼。 最后20分钟想调T1，结果也没打完。 T1： 每次的修改是独立的，求修改后的上升序列长度（最靠前上升序列）。 预处理$f[i ...
分类：
其他好文 时间：
2019-11-04 10:05:17
阅读次数：
157
T1 待改 T2 这道题的爆炸充分说明我最近已经颓到一定境界了 考虑到总步数不可能超过n 直接枚举总步数，那么任意时刻对末态的影响就是确定的 T3 两遍最短路，一遍从-1的限制考虑求出允许的最早时间， 一遍从源点的性质考虑求出可能的最早之间 如果局面合法，再根据这两个时间构造一种解 mikufun告 ...
分类：
其他好文 时间：
2019-11-03 15:12:55
阅读次数：
60
考试心得： T1考场上找规律，想了好久的整除分块，无果，心态十分爆炸，无奈之下出去转了一圈。 回来之后突然就想着把最初的想法延续下去，然后似乎找到了一些规律 拼命打表伪证xjb尝试什么的，可算是挂上了对拍 然后T2的贪心也很迷，根本就没想到这是原题 T3一看就是神题最后留着时间也不太够了 T1 第一 ...
分类：
其他好文 时间：
2019-11-01 12:38:55
阅读次数：
84
1.把w初始化为0 在神经网络中，把w初始化为0是不可以的。这是因为如果把w初始化0，那么每一层的神经元学到的东西都是一样的（输出是一样的），而且在bp的时候，每一层内的神经元也是相同的，因为他们的gradient相同。 2.对w随机初始化 初始化容易出现梯度消失或者梯度爆炸的问题。 3.Xavie ...
分类：
其他好文 时间：
2019-10-30 11:43:56
阅读次数：
166
