数值稳定性和模型初始化 目标：深度学习模型的数值稳定性问题以及模型参数的初始化方法。 深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。 衰减和爆炸 当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为$L$的多层感知机的第$l$层$\boldsy ...
分类：
其他好文 时间：
2021-02-17 15:10:01
阅读次数：
0
设计模式--装饰者模式 今天偶然的机会接触到了装饰者模式，当我们需要很多的子类组合去实现一个功能时，可以考虑下使用装饰者模式。例如衣服有尺寸、规格、颜色，咖啡有种类、糖度、温度，这样的动态组合会衍生出指数增长的子类，装饰者模式就适用于这样的情景。 1、适用场景 使用子类拓展一个类的功能呈现爆炸性增长 ...
分类：
其他好文 时间：
2021-02-01 11:50:05
阅读次数：
0
NGK全球巡回路演于7月25日在英国圆满举行，此次路演是由NGK英国社区主办，旨在探讨当前大数据爆炸的形式下，区块链如何赋能，解决行业痛点。会上，行业精英、区块链爱好者、各实体产业代表以及科技人员纷纷出席，路演现场十分热闹，更有英国当地知名媒体进行争相报道。 本次路演由讲师Mark进行主题分享，Ma ...
分类：
其他好文 时间：
2021-01-20 11:46:41
阅读次数：
0
随着以太坊向2.0迈进，今年夏天 DEFI的爆炸式增长使得平台 Gas费用猛增。如果有些扩容公共链接平台可以超过以太网坊，现在是最好的时机。虽然每个人都在谈论“以太网杀手”，但那些平台并没有取得那样的成功。为什么会这样呢？大多数人认为是以太坊的先发优势和网络效应。其他平台则认为，它们还处于早期，还没 ...
分类：
其他好文 时间：
2020-12-22 12:20:21
阅读次数：
0
程序运行，产生如下结果，然后进程终止，导致这一结果的原因很有可能是内存爆炸。 当两个较大的 (e.g., 10000*10000 维）ndarray 做运算(加法，or 乘法）时，很容易出现这样的结果. 解决办法： 大多数情况下，这种大矩阵都是稀疏的。尽可能地利用稀疏计算的方式，例如稀疏矩阵，或者只 ...
分类：
编程语言 时间：
2020-11-08 17:44:36
阅读次数：
23
一般而言，我们需要对输入进行归一化，保证输入的特征在都分布在0-1或者-1 - +1，这样可以加快收敛，防止因某一个特征数值大造成的模型过拟合或欠拟合问题。 但深度学习因为模型深度深，常常会出现梯度爆炸或梯度消失问题，如果对每一层输入都进行特征的归一化，可以有效地解决这个问题。 BatchNorma ...
分类：
其他好文 时间：
2020-11-01 10:39:39
阅读次数：
18
据 IDC 发布的《数据时代 2025》白皮书预测：在 2025 年，全球数据量将达到史无前例的 163ZB。随着网络发展速度越来越快，数据的产生量正在呈指数级上升，企业面临的数据压力也在不断增加，数据可靠性差、存储的容量和性能不足等数据问题层出不穷。如何在控制成本的情况下将数据可靠性最大化？有什么 ...
分类：
其他好文 时间：
2020-10-10 17:42:29
阅读次数：
21
HDU 6231 K-th Number 题目大意： 给一个序列A，将其所有的大于等于K长度的子区间中，第K大的数取出来，放到B数组中。求B数组中第M大的数。 思路： 将所有的区间都取出来显然不行，时间复杂度爆炸。维护起来更奇怪。 可以考虑二分答案——先二分出这个B数组中第M大的数x，然后判断行不行 ...
分类：
其他好文 时间：
2020-09-18 01:16:59
阅读次数：
36
大学的最后几门课了，DJ同学加油啊！！！ （概要）第一章 信息科技需要处理的三大核心问题 第一次浪潮：信息处理 第二次浪潮：信息传输 第三次浪潮：信息爆炸 数据产生方式的变革 运营式系统阶段：数据往往伴随着一定的运营活动而产生并记录在数据库中 用户原创内容阶段：Web2.0时代的到来，而其最重要的标 ...
分类：
其他好文 时间：
2020-09-17 18:59:21
阅读次数：
39
1. 简介 随着神经网络的进一步加深，可能会出现如下问题： （1）梯度消失、梯度爆炸 （2）退化问题--训练集上准确率下降（不等于过拟合--表现为在训练集上表现更好） ResNet是2015年ILSVRC 比赛2015第一名的算法。主要是针对更深的神经网络难以训练的问题，提出了一种残差学习的结构，不 ...
分类：
Web程序 时间：
2020-09-12 21:11:26
阅读次数：
46
