一、简介 Batch Normalization作为最近一年来DL的重要研究成果，已经广泛被证明其有效性和重要性。虽然有些细节处还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre_Train开始就是一个经验领先于理论分析的偏经验的一门学问。带着导读《Batc ...
分类：
其他好文 时间：
2020-04-16 15:19:25
阅读次数：
76
1.BERT模型 BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked L ...
分类：
其他好文 时间：
2019-07-11 09:33:19
阅读次数：
188
#最近要跑一个demo，需要用到tutorial_vgg19.py，原作者给的链接没有在github上，CSDN上找到了，但是格式是乱的，没办法只能自己把格式调了一下，结果还是好的，可以运行# -*- coding: utf-8 -*-"""VGG-19 for ImageNet.Pre-train ...
分类：
其他好文 时间：
2018-09-27 22:16:19
阅读次数：
821
基本思路：利用用户和商品的评论构建CNN预测评分。 网络结构： user review网络与 item review网络结构一致，仅就前者进行说明 从user review text到 look-up layer： 首先需要pre-train一个word embedding的词表，对某个用户，将其对 ...
分类：
其他好文 时间：
2017-12-23 19:03:43
阅读次数：
253
在训练网络时可以利用别人的pre-train model来初始化的网络，caffe可以实现两个网络参数的转化，前提条件是转化的层的参数设计是一致的，以下程序是转化了三个卷积层和三个全连接层的参数，python的代码如下： ...
分类：
其他好文 时间：
2016-12-11 17:32:08
阅读次数：
209
基于Pre-Train的CNN模型的图像分类实验MatConvNet工具包提供了好几个在imageNet数据库上训练好的CNN模型，可以利用这个训练好的模型提取图像的特征。本文就利用其中的 “imagenet-caffe-ref”的模型，提取图像特征(softmax前一层的输出，4096维)，在几个...
分类：
其他好文 时间：
2015-07-23 21:33:15
阅读次数：
437
通过 训练针对不同特征点的专项网络 来完全使用训练集。针对多个模型训练时间过长，介绍了一种通过提前训练的权重来加速网络训练的技巧。
这是教程的最后一部分。...
分类：
Web程序 时间：
2015-06-14 18:33:10
阅读次数：
515
一般deep learning需要两步， unsupervised pre-train 和 superviesed NN training. Pre-training 用unsupervised方法train神经网络，得到word representation. 在第二步 supervised NN...
分类：
其他好文 时间：
2014-07-02 20:20:34
阅读次数：
307
