2.1词汇表征 （1）使用one-hot方法表示词汇有两个主要的缺点，以10000个词为例，每个单词需要用10000维来表示，而且只有一个数是零，其他维度都是1，造成表示非常冗余，存储量大；第二每个单词表示的向量相乘都为零（正交），导致没能够表示是词汇之间的联系，比如oriange和apple,qu ...
分类：
编程语言 时间：
2020-07-20 10:16:47
阅读次数：
79
LeNet-5实现MNIST分类 本人水平有限，如有错误，欢迎指出！ 1. LeNet-5 1.1 简介 ? LeNet-5是由“深度学习三巨头”之一、图灵奖得主Yann LeCun在一篇名为"Gradient-Based Learning Applied to Document Recogniti ...
分类：
Web程序 时间：
2020-07-19 23:32:03
阅读次数：
95
作为目前越来越受欢迎的深度学习框架，pytorch 基本上成了新人进入深度学习领域最常用的框架。相比于 TensorFlow，pytorch 更易学，更快上手，也可以更容易的实现自己想要的 demo。今天的文章就从 pytorch 的基础开始，帮助大家实现成功入门。 首先，本篇文章需要大家对深度学习 ...
分类：
其他好文 时间：
2020-07-18 22:41:15
阅读次数：
67
Convolutional Neural Networks(CNN) Abstract 随着深度学习的发展，学术界造就了一个又一个优秀的神经网络，目前，最受欢迎的神经网络之一则是卷积神经网络，尽管有时它出现让我们无法理解的黑盒子现象，但它依然是值得我们去探索的，CNN的设计也遵循了活生物体的视觉处理 ...
分类：
编程语言 时间：
2020-07-18 22:03:15
阅读次数：
98
RNN 循环神经网络。像之前的CNN只能处理单独的输入，前一个输入与后一个输入没有关系。但例如NLP中，我们需要前后文的信息。所以RNN应运而生。 标准的RNN中，1）N input -- N output 2）权值共享，W、U、V每个都是一样的。 实际中，这一种结构无法解决所有问题。所以也有了以下 ...
分类：
其他好文 时间：
2020-07-17 19:40:13
阅读次数：
72
1、TensorRT7的情况下： protobuf没有安装，百度了下 TX2安装Caffe，有的里面提到了怎么安装，就是一些sudo apt-get install XXXXX。 Concat Plugin在TensorRT7里面被移除了，我直接把源代码里面这部分给注释掉了了 找不到lincubla ...
分类：
Web程序 时间：
2020-07-15 23:58:36
阅读次数：
146
目录 LSTMs网络架构 LSTM的核心思想 遗忘门(Forget gate) 输入门(Input gate) 输出门(Output gate) LSTMs是如何解决长程依赖问题的？ Peephole是啥 多层LSTM 参考资料 长短期记忆网络通常称为LSTMs，是一种特殊的RNN，能够学习长期依赖 ...
分类：
Web程序 时间：
2020-07-15 01:19:03
阅读次数：
113
关于MixNet:1.NAS:神经架构搜索，从定义一组神经网络可能会用到的“建筑模块”开始，NAS算法用一个RNN做控制器，从这些模块中挑选，然后将它们放在一起，创造某种端到端的架构（好坏取决于选择的模块和它们之间构建的连接）；接着训练这个网络，让其收敛，得到验证集上的准确率，通过策略梯度更新控制器 ...
分类：
Web程序 时间：
2020-07-14 21:52:12
阅读次数：
91
1.基于既保持神经网络结构的稀疏性，又充分利用密集矩阵的高计算性能，谷歌提出了一种“基础神经元”的Inception结构； 2.Inception-v1将cnn中常见的卷积，池化操作堆叠到一起（卷积，池化后的尺寸相同，通道增加，神经网络的宽度变宽），在3*3,5*5卷积操作前，3*3池化操作后添加1 ...
分类：
Web程序 时间：
2020-07-14 20:10:17
阅读次数：
91
AlexNet是2012年ImageNet比赛的冠军，将卷积神经网络重新拉入大众视野；AlexNet取得较大突破（创新点）：（1）使用了relu非线性激活函数，网络训练时收敛速度更快；（2）标准归一化LRN，活跃的神经元对它周边神经元的抑制，有助于增长泛化能力；（3）Dropout函数，通过修改神经 ...
分类：
Web程序 时间：
2020-07-14 20:07:05
阅读次数：
86
