利用Pytorch搭建神经网络 在完成李宏毅2020机器学习图像分类（hw3）时，需要具备会使用pytorch的能力，通过pytorch的官方教程进行学习https://pytorch123.com/ 训练神经网络的步骤如下： 1.定义神经网络（普通CNN为例） 这里的size = x.size() ...
分类：
其他好文 时间：
2021-03-31 12:17:16
阅读次数：
0
Paddle Inference原生推理库 深度学习一般分为训练和推理两个部分，训练是神经网络“学习”的过程，主要关注如何搜索和求解模型参数，发现训练数据中的规律，生成模型。有了训练好的模型，就要在线上环境中应用模型，实现对未知数据做出推理，这个过程在AI领域叫做推理部署。用户可以选择如下四种部署应 ...
分类：
其他好文 时间：
2021-02-16 11:43:17
阅读次数：
0
如果我们不使用过激活函数，那么输出将是输入的线性变换，无论最终多少层，都只是线性变换，为了增强神经网络学习任何函数的能力，需要在其中引入非线性的单元，这个单元就是激活函数。 激活函数大致分为两类，饱和和非饱和： 饱和激活函数 Sigmoid Sigmoid 是常用的非线性的激活函数，它的数学形式如下 ...
分类：
其他好文 时间：
2020-07-13 14:04:28
阅读次数：
69
机器学习领域有个很重要的假设：独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。神经网络学习过程本质上是为了学习数据的分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另一方面，一旦在mini-batch ...
分类：
其他好文 时间：
2020-07-10 11:32:44
阅读次数：
57
5.1 Cross-Entropy Cost 上节实现了一个简单的神经网络所需要的所有function，包括梯度下降算法，BP算法等，利用python实现最简单的神经网络。从本节课开始介绍另外一种cost function。 我们理想情况是让神经网络学习更快。 假设简单模型：只有一个输入、一个神经元 ...
分类：
编程语言 时间：
2020-06-13 23:19:15
阅读次数：
82
感谢作者分享 http://bjbsair.com/2020 04 07/tech info/30660.html 顺序模型是多个网络层的线性堆叠。 你可以通过将网络层实例的列表传递给 Sequential 的构造器，来创建一个 Sequential 模型： 也可以简单地使用 .add() 方法将各 ...
分类：
其他好文 时间：
2020-04-08 09:52:26
阅读次数：
87
How much position information do convolutional neural network encode? Intro 文章是ICML2020的一个工作，探究了CNN到底有没有编码位置信息，这些位置信息在哪些神经元中被编码、这些位置信息又是如何被暴露给神经网络学习的。 ...
分类：
Web程序 时间：
2020-02-04 10:46:40
阅读次数：
248
在实际使用的时候，神经网络是很复杂的，要借助计算图才能使其条理清晰，让复杂的事情变的直观便于研究。 神经网络的计算是有一个前向传播以及一个反向传播构成的。 先通过前向传播计算出预测结果以及损失；然后再通过反向传播计算出损失函数关于每一个参数 w,b 的偏导数，并对这些参数进行梯度下降 然后用新的参数 ...
分类：
其他好文 时间：
2020-01-19 09:19:03
阅读次数：
60
循环神经网络（Recurrent Neural NetWork,RNN）是一种将节点定向连接成环的人工神经网络，其内部状态可以展示动态时序行为。 循环神经网络的主要用途是处理和预测序列数据。循环神经网络最初就是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上来看，循环神经网络会记忆之前的信息 ...
分类：
其他好文 时间：
2019-12-01 19:09:34
阅读次数：
383
word2vec作为神经概率语言模型的输入，其本身其实是神经概率模型的副产品，是为了通过神经网络学习某个语言模型而产生的中间结果。具体来说，“某个语言模型”指的是“CBOW”和“Skip-gram”。具体学习过程会用到两个降低复杂度的近似方法——Hierarchical Softmax或Negati ...
分类：
其他好文 时间：
2019-11-17 12:53:08
阅读次数：
117
