本节目标：学会使用 CNN 实现对手写数字的识别 上几节重点讲述的 NN ：每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果 参数个数：∑ （前层× 后层+ 后层） ...
分类：
其他好文 时间：
2018-12-24 02:33:05
阅读次数：
86
为提高程序的可复用性，搭建模块化的神经网络八股 1 前向传播 前向传播就是设计、搭建从输入（参数 x ） 到输出（返回值为预测或分类结果 y ）的完整网络结构，实现前向传播过程，一般将其放在 forward.py 文件中 前向传播需要定义三个函数（实际上第一个函数是框架，第二、三个函数是赋初值过程） ...
分类：
其他好文 时间：
2018-11-04 21:20:50
阅读次数：
187
恢复内容开始 在机器学习中，有时候我们基于一个数据集训练的模型对该模型的正确率非常高，而该模型对没有见过的数据集很难做出正确的响应；那么这个模型就存在过拟合现象。 为了缓解或避免过拟合现象，我们通常用的方法是采用正则化方法（Regularization）。 1 正则化基本理解 1.1 正则化公式的引 ...
分类：
其他好文 时间：
2018-11-03 20:21:45
阅读次数：
126
1 滑动平均概述 滑动平均（也称为 影子值 ）：记录了每一个参数一段时间内过往值的平均，增加了模型的泛化性。 滑动平均通常针对所有参数进行优化：W 和 b， 简单地理解，滑动平均像是给参数加了一个影子，参数变化，影子缓慢追随。 滑动平均的表示公式为 影子 = 衰减率 * 影子 + ( 1 - 衰减率 ...
分类：
其他好文 时间：
2018-11-03 18:19:19
阅读次数：
250
1 学习率的基本定义 学习率learning_rate：每次参数更新的幅度。 简单示例： 假设损失函数 loss = ( w + 1 )2，则梯度为 参数 w 初始化为 5 ，学习率为 0.2 ，则 2 学习率的初步应用 2.1 学习率 0.2 时 运行 从运算过程可以得出，待优化参数 w 由原来的 ...
分类：
其他好文 时间：
2018-10-30 00:22:04
阅读次数：
324
前言 懒癌翻了，这篇不想写overview了，公式也比较多，今天有（zhao）点（jie）累（kou），不想一点点写latex啦，读论文的时候感觉文章不错，虽然看似很多数学公式，其实都是比较基础的公式，文章也比较细，从网上找了两篇较好的讲解，引用连接在每篇文章前面。 文章1 https://www. ...
分类：
其他好文 时间：
2018-10-22 22:19:57
阅读次数：
190
一、损失函数(loss) [前向传播的预测值y与已知答案y_的差距]： 1.优化目标：使loss达到最小值。 2.优化方法：均方误差（mse） 交叉熵（ce） 自定义 详解： 1.均方误差mse： 公式： 函数：loss_mse = tf.reduce_mean(tf.square(y_ - y)) ...
分类：
其他好文 时间：
2018-09-25 17:27:00
阅读次数：
225
一. yaml模块 用来做配置文件。 需要pip安装该包。 二. ConfigParser模块 用来生成和修改常见配置文件，在python3.x版本中更名为configparser. (什么是配置文件：用户配置文件就是在用户登录电脑时，或是用户在使用软件时，软件系统为用户所要加载所需环境的设置和文件 ...
分类：
编程语言 时间：
2018-09-07 22:46:00
阅读次数：
247
之前在tensorflow上和caffe上都折腾过CNN用来做视频处理，在学习tensorflow例子的时候代码里面给的优化方案默认很多情况下都是直接用的AdamOptimizer优化算法，如下： optimizer = tf.train.AdamOptimizer(learning_rate=lr ...
分类：
编程语言 时间：
2018-08-01 13:59:06
阅读次数：
271
损失函数 神经元模型：用数学公式表示为：，f为激活函数。 神经网络：是以神经元为基本单元构成的。 激活函数：引入非线性激活因素，提高模型的表达力。 常用的激活函数有relu、sigmoid、tanh等。 ① 激活函数relu: 在Tensorflow中，用tf.nn.relu()表示 relu()数 ...
分类：
其他好文 时间：
2018-07-22 20:47:48
阅读次数：
161
