一、项目简介 手动实现mini深度学习框架，主要精力不放在运算优化上，仅体会原理 相关博客 『TensorFlow』卷积层、池化层详解 『科学计算』全连接层、均方误差、激活函数实现 文件介绍 Layer.py 层 class，已实现：全连接层，卷积层，平均池化层 Loss.py 损失函数 class ...
分类：
其他好文 时间：
2018-11-15 15:33:22
阅读次数：
218
来源：https://www.cnblogs.com/jianxinzhou/p/4083921.html 1. The Problem of Overfitting （1） 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但 ...
分类：
其他好文 时间：
2018-10-31 15:40:55
阅读次数：
142
对于分类问题的神经网络最后一层的函数做如下知识点总结： sigmoid函数的定义：令p(y=1)=x，p(y=0)=1-x，f =ln( x/(1-x))，推导出x=ef/(1-ef)，即输出的是y=1的概率，这一点与softmax函数不同. 常用损失函数介绍： MSE：均方误差一遍用于回归问题的损 ...
分类：
其他好文 时间：
2018-09-27 14:21:54
阅读次数：
523
一、损失函数(loss) [前向传播的预测值y与已知答案y_的差距]： 1.优化目标：使loss达到最小值。 2.优化方法：均方误差（mse） 交叉熵（ce） 自定义 详解： 1.均方误差mse： 公式： 函数：loss_mse = tf.reduce_mean(tf.square(y_ - y)) ...
分类：
其他好文 时间：
2018-09-25 17:27:00
阅读次数：
225
一.前言 在做神经网络的训练学习过程中，一开始，经常是喜欢用二次代价函数来做损失函数，因为比较通俗易懂，后面在大部分的项目实践中却很少用到二次代价函数作为损失函数，而是用交叉熵作为损失函数。为什么？一直在思考这个问题，这两者有什么区别，那个更好？下面通过数学的角度来解释下。 思考：我们希望我们损失函 ...
分类：
其他好文 时间：
2018-09-15 20:05:46
阅读次数：
468
一 概述 Logistic Regression的三个步骤 现在对为什么不使用均方误差进行分析（步骤二的） 由上图可以看出，当距离目标很远时，均方误差移动速率也很慢，不容易得到好的结果。 Discriminative（Logstic） v.s. Generative（Gaussion） 两种方法的m ...
分类：
其他好文 时间：
2018-07-31 19:29:27
阅读次数：
134
一，均方误差 作为机器学习中常常用于损失函数的方法，均方误差频繁的出现在机器学习的各种算法中，但是由于是舶来品，又和其他的几个概念特别像，所以常常在跟他人描述的时候说成其他方法的名字。 均方误差的数学表达为： 如上图所示，通过计算每个预测值和实际值之间的差值的平方和再求平均，机器学习中它经常被用于表 ...
分类：
其他好文 时间：
2018-07-12 18:05:59
阅读次数：
269
Linear Regression with PyTorch Problem Description 初始化一组数据 $(x,y)$，使其满足这样的线性关系 $y = w x + b$ 。然后基于反向传播法，用均方误差（mean squared error）去拟合这组数据。 Notice 这一行代码 ...
分类：
其他好文 时间：
2018-06-11 00:35:03
阅读次数：
178
局部加权线性回归 线性回归的一个问题是有可能出现欠拟合现象，因为它求的是具有小均方误差的无偏估 计。显而易见，如果模型欠拟合将不能取得好的预测效果。所以有些方法允许在估计中引入一 些偏差，从而降低预测的均方误差。 其中的一个方法是局部加权线性回归（Locally Weighted Linear Re ...
分类：
其他好文 时间：
2018-06-10 11:40:06
阅读次数：
219
来源：中国大学MOOC 损失函数有三种：均方误差、自定义、交叉熵 均方误差： ...
分类：
其他好文 时间：
2018-06-04 20:12:45
阅读次数：
166
