tf.clip_by_value(p, min, max)) 运用的是交叉熵而不是二次代价函数。 功能：可以将一个张量中的数值限制在(min,max)内。（可以避免一些运算错误:可以保证在进行log运算时，不会出现log0这样的错误或者大于1的概率） 参数： p：input数据 当p小于min时，输 ...
分类：
编程语言 时间：
2020-02-18 20:57:10
阅读次数：
156
[TOC] 所谓正则化是在代价函数的基础上进行的 为了使costfunction尽快的取得最小值 当参数过多时，会存在过拟合现象，假如我们在损失函数中加入一项作为惩罚，如加入$1000 \theta_{3}^{2}$，当参数$\theta_{3}$过大时，会使得损失函数变大，而我们的目标是损失函数最 ...
分类：
其他好文 时间：
2020-01-26 20:47:24
阅读次数：
70
机器学习的过程说白了就是让我们编写一个函数使得costfunction最小，并且此时的参数值就是最佳参数值。 定义 假设存在一个代价函数 fun：$J\left(\theta_{0}, \theta_{1}\right)$ 通过不断地调整$\theta_{0}$和$\theta_{1}$是函数$J\ ...
分类：
编程语言 时间：
2020-01-24 14:27:52
阅读次数：
80
梯度下降：应用最广泛的求极小值算法。 假设一线性回归模型，它的代价函数为 J(θ0,θ1) 。我们的目标是最小化这个代价函数，而要得到最小的代价函数值关键就在于正确选取 θ0和θ1的值，于是我们引出梯度下降算法。 步骤：1. 初始化θ0和θ1的值，通常取0。 2. 不断改变θ0和θ1的值，试图通过这 ...
分类：
其他好文 时间：
2020-01-20 21:02:16
阅读次数：
64
代价函数：又称损失函数，我的理解是用于更好地拟合样本，得到更合适模型的一个方法。 在线性回归中，假设函数为 hθ(x) = θ0 + θ1 * x ，其中θ0和θ1的变化会引起假设函数的变化，参数的选择决定了我们得到的直线相对于训练集的准确度。 为了让预测值和真实值的误差尽可能小和最小化θ0和θ1， ...
分类：
其他好文 时间：
2020-01-19 12:37:13
阅读次数：
69
过拟合问题 导致结果不正确。 解决办法 使$\theta$的取值尽量小，已达到曲线平滑。 但当$\theta$取值过小会导致 欠拟合 改变代价函数 线性回归： $$J(\theta)=\frac{1}{2m}(\sum_{i=1}^{m}({h_\theta(x^i) y(x^i)})^2+\lam ...
分类：
其他好文 时间：
2019-12-10 22:13:33
阅读次数：
106
我们从上一篇博客中知道了关于单变量线性回归的相关问题，例如：什么是回归，什么是代价函数，什么是梯度下降法。 本节我们讲一下多变量线性回归。依然拿房价来举例，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x0 ,x1 ,...,xn )。 增添更多特征 ...
分类：
系统相关 时间：
2019-11-26 22:43:03
阅读次数：
154
基本思想：通过迭代寻找K个簇的一种划分方法，使得聚类结果对应的代价函数最小。特别地，代价函数可以定义为各个样本距离所属聚类中心的误差平方和 $$J(c, \mu) = \sum \limits_{i=1}{M}||x_i \mu_{c_i}||^2?$$ 具体步骤 数据预处理，如归一化、离群点处理等 ...
分类：
其他好文 时间：
2019-11-24 15:51:17
阅读次数：
70
1、回归是达尔文表弟发现的，就是说人类总体有一个平均身高。那个高个子生的孩子都个高，矮的孩子生的矮。但是他们的下一代大部分都往平均身高长，也就是说特别高的人，他们的孩子会很高，但是往往比他们自己矮。特别矮的人他们生的孩子会矮一些，但是会比自己的父母高，他们都有这种趋势。表弟管这个叫做回归。 2、一元 ...
分类：
其他好文 时间：
2019-11-17 01:55:43
阅读次数：
95
参考资料：梯度下降优化算法总结(必看！！！！！！！) 梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。 为什么使用梯度下降法 我们使用梯度下降法 ...
分类：
编程语言 时间：
2019-11-13 22:30:05
阅读次数：
144
