正规方程： 对于上面的线性回归算法我们都是采用的梯度下降法，使得损失函数最小，而对于线性回归算法还有另外一种使得损失函数最小的方法，那就是正规方程。 正规方程式通过求解下面的方程来找出使得代价函数最小的参数： ?J(θj))?θj=0 假设我们的训练集特征矩阵为X（包含x0=1）并且训练集结果为向量 ...
分类：
其他好文 时间：
2018-02-28 17:31:06
阅读次数：
203
梯度下降算法能够帮助我们快速得到代价函数的最小值 算法思路： 以某一参数为起始点 寻找下一个参数使得代价函数的值减小，直到得到局部最小值 梯度下降算法： 重复下式直至收敛，其中α为学习速率，表示找到局部最小值的速率 并且各参数θ0,...,θn必须同时更新，即所有的θj值全部都计算得到新值之后才将参 ...
分类：
其他好文 时间：
2018-02-19 23:20:11
阅读次数：
228
多元线性回归Linear Regression with multiple variables 当有一个特征输入时，h(x)函数可表示为 当有多个特征输入时，h(x)函数可表示为 设x0 = 1，则特征输入和参数可表示为： h(x)函数就可表示为: 代价函数cost function： 多元线性回归 ...
分类：
其他好文 时间：
2018-02-19 20:44:55
阅读次数：
218
有监督学习类似于学习数学，先做题 对答案，然后老师出卷子进行月考 无监督学习 挖掘数据 需要与环境交互 回归问题数学用语比较多，但是对大学高数部分熟悉的话，应该不是问题。 线性回归 损失函数（loss function，优化方向，评估方式）/代价函数/目标函数 找到最好的权重/参数 如何衡量最好？ ...
分类：
其他好文 时间：
2018-02-19 11:34:36
阅读次数：
141
单变量线性回归函数 hθ(x) = θ0 + θ1x 为了使线性回归函数对数据有较好的预测性，即y到h(x)的距离都很小。 ...
分类：
其他好文 时间：
2018-02-18 23:03:59
阅读次数：
232
1.从方差代价函数说起（Quadratic cost） 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。 在训练神经网络过程中 ...
分类：
其他好文 时间：
2018-02-15 17:35:17
阅读次数：
188
ng机器学习视频笔记（一） ——线性回归、代价函数、梯度下降基础 （转载请附上本文链接——linhxx） 一、线性回归 线性回归是监督学习中的重要算法，其主要目的在于用一个函数表示一组数据，其中横轴是变量（假定一个结果只由一个变量影响），纵轴是结果。 线性回归得到的方程，称为假设函数（Hypothe ...
分类：
其他好文 时间：
2018-02-04 12:44:44
阅读次数：
140
ng机器学习视频笔记（二） ——梯度下降算法解释以及求解θ （转载请附上本文链接——linhxx） 一、解释梯度算法 梯度算法公式以及简化的代价函数图，如上图所示。 1）偏导数 由上图可知，在a点，其偏导数小于0，故θ减去小于0的数，相当于加上一个数。另外，从图上可以看出，在a点不是最佳点，需要继续 ...
分类：
编程语言 时间：
2018-02-04 12:44:02
阅读次数：
206
ng机器学习视频笔记（七） ——神经网络的代价函数、反向传播、梯度检验、随机初始化 （转载请附上本文链接——linhxx） 一、代价函数 同其他算法一样，为了获得最优化的神经网络，也要定义代价函数。 神经网络的输出的结果有两类，一类是只有0和1，称为二分分类（Binary classificatio ...
分类：
其他好文 时间：
2018-02-04 12:39:00
阅读次数：
130
ng机器学习视频笔记（八） ——机器学习系统调试(cv、查准率与召回率等) （转载请附上本文链接——linhxx） 一、样本集使用方案 1、测试集 为了验证系统设计的是否准确，通常需要预留10%-20%的样本集，作为测试集，校验模型的准确率。测试集也有其对应的代价函数，其代价函数与对应的训练集的代价 ...
分类：
其他好文 时间：
2018-02-04 12:37:42
阅读次数：
512
