Liner regression 线性回归 The overall process of x x的整个过程 区分监督学习和无监督学习--看是否有“正确答案”和已知的预测值 Cost function代价函数 M--denote the number of training examples表示训练样 ...
分类：
其他好文 时间：
2019-05-20 15:07:34
阅读次数：
133
两条曲线规律：测试集或验证集上的代价函数随所选的多项式的次数的变化曲线，训练集上的...曲线（递减的那条） 下图中，左边的红框代表遇到了高偏差问题，右边的红框代表高方差问题。 ...
分类：
其他好文 时间：
2019-05-02 18:51:09
阅读次数：
100
在使用梯度下降法进行过程中，为了减少可能进行局部最小采用的代价函数变化情况（二分类）： 除梯度下降法的其它方案：更有效但是更复杂。 使用Octave运行，自定义好代价函数并让其返回代价函数公式和代价函数每个梯度，自定义options，自定义初始化Theta，使用函数fminunc进行计算。 得到最终 ...
分类：
其他好文 时间：
2019-05-02 18:48:39
阅读次数：
141
分类：针对离散型数据 回归：针对连续型数据 代价函数就是目标函数和实际训练集的误差 平方误差代价函数可能是解决回归问题最常用的手段。 https://study.163.com/course/courseLearn.htm?courseId=1004570029#/learn/video?lesso ...
分类：
其他好文 时间：
2019-03-04 19:09:14
阅读次数：
138
1.计算图的导数计算 正向比如说是计算代价函数值，反向就是增大多少a/b/c对J的影响，也就是导数的意义，这里讲的是求导链式法则。 2.向量化 节约大量计算时间 简直是100倍的时间，看来之前实现的那个代码根本就不能用好几层for循环来实现，时间太长了啦！第一次知道。 3.Py中的广播 使用对列求和 ...
分类：
其他好文 时间：
2019-02-24 13:48:14
阅读次数：
162
Keras 文档http://keras.io 使用GPU加速模型训练： 训练深度神经网络的一些策略，用于提升模型精确度 1）选择合适的代价函数loss：MSE （Mean Squared Error）均方误差，Cross Entropy交叉熵。当输出层为softmax层时，选择交叉熵代价函数更为科 ...
分类：
其他好文 时间：
2019-02-03 18:24:02
阅读次数：
340
1.下面是支持向量机(SVM)的代价函数： 上图左边是cost1(z)函数，用于正样本，右边画出了关于z的代价函数cost0(z)，函数的横轴是z，现在我们想一下怎么样才能使得这些代价函数变得更小呢？当有一个正样本的时候，y=1，那么仅当z大于等于1的时候，cost1(z)=0，换句话说，如果有一个 ...
分类：
其他好文 时间：
2019-01-30 14:10:31
阅读次数：
154
直观理解反向传播 反向传播算法是用来求那个复杂到爆的梯度的。 上一集中提到一点，13000维的梯度向量是难以想象的。换个思路，梯度向量每一项的大小，是在说代价函数对每个参数有多敏感。 如上图，我们可以这样里理解，第一个权重对代价函数的影响是是第二个的32倍。 我们来考虑一个还没有被训练好的网络。我们 ...
分类：
编程语言 时间：
2019-01-30 00:16:04
阅读次数：
220
一、从LR到决策树 0.思考一些一个分类问题：是否去相亲，LR解决的问题可能是这样的 在下面各个特征下给定w1，w2，w3，w4等参数值，将wx+b送到sigmoid函数中去，拿到一个概率p，我们在使用这个函数的时候会有一个损失函数loss function，对于这个代价函数通过GD梯度下降完成优化 ...
分类：
其他好文 时间：
2019-01-26 13:14:30
阅读次数：
199
1.对某些线性回归问题，正规方程给出了更好的解决方法，来求得参数θ，截止到目前我们一直使用线性回归算法是梯度下降法，为了最小化代价函数J(θ)，我们使用梯度下降多次迭代，来收敛得到全局的最小值。与此相反的正规方程提供了一种求θ的解析方法，我们不需要再去运用迭代的方法，而是可以直接一次性的求解θ最优值 ...
分类：
其他好文 时间：
2019-01-22 17:27:53
阅读次数：
181
