一个有监督的房价训练模型如下所示： 单变量线性回归问题： 模型预测值与训练实际值之间的差距，就是建模误差。 一般常用的代价函数是平方误差函数，之所以提出误差的平方和，是因为误差平方代价函数对于大多数问题特别是回归问题，都是一个合理的选择。 常使用梯度下降作为求函数最小值的算法，开始时我们随机选择一个... ...
分类：
其他好文 时间：
2019-01-15 12:07:46
阅读次数：
188
今天（准确地说是昨天）被学物理的同学问到Stokes定理，想起来我还有一个知道但没有细看的东西，下面整理成提示完整的习题记录一下。 这部分内容将会加进几何学观止，敬请期待。目前正在纂写代数几何簇的部分。 ...
分类：
其他好文 时间：
2019-01-15 10:44:18
阅读次数：
264
二项逻辑回归模型是如下的条件概率分布： 其中x∈是输入，y∈{0，1}是输出。 为了方便，将权值向量和输入向量进行扩充，此时w = ,x = ,回归模型表示如下： 参数w未知，采用统计学中的极大似然估计来由样本估计参数w。对于0-1分布x ~ B(1 , p)，x的概率密度函数可以表示为： 其中k ...
分类：
其他好文 时间：
2019-01-14 20:08:47
阅读次数：
191
作为一名从传统行业成功转行算法工程师的老人，经常会有想转行互联网，或者是算法工程师的朋友询问我转行的经验。为了能够帮助到更多希望转行的朋友，特在此记录下自己的转行历程及心得。 1 转行的动机 转行的动机基本上可以归纳为四点： 1）现在的工作工资太低， 2）现在的工作前景黯淡， 3）对现在的工作毫无热 ...
分类：
编程语言 时间：
2019-01-13 19:04:54
阅读次数：
177
梯度下降： 对theta1， theta2， theta3 分别求最快梯度下降的方向，然后根据给定的学习率，进行theta1， theta2， theta3的参数跟新 假定目标函数 J(theta) = 1/2m * np.sum(h(theta) - y)^2 / len(X) 梯度下降的策略分为 ...
分类：
编程语言 时间：
2019-01-12 18:33:05
阅读次数：
202
GBDT又叫梯度提升决策树，它也属于Boosting框架。GBDT核心原理如下： 如图所示，用GBDT预测年龄，第一轮，预测到年龄为20，它和真实值之间的残差为10，第二轮，GBDT开始预测上一轮的残差10，预测结果为6，这一轮 的残差为4，第三轮，以年龄4为预测目标，预测来的值为3，和真实值之间相 ...
分类：
编程语言 时间：
2019-01-11 15:13:33
阅读次数：
288
回归是对一个或多个自变量和因变量之间的关系进行建模，求解的一种统计方法，更多关于回归的内容将在后续总结。本博主要总结如何利用激活函数中Sigmoid函数和梯度下降算法实现Logistic回归分类器对数据进行分类 1. Sigmoid函数 激活函数是对神经网络中某一部分神经元的非线性运算，使得神经网络 ...
分类：
其他好文 时间：
2019-01-10 15:31:23
阅读次数：
206
本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！ 梯度下降的场景假设 梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山 ...
分类：
其他好文 时间：
2019-01-09 18:48:50
阅读次数：
437
1.L2正则化(岭回归) 1.1问题 想要理解什么是正则化，首先我们先来了解上图的方程式。当训练的特征和数据很少时，往往会造成欠拟合的情况，对应... ...
分类：
编程语言 时间：
2019-01-09 00:34:49
阅读次数：
264
一、表达式 用向量的形式表示 二、多元梯度下降法 规定x0（i）=1 三、多元梯度下降法演练——特征缩放 保证这些特征都处在一个相近的范围，不同特征取值在相近的范围内。 如果不在两个特征的数值范围差距很大，关于θ的关系函数会是一个又长又扁的椭圆。而这种情况下防止达不到收敛，只能进行一小步一小步的梯度 ...
分类：
其他好文 时间：
2019-01-08 14:58:44
阅读次数：
172
