标签：
1.逻辑函数：
Logistic函数或Logistic曲线是一种常见的S形函数，它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的。广义Logistic曲线可以模仿一些情况人口增长（P）的S形曲线。起初阶段大致是指数增长；然后随着开始变得饱和，增加变慢；最后，达到成熟时增加停止。[1]logistic函数其实就是这样一个函数：非常简单吧，这个函数的曲线如下所示：很像一个“S”型吧，所以又叫 sigmoid曲线（S型曲线）。逻辑斯谛方程即微分方程：
残差：在数理统计中，残差是指实际观察值与估计值（拟合值）之间的差。
最小二乘法1：
最小二乘法的矩阵形式最小二乘法的矩阵形式为：其中为的矩阵，为的列向量，为的列向量。如果（方程的个数大于未知量的个数），这个方程系统称为矛盾方程组（Over Determined System），如果（方程的个数小于未知量的个数），这个系统就是Under Determined System。正常来看，这个方程是没有解的，但在数值计算领域，我们通常是计算，解出其中的。比较直观的做法是求解，但通常比较低效。其中一种常见的解法是对进行QR分解（），其中是正交矩阵（Orthonormal Matrix），是上三角矩阵（Upper Triangular Matrix），则有
最小二乘法2：
我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面...
对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：
（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。
样本回归模型：
其中ei为样本（Xi, Yi）的误差
平方损失函数：
则通过Q最小确定这条直线，即确定
，以
为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：
根据数学知识我们知道，函数的极值点为偏导为0的点。
解得：
这就是最小二乘法的解法，就是求得平方损失函数的极值点。
梯度下降法：最小二乘法跟梯度下降法都是通过求导来求损失函数的最小值，那它们有什么区别呢。
相同
1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的dependent variables进行估算。
2.目标相同：都是在已知数据的框架内，使得估算值与实际值的总平方差尽量更小（事实上未必一定要使用平方），估算值与实际值的总平方差的公式为：
其中
为第i组数据的independent variable，
为第i组数据的dependent variable，
为系数向量。
不同
1.实现方法和结果不同：最小二乘法是直接对求导找出全局最小，是非迭代法。而梯度下降法是一种迭代法，先给定一个
卡方分布：
若n个相互独立的随机变量ξ?、ξ?、……、ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其卡方分布分布规律称为分布（chi-square distribution），其中参数n称为自由度，正如正态分布中均值或方差不同就是另一个正态分布一样，自由度不同就是另一个分布。记为或者.卡方分布是由正态分布构造而成的一个新的分布，当自由度n很大时，分布近似为正态分布。
pearson相关系数：
如衡量国民收入和居民储蓄存款、身高和体重、高中成绩和高考成绩等变量间的线性相关关系。当两个变量都是正态连续变量，而且两者之间呈线性关系时，表现这两个变量之间相关程度用积差相关系数，主要有Pearson简单相关系数。其计算公式为：
spearman相关系数：
这类方法对原始变量分布不作要求，属于非参数统计方法。其中最常用的统计量是spearman秩相关系数，又称等级相关系数，介于之间，为负相关，为正相关。秩相关系数是总体秩相关系数的估计值。若数据中无重复值，且两个变量完全单调相关时，spearman相关系数=+1或-1.计算步骤：⑴编秩：将两变量X、Y成对的观察值分别从小到大顺序编秩，用pi表示xi的秩次；用qi表示yi的秩次。若观察值相同取平均秩次。⑵将秩次带入公式计算：⑶由样本算得的秩相关系数是否有统计学意义，应作假设检验。
过拟合：
想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别。标准定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。 ----《Machine Learning》Tom M.Mitchell
标签：
原文地址：http://blog.csdn.net/qq_27231343/article/details/51615360
