在机器学习中，学习或者推断 属性 变量与相应 响应 变量或 目标 变量之间的 函数 关系，使得对于一个给定的属性（特征）集合，可以进行相应的预测。例如，建立一个用户对物品的喜好预测模型。已知的数据中有用户信息（年龄，性别等），物品信息（种类，颜色等） ，以及用户对物品的喜好关系（例如 A用户喜好B物品）。在给定的用户和物品间（喜好关系未知），希望预测出用户对这个物品的喜好。...
分类：
其他好文 时间：
2015-05-28 11:00:50
阅读次数：
178
下面是回归分析的各种变体的简单介绍，解释变量和相应变量就是指自变量和因变量。
常用普通最小二乘（OLS）回归法来拟合实现简单线性、多项式和多元线性等回归模型。最小二乘法的基本原理前面已经说明了，使得预测值和观察值之差最小。
R中实现拟合线性模型最基本的函数是lm()，应用格式为：
myfit
data为观测数据，应该为一个data.frame，...
分类：
编程语言 时间：
2015-05-26 18:57:23
阅读次数：
366
转自：【基础】常用的机器学习&数据挖掘知识点Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimatio...
分类：
其他好文 时间：
2015-05-07 12:15:57
阅读次数：
200
比较普遍的参数估计方法：1、普通最小二乘法：适用于满足经典假设条件的但方程模型；2、加权最小二乘：适合于异方差数据，加权的实质是用一个变量除以误差项，使得误差项的方差变为常数；3、工具变量法：适合解释变量为随机情况，及解释变量与误差项相关。此时思路是找一个与解释变量相关而与误差项不相关的变量，成为工...
分类：
其他好文 时间：
2015-04-29 19:25:53
阅读次数：
407
在大致了解了机器学习的算法分类（监督式、非监督式以及增强学习）和梯度算法后，今天我们来了解下拟合度和最大似然估计的相关问题。一、最小二乘法的拟合度
监督式学习中一类典型的应用就是回归问题，基本的就是线性回归，即用一条直线去逼近训练集合。最小二乘法就是根据已..
分类：
其他好文 时间：
2015-04-28 00:14:45
阅读次数：
181
Approximation by a Progression
Time Limit: 500MS
Memory Limit: 65536KB
64bit IO Format: %I64d & %I64u
Submit Status
Description
Your are given a sequence of integer...
分类：
移动开发 时间：
2015-04-21 09:45:54
阅读次数：
196
一：背景：当给出我们一些样本点，我们可以用一条直接对其进行拟合，如y= a0+a1x1+a2x2,公式中y是样本的标签，{x1,x2,x3}是特征，当我们给定特征的大小，让你预测标签，此时我们就需要事先知道参数{a1,a2}。而最小二乘法和最大似然估计就是根据一些给定样本(包括标签值)去对参数进行估计参数估计的方法>。
二：最小二乘法：
基本思想：
简单地说，最小二乘的思想就是要使得观...
分类：
其他好文 时间：
2015-04-13 22:58:32
阅读次数：
173
Shooting算法是Wenjiang提出的一种优化Lasso(L1 Regularization)和Bridge Regression的算法, 本文以Lasso为例.对于线性回归问题$\mathbb{y}=X\mathbb{\beta}+\epsilon$, 普通最小二乘法(OLS, ordina...
分类：
其他好文 时间：
2015-04-06 15:39:06
阅读次数：
175
