衡量线性回归法的指标:MSE, RMSE和MAE
举个栗子:
对于简单线性回归,目标是找到a,b 使得尽可能小
其实相当于是对训练数据集而言的,即
当我们找到a,b后,对于测试数据集而言
,理所当然,其衡量标准可以是
但问题是,这个衡量标准和m相关。
(当10000个样本误差累积是100,而1000个样本误差累积却达到了80,虽然80<100,但我们却不能说第二个模型优于第一个)
改进==> 对式子除以m,使得其与测试样本m无关
->
但又有一个问题,之前算这个公式时为了保证其每项为正,且可导(所以没用绝对值的表示方法),我们对式子加了一个平方。但这可能会导致量纲的问题,如房子价格为万元,平方后就成了万元的平方。
又改进==> 对MSE开方,使量纲相同
->
MSE与RMSE的区别仅在于对量纲是否敏感
又一思路,通过加绝对值
->
在推导a,b的式子时(对train数据集),没用求绝对值的方法是因为其不是处处可导,不方便用来求极值。但评价模型时,对test数据集我们完全可以使用求绝对值的方式。
P.S. 评价模型的标准和训练模型时最优化的目标函数是可以完全不一样的。