标签:pre 集成 估计 基本 最小化 产生 误差 分类 输入
线性模型,具有更好的可解释性,每个参数有表示的意义。
f(x) = wx + b
线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。
要训练w使得代价函数最小,如何选一个w使得代价函数最小?
最小均方算法(LMS)。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”
w* = argmin (y-wx)T(y-wx)
//当XTX为满秩矩阵或正定矩阵时,可以得到下方等式。
w = (XT * X)-1 * XT * y
然而,显示生活中很多XTX不是满秩矩阵,需要引入正则化项。
lny = wx + b
对数线性回归,形式上仍是线性回归,实质上已是在求取输入空间到输出空间的非线性函数映射。
逻辑斯蒂回归,正例与反例的比值的对数。通过极大似然法估计w和b。
多分类学习的基本思路是将多分类拆为若干个二分类任务求解。为拆出的每个二分类任务训练一个分类器,最后对所有分类器的预测结果进行集成以获得最终的多分类结果。
关键是如何拆分?有三种策略:一对一,一对其余,多对多
一对一:将N个类别两两配对,产生N*(N-1)/2个二分类任务,最后结果通过投票得出。
一对其余:一个类的样例作为正例,其他类的样例作为反例,需要训练N个分类器
多对多:若干个作为正类,若干个作为反类。
分类任务重不同类别的训练样例数目差别很大,正例少反例多,或正例多反例少。
标签:pre 集成 估计 基本 最小化 产生 误差 分类 输入
原文地址:https://www.cnblogs.com/chenshaowei/p/12748756.html