习题1.1 统计学习方法的三要素为：模型、策略、算法。 模型即需要用函数 \(Y=f_\theta(X)\) 或者条件概率分布 \(P_\theta(Y|X)\) 表示。 策略即寻找合适的损失函数，表示预测值与真实值之间的误差，进而构建风险函数。风险函数就是最优化的目标函数。 算法即学习模型时需要选 ...
分类：
其他好文 时间：
2021-06-21 20:51:54
阅读次数：
0
核函数只是用来计算映射到高维空间之后的内积的一种简便方法。 核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。 李航的《统计学习方法》中对于核函数的定义： 要注意，核 ...
分类：
其他好文 时间：
2021-06-03 17:55:59
阅读次数：
0
内容基于《统计学习方法 - 第 1 版》 可前往我的 GitHub 下载高清原始文档 统计学习方法 - 思维导图 ...
分类：
其他好文 时间：
2020-07-11 21:09:53
阅读次数：
55
Reference：李航 --《统计学习方法》 10 种主要的统计学习方法概括总结 方法 适用问题 模型特点 模型类型 学习策略 学习的损失函数 学习算法 感知机 二类分类 分离超平面 判别模型 极小化误分点到超平面距离 误分点到超平面距离 随机梯度下降 k 近邻 多类分类，回归 特征空间，样本点 ...
分类：
其他好文 时间：
2020-07-06 14:36:46
阅读次数：
104
今天是2020年6月14号星期日。从这篇开始，发布时间就正常了。前边的文章是在寒假写好的，后来因为赶进度和整理小论文，没有及时整理。3月到6月，两个半月的时间做了些什么？真的好怕浪费了时间~《统计学习方法》这本书（第二版），大概在四月底就看个差不多了，半生不熟的好歹是通篇过了一遍，当然不止一遍，除了 ...
分类：
其他好文 时间：
2020-06-14 14:35:06
阅读次数：
43
1.用自己的话描述一下，什么是逻辑回归，与线性回归对比，有什么不同？ 逻辑回归是一种有监督的统计学习方法，主要用于对样本进行分类。 不同的就是线性回归中，独立变量的系数解释十分明了，就是保持其他变量不变时，改变单个变量因变量的改变量。而在逻辑回归中，自变量系数的解释就要视情况而定了，要看选用的概率分 ...
分类：
其他好文 时间：
2020-06-14 10:58:20
阅读次数：
61
一、监督学习 监督学习的概念与数学形式 统计机器学习的三要素 统计学习方法： 模型+策略+算法 监督学习的三个问题 分类、回归、标注 学习过程： 在假设空间执行搜索优化，挑选最好的学习器模型 预测过程： 使用训练好的学习器对未见过得新样本实例作出预测，推断其类别！ 学习器的评价指标：精确率、召回率 ...
分类：
其他好文 时间：
2020-06-09 23:23:20
阅读次数：
67
模型估计与模型选择 模型估计 当损失函数给定时，基于损失函数的模型的训练误差和模型的测试误差就成为了学习方法评估的标准。测试误误差反映了学习方法对未知的测试数据集的预测能力，又被称为泛化能力。 过拟合：一味的追求提高训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，但会造成过拟合。为了防止过 ...
分类：
其他好文 时间：
2020-05-23 09:56:42
阅读次数：
46
链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJnt_g 提取码：87vn 链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJnt_g 提取码：87vn ...
分类：
其他好文 时间：
2020-05-10 23:03:25
阅读次数：
62
正则化与交叉验证用于模型选择 1 正则化 正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或罚项(penalty iterm )。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。 正则化一般形式： 正 ...
分类：
其他好文 时间：
2020-05-03 20:31:49
阅读次数：
81
