机器学习高阶训练营知识点一览

标签：信息论   elastic   fun   决策树   variable   线性   机器学习   lsh   bag   

第一阶段 机器学习基础与凸优化

 【核心知识点】

- KNN，Weighted KNN、近似KNN

- KD树，近似KD树、哈希算法、LSH

- 岭回归、LASSO、ElasticNet

- 正则：L1, L2, L-inifity Norm

- LR、GD、SGD、小批量SGD

- 凸集，凸函数、判定凸函数

- LP、QP、ILP、SDP问题

- Duality，Strong Duality、KKT条件

- 带条件/无条件优化问题、Projected GD

- 平滑函数、Convergence Analysis

第二阶段 SVM与集成模型

【核心知识点】

- Max-Margin与线性SVM构建

- Slack Variable以及条件的松弛

- SVM的Dual、Kernelized SVM

- Kernel Functions, Mercer 定理

- Kernelized LR/KNN/K-Means/PCA

- Bagging, Boosting, Stacking

- 信息论与决策树- 随机森林，完全随机森林

- 基于残差的提升树训练思想- GBDT与XGBoost

- 集成不同类型的模型

- VC理论， PAC Learning

机器学习高阶训练营知识点一览

标签：信息论   elastic   fun   决策树   variable   线性   机器学习   lsh   bag   

原文地址：https://www.cnblogs.com/jimchen1218/p/11842508.html