决策树是一种基本的分类和回归方法。本章主要讨论用于分类的决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最 ...
分类：
其他好文 时间：
2017-12-28 23:27:58
阅读次数：
286
几种常见的优化算法： 参考：https://www.cnblogs.com/shixiangwan/p/7532830.html 我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究 ...
分类：
编程语言 时间：
2017-12-21 15:55:18
阅读次数：
177
动态规划（Dynamic Programming）是求解决策过程（decision process）最优化的数学方法。它的名字和动态没有关系，是Richard Bellman为了唬人而取的。 动态规划主要用于解决包含重叠子问题的最优化问题，其基本策略是将原问题分解为相似的子问题，通过求解并保存重复子 ...
分类：
移动开发 时间：
2017-11-29 17:02:18
阅读次数：
285
作者：王业磊链接：https://www.zhihu.com/question/20343349/answer/17347657来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 数学中最优化问题的一般表述是求取，使，其中是n维向量，是的可行域，是上的实值函数。凸优化问题 ...
分类：
其他好文 时间：
2017-10-29 14:31:49
阅读次数：
157
先来唠唠什么是最优化问题，就是在满足一定的约束条件下，找到一组合适参数，使得系统的某些性能指标（最优性度量）达到最值。迭代提供了一种求解最优化问题的基本思路： \[\left\{ \begin{gathered} a + b + x = 3y \hfill \\ ax - by = 1 \hfill ...
分类：
编程语言 时间：
2017-10-26 17:45:27
阅读次数：
157
梯度方向：上升的方向 梯度下降：沿着梯度的反方向下降，来最小化损失函数，也就是沿着梯度的反方向 泰勒级数：展开式通项 贝叶斯公式：后验概率=先验概率*条件概率 特征值与特征向量：特征值不同，特征向量线性无关 PCA:降维的同时尽可能的保留原始的信息 过程 1)先求解协方差矩阵 2)求解协方差矩阵的特 ...
分类：
其他好文 时间：
2017-10-22 22:13:15
阅读次数：
144
这或许是众多OIer最大的误区之一。 你会经常看到网上出现“这怎么做，这不是NP问题吗”、“这个只有搜了，这已经被证明是NP问题了”之类的话。你要知道，大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。NP问题并不是那种“只有搜才行”的问题，NPC问题才是。 ...
分类：
其他好文 时间：
2017-10-01 13:39:35
阅读次数：
198
转自http://www.cnblogs.com/ldphoebe/p/5000769.html 函数间隔的取值并不影响最优化问题的解，因为成比例的改变w和b目标函数和约束条件都不受到影响，所以我们可以让函数间隔为1. 目标函数就变为1/||w||,由于让1/||w||最大化，等价于让分母||w|| ...
分类：
其他好文 时间：
2017-09-24 23:32:53
阅读次数：
2178
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降 ...
分类：
编程语言 时间：
2017-09-22 19:04:33
阅读次数：
229
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 ...
分类：
其他好文 时间：
2017-09-16 22:05:03
阅读次数：
237
