最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 考虑超定方程组（ ...
分类：
其他好文 时间：
2019-11-24 21:05:28
阅读次数：
64
凸优化问题 以逻辑回归为例，$Y={1, 1}$,假设模型参数为$\theta$，则逻辑回归问题的优化目标为 $$\begin{aligned} \mathop{\min}_{\theta}L(\theta) = \sum \limits_{i=1}^n \log (1 + \exp( y_i \t ...
分类：
其他好文 时间：
2019-11-24 16:04:17
阅读次数：
66
优化目标函数：$L(\theta) = \mathbb{E}_{(x,y) \sim p_{data}} L(f(x, \theta), y)$ 找到平均损失最小的模型参数，也就是求解优化问题：$\theta^{ } = \mathop{\arg \min} L(\theta)$ 经典梯度下降 采用 ...
分类：
其他好文 时间：
2019-11-24 15:54:13
阅读次数：
86
无约束优化算法 假设求解$\min L(\theta)$，$L(\cdot)$光滑 直接法 两个条件 函数是凸函数 一阶导数为零等式有闭式解 迭代法 假设优化问题为$\begin{aligned} \delta_t = \mathop{\arg \min}_{\delta} L(\theta_t+\ ...
分类：
编程语言 时间：
2019-11-24 15:44:26
阅读次数：
102
逻辑回归 sigmoid函数=$\sigma(x)=\frac{1}{1+e^{ x}}=\frac{e^{x}}{1+e^{x}}$ 二项逻辑回归模型 有如下条件概率分布，$w$内已经包含了偏置$b$： $$P(Y=1|x)=\frac{\exp(w\cdot x)}{1+\exp(w\cdot ...
分类：
其他好文 时间：
2019-11-24 15:30:55
阅读次数：
75
在上一篇文章中，我们得到的轨迹并不是很好，与路径差别有点大，我们期望规划出的轨迹跟路径大致重合，而且不希望有打结的现象，而且希望轨迹中的速度和加速度不超过最大限幅值。为了解决这些问题有两种思路： 思路一：把这些”期望“加入到优化问题中。 思路二：调整时间分配，来避免这些问题。1.corridor1. ...
分类：
其他好文 时间：
2019-11-20 19:21:04
阅读次数：
57
关于爆搜 ? ~~(这还用说,讲者太菜了)~~ ? 爆搜通常是没有思路时一个 ~~优秀~~ 玄学的解题方法,但同样是搜索,我们所的分数却相差甚远,即搜索的优化问题; 前言 ? 这是很基础的东西,这里只作为回顾. ? 讲着实力不足,请不要D讲者; BFS ? BFS,广度优先搜索,用于逐层拓展的工具, ...
分类：
其他好文 时间：
2019-11-12 16:08:31
阅读次数：
141
你还在为思路正确却TLE而烦恼吗？ ~~我也没办法，谁让你是一枚蒟蒻呢~~ 今天，本人给~~被TLE折磨的死去活来的~~各位介绍一个专治TLE的法宝: 此乃江湖一直流传着的 输入输出优化！！！ 输入优化函数： 注意！使用getchar()和putchar()要加头文件cstdio 什么？你问我如果还 ...
分类：
其他好文 时间：
2019-11-04 15:55:25
阅读次数：
82
一、基本思想 与分治法相似，基本思想，将求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解。 但是它们也有很大的不同之处，即适用于用动态规划法求解的问题，经分解得到的子问题往往不是互相独立的。 二、设计步骤 动态规划法适用于最优化问题，通常可按以下4个步骤设计： 1）找出最 ...
分类：
编程语言 时间：
2019-11-04 13:11:10
阅读次数：
90
一、动态规划 动态规划的实质是分治法和解决冗余。所以，动态规划就是将原问题分解成规模更小的子问题，且原问题的最优解与子问题的最优解相关。动态规划将问题实例分解为更小的/相似的子问题，并存储子问题的解，使得每个子问题只求解一次，最终获得原问题的答案，以解决最优化问题。 二、编程 1、单调递增最长子序列 ...
分类：
其他好文 时间：
2019-11-03 15:05:01
阅读次数：
84
