maxout的拟合能力是非常强的，它可以拟合任意的的凸函数。最直观的解释就是任意的凸函数都可以由分段线性函数以任意精度拟合（学过高等数学应该能明白），而maxout又是取k个隐隐含层节点的最大值，这些”隐隐含层"节点也是线性的，所以在不同的取值范围下，最大值也可以看做是分段线性的（分段的个数与k值有 ...
分类：
其他好文 时间：
2017-08-02 19:05:13
阅读次数：
148
对于线性回归，我们不能使用相同的成本函数，因为logistic函数会导致输出波动，导致许多局部最优解。换句话说，它不是一个凸函数。 相反，我们的逻辑回归的成本函数看起来像： 当y = 1，我们得到如下图J（θ）与H(θ) 当y = 0，我们得到如下图J（θ）与H(θ) 如果我们的正确答案y是0，那么 ...
分类：
其他好文 时间：
2017-07-23 18:10:31
阅读次数：
172
可以用三分法求一个凸函数或者凹函数的最大或最小值。 主要思路是对整个区间进行三等分，切分点记为m1, m2，以凸函数为例，如果f(m1)>f(m2)，最大值一定不会在 [m2, right]，所以右界可以更新为m2，类似的，如果f(m1)<f(m2)，最大值一定不会在 [left, m1]，所以左界 ...
分类：
其他好文 时间：
2017-07-10 22:03:57
阅读次数：
133
分析：直接用二分还是会T，用更快的牛顿迭代法。把问题转化为求x^2-n=0的根，假设解为x0，当前解为x且x^2-n>0，在(x,x^2-n)处作切线，与x轴交点横坐标为新的x，然后迭代即可，比二分法快，但是貌似只能用在凹函数或凸函数上。。 java水高精度真是666。。。 ...
分类：
其他好文 时间：
2017-07-10 00:39:07
阅读次数：
241
凸函数凸函数是一个定义在某个向量空间的凸子集C（区间）上的实值函数f，而且对于凹子集C中任意两个向量。其图象呈凸状。仿射函数：affinefunction仿射函数即由1阶多项式构成的函数，一般形式为f(x)=Ax+b，这里，A是一个m×k矩阵，x是一个k向量,b是一个m向量，实际上反映了一种..
分类：
其他好文 时间：
2017-06-29 22:22:01
阅读次数：
155
线性回归的任务是对于一个输入，给出输出的实数，保证和真实输出相差越小越好。因为假设空间是线性的，所以最后的g会是直线或者平面。 通常的误差衡量方法是使用平方误差 接下来的问题是如何最小化 Ein 将Ein写成矩阵形式， 注意到Ein是w的函数，是连续的、可微的、凸函数。 对w求偏导使之为0则可以求出 ...
分类：
其他好文 时间：
2017-06-20 16:20:05
阅读次数：
132
题目链接：hdu 4355 Party All the Time 题意： 有n个人，在一个一维的坐标轴上，现在让他们聚在一起。 每个人移动一段距离会产生一个 不开心值=S3*W，现在问你最小的全部加起来的不开心值是多少。 题解： 目标函数是一个凸函数，直接上三分就行了。 1 #include<bit ...
分类：
其他好文 时间：
2017-05-28 18:55:56
阅读次数：
235
CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务，于是打算做个总结。主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记。这里只摘了部分内容做了笔记，很感谢Ryan Tibshirani在官网中所作的课程内容开源。也很感谢韩龙飞在C ...
分类：
其他好文 时间：
2017-05-20 17:19:33
阅读次数：
1286
梯度下降法在凸优化中应用很广泛。经常使用于求凸函数极值。梯度是个向量。其形式为 一般是表示函数上升最快的方向。因此。我们仅仅须要每一步往梯度方向走一小步。终于就能够到达极值点，其表现形式为： 初始点为x0。 然后往梯度的反方向移动一小步r到x1。 再次往梯度反方向移动r到x2，... ...。终于会 ...
分类：
其他好文 时间：
2017-04-27 23:20:51
阅读次数：
433
POJ2187 旋转卡壳算法如图 证明：对于直径AB 必然有某一时刻 A和B同时被卡住 所以旋转卡壳卡住的点集中必然存在直径 而卡壳过程显然是O（n）的 故可在O（n）时间内求出直径 凸包具有良好的性质 其中的点是有序的 对于某个点 从它之后的点与它的距离必然是一个单峰凸函数 根据这个性质也可以设计 ...
分类：
编程语言 时间：
2017-04-11 13:11:21
阅读次数：
214
