信息论与编码 Information Theory and coding 1.简介 以概率论为基础，注重概念理解，不过分追求数学推导 信息论创始人（C.E.Shannon）香农，美国科学家，发表《通信的数学理论》 2.信息 信号 消息 通信系统中传输的是信号，信号是消息的载体，消息中的未知成分是信息 ...
分类：
其他好文 时间：
2016-05-29 06:22:50
阅读次数：
145
本文将叙述朴素贝叶斯算法的来龙去脉，从数学推导到计算演练到编程实战文章内容有借鉴网络资料、李航《统计学习方法》、吴军《数学之美》加以整理及补充基础知识补充：
1、贝叶斯理论–吴军数学之美
http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/2、条件概率
3、联合分布
朴素贝叶斯算法
朴素贝叶斯法是基于贝叶斯定...
分类：
编程语言 时间：
2016-05-12 17:52:49
阅读次数：
486
本文介绍高斯混合模型（Gaussian mixture model,简称GMM）及其推导。从数学角度来看待该模型。该模型是对单一高斯概率密度函数的扩展延伸。可以对任意形状的密度分布进行平滑的近似。其在图像处理领域，可以实现提取背景图像。...
分类：
其他好文 时间：
2016-04-29 17:17:55
阅读次数：
243
§第三部分，GMM的另一种解法
在本部分，讲义中利用简森不等式（Jensen's Inequality）来实现GMM的求解。
在开始之前，首先对该不等式进行说明。由于对数函数f(x)=ln(x)是一个凹函数，可得到下面的不等式
ln[λxi+(1-λ)x2]>=λln(x1)+(1-λ)ln(x2)
推广该式可得到简森不等式（ Jensen's Inequality）
...
分类：
其他好文 时间：
2016-04-29 16:34:01
阅读次数：
167
上篇记录了一些决策树算法，这篇是借OC-SVM填回SMO在SVM中的数学推导这个坑。 参考文献： 这里回顾了SMO求解SVM的具体数学推导。同理SMO算法也可以用来求解OC-SVM，具体的求解的数学推导以后有空再写。 ...
分类：
其他好文 时间：
2016-04-27 20:37:57
阅读次数：
305
Given a positive integer n, break it into the sum of at least two positive integers and maximize the product of those integers. Return the maximum pro ...
分类：
其他好文 时间：
2016-04-21 07:13:44
阅读次数：
256
编程很简单，关键在于数学推导。 ∵x≥y ∴1/x≤1/y ∴1/k=1/x+1/y≤2/y 即y≤2k 又易知y>k 在此范围内枚举即可。 验证时， 由1/k=1/x+1/y 得x=ky/(y-k)， 判断上式是否为整数即可。 ...
分类：
其他好文 时间：
2016-03-23 23:37:22
阅读次数：
222
一根细棒升温时会变长，在两面墙中间，会变成一个弓形。 给出变长后的长度，求新的细棒中心与没伸长时的中心的距离。 简单的数学推导后就可以二分答案了，一开始没完全掌握二分的姿势，wa了好多。而且poj double输出要用%f，用%lf就wa了。 #include <cstdio> #include <
分类：
其他好文 时间：
2016-01-31 21:19:21
阅读次数：
218
之前两篇转载的文章： 遗传算法入门到掌握（一）、遗传算法入门到掌握（二） 对遗传算法的数学推导讲解得非常详细，同时我也附带了一份遗传算法的C语言实现，这篇文章将要运用遗传算法对一个多项式求最小值，要求在(-8,8)间寻找使表达式达到最小的x，误差为0.001。但是那篇文章仅仅讲解了关于本例的遗传算法的规则，并没有详细的算法过程。这篇文章简介一下遗传算法的具体算法过程，并且用MATLAB实现遗传算法的...
分类：
编程语言 时间：
2015-12-20 19:32:38
阅读次数：
385
Logistic Regression可以说是机器学习的入门算法。不过，你真的有把握能够把LR从头到脚讲一遍吗？你会现场建模，数学推导？你知道它的正则化的作用？你能讲清楚它跟MaxEnt最大熵模型的关系吗？ok，你说这些你都会？那你知道并它的行化怎么做吗？有几种并行化的方式呢？啥？！你说你还会？大神，请受我一拜！...
分类：
其他好文 时间：
2015-12-19 18:04:09
阅读次数：
3033
