1 定义2 直观解释信息熵用来衡量信息量的大小若不确定性越大，则信息量越大，熵越大若不确定性越小，则信息量越小，熵越小比如A班对B班，胜率一个为x，另一个为1-x则信息熵为 -(xlogx + (1-x)log(1-x))求导后容易证明x=1/2时取得最大，最大值为2也就是说两者势均力敌时，不确定性...
分类：
其他好文 时间：
2014-09-13 20:02:35
阅读次数：
245
scikit-learn 是一个python实现的免费开源的机器学习算法包，从字面意思可知，science 代表科学，kit代表工具箱，直接翻译过来就是用于机器学习的科学计算包。 安装scikit-learn有两种方式： （1）安装官方发布的包。 （2）安装第三方开发工具，里边已经包含了s...
分类：
其他好文 时间：
2014-09-12 11:53:13
阅读次数：
207
机器学习是AI领域的重要一门学科。前面我描述过，我计划从事的...
分类：
其他好文 时间：
2014-09-05 08:47:01
阅读次数：
208
最近一直在学习hadoop一直没有梳理接触到的东西，常见算法分类：推荐系统（推荐引擎）：基于用户的协同过滤算法UserCF近邻算法，容易实现基于物品的协同过滤算法ItemCF速度快，容易实现分布式计算SlopeOne算法@Deprecatedatmahout0.8KNNLinearinterpolationitem–based推荐算?.
分类：
其他好文 时间：
2014-09-03 18:29:07
阅读次数：
221
现在python火啊，每次OpenCV自带的ml模块都让我直呼坑爹，索性准备用python来做OpenCV后期的机器学习算法的处理。于是赶紧拿起这本书读读。
适合OpenCV和python都有一定基础的。。。。由于都比较熟悉这两个东西，我阅读之前比较关心的只有几个问题，具体的应用实例没有仔细看。
1.如何在python中安装opencv
2.OpenCV的Mat数据结构能否方便的转换成num...
分类：
编程语言 时间：
2014-08-30 08:46:39
阅读次数：
214
知道某个算法，和运用一个算法是两码事儿。当你训练出数据后，发觉模型有太大误差，怎么办？1）获取更多的数据。也许有用吧。2）减少特征维度。你可以自己手动选择，也可以利用诸如PCA等数学方法。3）获取更多的特征。当然这个方法很耗时，而且不一定有用。4）添加多项式特征。你在抓救命稻草么？5）构建属于你自己...
分类：
其他好文 时间：
2014-08-26 21:05:46
阅读次数：
889
在对数据进行拟合，学习模型的过程中，会出现以下情况：1）high variance, overfitting.过拟合2）high bias, underfiiting.欠拟合过拟合出现的原因1）太多的特征。2）过少的训练数据。如何解决？1）减少特征数2）模型选择算法（model selection ...
分类：
其他好文 时间：
2014-08-26 19:13:56
阅读次数：
310
1.背景 最大似然估计是概率论中常常涉及到的一种统计方法。大体的思想是，在知道概率密度f的前提下，我们进行一次采样，就可以根据f来计算这个采样实现的可能性。当然最大似然可以有很多变化，这里实现一种简单的，实际项目需要的时候可以再更改。 博主是参照wiki来学习的，地址请点击我 这里实现的是特别简单的例子如下（摘自wiki的最大似然）离散分布，离散...
分类：
编程语言 时间：
2014-08-25 11:53:54
阅读次数：
1655
在网上找到一篇好文，直接粘贴过来，加上一些补充和自己的理解，算作此文。My education in the fundamentals of machine learning has mainly come from Andrew Ng’s excellent Coursera course on ...
分类：
其他好文 时间：
2014-08-24 23:41:03
阅读次数：
518
SVM（支持向量机）是机器学习算法里用得最多的算法。SVM最常用的是用于分类，不过SVM也可以用于回归，我的实验中就是用SVM来实现SVR（支持向量回归）。对于功能这么强的算法，opencv中自然也是集成好了，我们可以直接调用。
网上讲opencv中SVM使用的文章有很多，但讲SVM参数优化的文章却很少。所以在这里不重点讲怎么使用SVM，而是谈谈怎样通过opencv自带的库优化SVM中的参数。...
分类：
其他好文 时间：
2014-08-19 10:57:54
阅读次数：
494
