一直对于各种分类器评估的指标有点晕，今天决定琢磨下，并且写下来，方便以后回忆。 一、混淆矩阵 来源于信息论，根据上面的混淆矩阵，有3个指标需要搞清楚，我觉得记公式真的很容易搞混，建议大家都直接记文字加上自己理解就好了。 准确率=正确预测正负的个数/总个数（这个指标在python中的交叉验证时可以求准 ...
分类：
其他好文 时间：
2016-10-06 19:49:54
阅读次数：
155
Atitit.信息论原理概论attilax总结 1. 《信息论基础（原书第2版）》(（美）科弗（Cover...)【简介_书评_在线阅读】 - 当当图书.html1 2. 《信息论——本质·多样性·统一》(（美）布尔金...)【简介_书评_在线阅读】 - 当当图书.html2 3. 附录 信息论的数 ...
分类：
其他好文 时间：
2016-10-04 07:31:51
阅读次数：
183
Atitit 三论”（系统论、控制论、信息论 1. 系统论的创始人是美籍奥地利生物学家贝塔朗菲1 2. 信息论是由美国数学家香农创立的，2 3. 什么是控制论？ 2 1. 系统论的创始人是美籍奥地利生物学家贝塔朗菲 。系统论要求把事物当作一个整体或系统来研究，并用数学模型去描述和确定系统的结构和行为 ...
分类：
其他好文 时间：
2016-10-04 07:29:04
阅读次数：
173
一、首先考虑一个离散的随机变量x；当我们观测到这个随机变量的某一个具体值的时候，我们需要考虑这个值给予了我们多少信息，这个信息的量可以看成是在学习x的值的时候的“惊讶程度”(degree of surprise)。如果我们知道事件A一定会发生，那么我们就不会收到关于该事件的信息；如果一件相当不可能的 ...
分类：
其他好文 时间：
2016-10-03 12:35:56
阅读次数：
208
之前只知道香农于1948年发表的那篇举世瞩目的paper，《A Mathematical Theory of Communication》，过了一年拉上Warren Weaver作为共同作者出了个单行本，标题只改了一个字，《The Mathematical Theory of Communicati ...
分类：
其他好文 时间：
2016-08-29 22:21:06
阅读次数：
333
熵是信息论与编码理论的中心概念。至于条件熵以及互信息都是某种意义上的熵。对于熵的理解是最根本的。几乎所有的信息论教材无一列外的提到熵是刻画信息的多少或者不确定性的。这当然也没有什么问题，但是却立即让人如堕五里雾中，不知熵到底是什么意义。只要稍微钻一下牛角尖，刻画信息或者不确定性为什么非要用这种形式不 ...
分类：
其他好文 时间：
2016-08-24 06:31:03
阅读次数：
259
如题，作为一个自我探索者，我高中参加过noip并获得省级二等奖，大学做微电子，毕业以后做过新闻类的数据挖掘推荐。然后做了一段时间图像处理。本科学得比较好的是信号处理相关，信息论、数字信号处理、信号与系统、图像处理等信息科学。 想做什么？ 有一个是想做数据分析，然后是想做金融大数据分析。 一直想往金融 ...
分类：
其他好文 时间：
2016-08-02 21:01:32
阅读次数：
186
>信息 \( i(x)=-log(p(x)) \) 事件x不确定性的度量，不确定性越大，信息量越大 >熵 \( H(X) = \sum_x{-p(x)log(p(x))} \) 随机变量X不确定的度量，信息的期望，不确定性越大，熵越大 >条件熵 \( H(X|Y) \sum_{x,y}{-p(x,y ...
分类：
其他好文 时间：
2016-07-24 19:16:09
阅读次数：
150
分类问题损失函数的信息论解释 分类问题的优化过程是一个损失函数最小化的过程，对应的损失函数一般称为logloss，对于一个多分类问题，其在N个样本上的logloss损失函数具有以下形式： 其中，yi(n)代表第n个样本是否属于第i个类别，取值为0或1，f(x(n))i代表分类模型对于第n个样本属于第 ...
分类：
其他好文 时间：
2016-07-01 21:27:32
阅读次数：
466
