机器学习中讲到的推荐系统（不单独写博了）： ...
分类：
编程语言 时间：
2020-05-02 19:17:29
阅读次数：
73
机器学习中的交叉熵 交叉熵的定义 概率分布p和q的交叉熵定义为： $$ {\displaystyle \mathrm {H} (p,q)=\operatorname {E} _{p}[ \log(q)]=\mathrm {H} (p)+D_{\text{KL}}(p\parallel q)} $$ ...
分类：
其他好文 时间：
2020-05-01 20:54:26
阅读次数：
97
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 极端到极致的优美 ...
分类：
其他好文 时间：
2020-05-01 10:56:46
阅读次数：
125
基本流程 决策树是通过分次判断样本属性来进行划分样本类别的机器学习模型。每个树的结点选择一个最优属性来进行样本的分流，最终将样本类别划分出来。 决策树的关键就是分流时最优属性$a$的选择。使用所谓信息增益$Gain(D,a)$来判别不同属性的划分性能，即划分前样本类别的信息熵，减去划分后样本类别的平 ...
分类：
其他好文 时间：
2020-04-30 21:26:13
阅读次数：
64
一张验证码图片直接做整体识别 也就是图片的最后输出节点有4*26=104个，经过一个softmax，使用交叉熵损失，与真实值4*26=104个标签做计算，然后反向传播 104个onehot编码真实值当中，每26个编码里会有一个正例1其余25个为零，4个26个编码里有4个值为1，其余和图片分类一样 意 ...
分类：
其他好文 时间：
2020-04-29 00:46:34
阅读次数：
108
熵的求解公式： 例题： 熵表示为消除不确定性所需要的信息量,投掷均匀正六面体骰子的熵是()比特。 参考网址：http://blog.sina.com.cn/s/blog_5ebba6660101h6ez.html ...
分类：
其他好文 时间：
2020-04-19 22:15:02
阅读次数：
142
计算14通道得脑电数据吗，将得出的样本熵插入Excel表格 a = zeros(1,14); b = a'; for i =1:14 b(i) = SampEn(d1_1(i,1:3000),2,0.2*std(d1_1(i,1:3000))); end xlswrite('C:\Users\256 ...
分类：
其他好文 时间：
2020-04-18 14:17:08
阅读次数：
314
距离有近有远，时间有长有短，温度有高有低，我们知道可以用米或者千米来度量距离，用时分秒可以来度量时间的长短，用摄氏度或者华氏度来度量温度的高低，那么我们常说这句话信息多，那句话信息少，那么信息的多少用什么度量呢？信息量！ 信息量是度量知晓一个未知事物需要查询的信息的多少，单位是比特 。比如昨天你错过 ...
分类：
其他好文 时间：
2020-04-12 14:11:48
阅读次数：
69
Tensorflow中的交叉熵函数tensorflow中自带四种交叉熵函数，可以轻松的实现交叉熵的计算。 tf.nn.softmax_cross_entropy_with_logits() tf.nn.sparse_softmax_cross_entropy_with_logits() tf.nn. ...
分类：
其他好文 时间：
2020-04-05 15:23:50
阅读次数：
78
from math import log import operator """ 函数说明：计算给定数据集的经验熵（香农熵） Parameters： dataSet：数据集 Returns： shannonEnt：经验熵 Modify： 2018-03-12 """ def calcShannonE ...
分类：
其他好文 时间：
2020-04-03 12:24:45
阅读次数：
81
