一般在神经网络中， softmax可以作为分类任务的输出层。 输出n个类别选取的概率，并且概率和为1。 i?代表的是第i个神经元的输出，zi是下面 loss function表示的是真实值与网络的估计值的误差。交叉熵的函数是这样的 yi?表示真实的分类结果。 求导。首先，我们要明确一下我们要求什么， ...
分类：
其他好文 时间：
2019-11-10 17:22:54
阅读次数：
106
记录对概念的理解，用梁山好汉做例子来检验是否理解正确。 1. 事物的信息和信息熵 a. 事物的信息(信息量越大确定性越大): 信息会改变你对事物的未知度和好奇心。信息量越大，你对事物越了解，进而你对事物的好奇心也会降低，因为你对事物的确定性越高。如果你确定一件事件的发生概率是100%，你认为这件事情 ...
分类：
其他好文 时间：
2019-11-09 12:07:05
阅读次数：
97
熵值调整 参考 ： http://ju.outofmemory.cn/entry/158367 熵值就是linux产生的系统随机数 验证文件。 tomcat 文件句柄数调整 一般优化调整的是 系统的文件句柄数 但是单个进程的是没有调整的 查看单个进程的当前打开的文件句柄 查看单个进程的，最大文件句柄 ...
分类：
其他好文 时间：
2019-10-28 14:42:43
阅读次数：
92
为了加深对卷积神经网络底层原理的理解，本文通过使用numpy来搭建一个基础的包含卷积层、池化层、全连接层和Softmax层的卷积神经网络，并选择relu作为我们的激活函数，选择多分类交叉熵损失函数，最后使用了mnist数据集进行了训练和测试。 关于卷积网络的详细原理和实现可参考下列文章： "刘建平P ...
分类：
其他好文 时间：
2019-10-24 00:16:55
阅读次数：
83
损失函数综述 https://zhuanlan.zhihu.com/p/36503849 简单的交叉熵损失函数，你真的懂了吗？ https://zhuanlan.zhihu.com/p/38241764 损失函数 - 交叉熵损失函数 https://zhuanlan.zhihu.com/p/3570 ...
分类：
其他好文 时间：
2019-10-23 18:20:47
阅读次数：
77
在数据挖掘中，无论是对数据进行分类、聚类还是异常检测、关联性分析，都建立在数据之间相似性或相异性的度量基础上。通常使用距离作为数据之间相似性或相异性的度量方法，常用的度量方法有欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、汉明距离、余弦距离、马氏距离、Jaccard系数、相关系数、信息熵。 欧... ...
分类：
其他好文 时间：
2019-10-17 11:58:52
阅读次数：
119
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 熵和信息增益# 一、熵（Entropy）熵表示`随机变量不确定性的度量`。假设离散随机变量$X$可以取到$n$个... ...
分类：
其他好文 时间：
2019-10-16 18:06:46
阅读次数：
100
2015 初赛TG 错题解析 得分:==81.5== 过失性失分：T6(1.5) 未掌握的知识点失分：T3(1.5) T12(1.5) T19(1.5) 未把已知活学活用T11(1.5) 没看懂程序 T26(8) T28 1(3) T3 1948 年，（ ）将热力学中的熵引入信息通信领域，标志着信息 ...
分类：
其他好文 时间：
2019-10-14 12:25:23
阅读次数：
167
K L 散度 K L 散度 K L 散度在信息系统中称为 相对熵 ，可以用来量化两种概率分布 P 和 Q 之间的差异，它是非对称性的度量。在概率学和统计学上，我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息量。一般 ...
分类：
其他好文 时间：
2019-10-12 01:28:07
阅读次数：
147
# 决策树,随机森林 # 决策树结构:if-then # 信息熵: # 例:第一届世界杯32支球队 每个队伍冠军概率1/32 # 可得 log32(程序员认为的log一般都默认是以2为底) = -(1/32*log(1/32)+1/32*log(1/32).....) # 2018 第21届世界杯根... ...
分类：
其他好文 时间：
2019-10-07 17:32:18
阅读次数：
110
