其实，bip39之前有过一些了解，但是都没有过深入的探索，最近具体学习下，顺便记录下： 1.首先，随机生成一个长度为32倍数的128-256位的二进制类型，我们把它称之为熵； 2.对这个生成的熵做sha256计算，取结果的前8位；（这里说明下，虽然取了8位，但是不一定全部用上，具体使用的位数计算：n ...
分类：
其他好文 时间：
2020-04-02 18:04:01
阅读次数：
338
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设X的信息量为：I(x0)=?log(p(x0))时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。举个例子，小明平时不爱学习，考试经常不及格， ...
分类：
其他好文 时间：
2020-03-31 14:11:35
阅读次数：
89
概率：由于所知条件不足，不能给出确定的结果，依据可能结果的比例给出的占比。 不确定性：因为概率不能达到1或者0，主观意识不能对事物之后的行为做出判断。 信息：本身具有负熵，是从一个主观意识发出，赋予到其他事物上，降低了目标事物对这个主观意识的不确定性（熵）。 ...
分类：
其他好文 时间：
2020-03-15 20:41:57
阅读次数：
62
要对数据进行分类，涉及到通过选取什么样的特征对数据进行分类，比如将柚子和西瓜进行分类，可以选取（大小、颜色、甜度等特征） 决策树的功能就是判断使用哪个特征，然后选取他认为最好的特征对数据进行分类。 那么他是如何选取最好的特征呢？ 就是通过信息熵来选取特征，求以每个特征来分类对应的信息熵（香农商），选 ...
分类：
其他好文 时间：
2020-03-15 14:56:18
阅读次数：
95
1 列出几种文本特征提取算法 答：文档频率、信息增益、互信息、X^2统计、TF-IDF (引用自:https://www.cnblogs.com/jiashun/p/CrossEntropyLoss.html) 信息: 由于概率I 是一个）0至1的值，所以当事件发生的概率越大时，信息量越小。 相对熵 ...
分类：
编程语言 时间：
2020-03-14 18:22:39
阅读次数：
77
互信息指的是两个随机变量之间的关联程度，即给定一个随机变量后，另一个随机变量不确定性的削弱程度，因而互信息取值最小为0，意味着给定一个随机变量对确定一另一个随机变量没有关系，最大取值为随机变量的熵，意味着给定一个随机变量，能完全消除另一个随机变量的不确定性。 互信息(Mutual Informati ...
分类：
其他好文 时间：
2020-03-14 16:47:32
阅读次数：
118
1. 信息熵 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。信息量是对信息的度量，就跟时间的度量是秒一样，当我们考虑一个离散的随机变量 x 的时候，当我们观察到的这个变量的一个具体值的时 ...
分类：
其他好文 时间：
2020-03-12 14:25:08
阅读次数：
88
softmax 使用softmax的原因 以概率占比得到预测标签 标签值为离散值，离散值与输出值之间的误差无法界定 softmax的实现（指数实现） 分类的时候以概率值最高的序号(argmax)作为y_hat 损失函数（交叉熵损失函数） 交叉熵应用于分类的解析： 假设有q类，标签label为离散值k ...
分类：
其他好文 时间：
2020-03-04 17:31:10
阅读次数：
69
直接给代码 1 # -*- coding: UTF-8 -*- 2 from math import log 3 import operator 4 5 """ 6 函数说明:计算给定数据集的经验熵(香农熵) 7 8 Parameters: 9 dataSet - 数据集 10 Returns: 1 ...
分类：
其他好文 时间：
2020-03-03 18:55:57
阅读次数：
69
1、信息量 “陈羽凡吸毒？！工作室不是刚辟谣了吗？哇！信息量好大！” 在生活中，极少发生的事情最容易引起吃瓜群众的关注。而经常发生的事情则不会引起注意，比如吃瓜群众从来不会去关系明天太阳会不会东边升起。 信息量的多少与事件发生概率的大小成反比。 对于已发生的事件i，其所提供的信息量为： 其中底数通常 ...
分类：
其他好文 时间：
2020-02-28 21:01:26
阅读次数：
54
