Softmax原理 ___ Softmax函数用于将分类结果归一化，形成一个概率分布。作用类似于二分类中的Sigmoid函数。 对于一个k维向量z，我们想把这个结果转换为一个k个类别的概率分布 。softmax可以用于实现上述结果，具体计算公式为： $$ softmax(x_i) = \frac{e ...
分类：
编程语言 时间：
2020-05-20 12:43:34
阅读次数：
110
word2vec简介 word2vec工具主要包含两个模型：跳字模型（skip gram）和连续词袋模型（CBOW），以及两种高效训练的方法：负采样（negative sampling）和层序softmax（hierarchical softmax）。word2vec词向量可以较好地表达不同词之间的 ...
分类：
编程语言 时间：
2020-05-19 18:20:51
阅读次数：
58
深度学习调参体验（二） 1. 激活函数选择： 常用的激活函数有relu、leaky-relu、sigmoid、tanh等。对于输出层，多分类任务选用softmax输出，二分类任务选用sigmoid输出，回归任务选用线性输出。而对于中间隐层，则优先选择relu激活函数（relu激活函数可以有效的解决s ...
分类：
其他好文 时间：
2020-05-13 20:17:25
阅读次数：
64
做过多分类任务的同学一定都知道softmax函数。softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 下面为大家解释一下为什么softmax是这种形式。 首先，我们知道概率有两个性质：1 ...
分类：
其他好文 时间：
2020-05-02 10:04:13
阅读次数：
290
本文讲解 skip-gram 模型以及优化和扩展。主要包括层次 Softmax、负采样、学习短语的表示。 先提一下词向量： 词向量（也叫词嵌入，word embedding），简单地说就是用一个低维向量表示一个词。由于独热编码（one-hot encoding）存在维度灾难，即稀疏性，且无法理解词与 ...
分类：
其他好文 时间：
2020-04-30 21:26:52
阅读次数：
67
一张验证码图片直接做整体识别 也就是图片的最后输出节点有4*26=104个，经过一个softmax，使用交叉熵损失，与真实值4*26=104个标签做计算，然后反向传播 104个onehot编码真实值当中，每26个编码里会有一个正例1其余25个为零，4个26个编码里有4个值为1，其余和图片分类一样 意 ...
分类：
其他好文 时间：
2020-04-29 00:46:34
阅读次数：
108
在数学，尤其是概率论和相关领域中，归一化指数函数，或称Softmax函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数多于多分类问题中。 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-04-24 19:54:34
阅读次数：
76
我做的是一个识别验证码的深度学习模型，识别的图片如下 验证码图片识别4个数字，数字间是有顺序的，设立标签时设计了四个onehot向量链接起来，成了一个长度为40的向量，然后模型的输入也是40维向量用softmax_cross_entropy_with_logits(labels=,logits=)函 ...
分类：
其他好文 时间：
2020-04-20 16:15:30
阅读次数：
285
Data wrangling:Join,Combine,and Reshape,in Pandas Hierarchical indexing a 1 0.396969 2 0.348014 3 1.340860 b 1 0.502245 3 0.640700 c 1 0.063639 2 1.29 ...
分类：
其他好文 时间：
2020-04-19 23:46:59
阅读次数：
107
[toc] 卷积 说到卷积，就不得不提互相关$cross orrelation$。卷积实质就是一种互相关运算，只不过要在进行互相关运算前，要把$kernal$上下左右进行翻转。即$cross correlation$的计算顺序是从左到右，从上到下，而$convolution$的顺序是从右到左，从下到 ...
分类：
其他好文 时间：
2020-04-19 17:44:30
阅读次数：
256
