1. wordvec的概念 2. 语言模型训练的两种模型CBOW+skip gram 3. word2vec 优化的两种方法：层次softmax+负采样 4. gensim word2vec默认用的模型和方法 ...
分类：
其他好文 时间：
2019-07-14 19:33:18
阅读次数：
787
聚类算法： K 均值聚类（K Means） K 中心点聚类（K Meaoids） 密度聚类（Densit based Spatial Clustering of Application with Noise,DBSCAN） 系谱聚类（Hierarchical Clustering） 期望最大化聚类（ ...
分类：
编程语言 时间：
2019-07-12 12:54:03
阅读次数：
178
softmax求导 softmax层的输出为 其中，表示第L层第j个神经元的输入，表示第L层第j个神经元的输出，e表示自然常数。 现在求对的导数， 如果j=i， 1 如果ji， 2 cross-entropy求导 loss function为 对softmax层的输入求导，如下 label smoo ...
分类：
其他好文 时间：
2019-07-08 13:56:22
阅读次数：
110
在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入Wx+b映射到(0,1)区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值 这里假设在进入softmax函数之前，已经有模型输出 ...
分类：
其他好文 时间：
2019-06-22 22:28:22
阅读次数：
139
前面一篇博客讲解了softmax函数，下面讲解一下这个代码的意思： 具体的执行流程大概分为两步： 1 第一步是先对网络最后一层的输出做一个softmax，这一步通常是求取输出属于某一类的概率，对于单样本而言，输出就是一个num_classes大小的向量（[Y1，Y2,Y3...]其中Y1，Y2，Y3 ...
分类：
其他好文 时间：
2019-06-06 15:28:11
阅读次数：
130
title: why batch norm work 没太理解 title: softmax regression 多分类问题，输出层变成一个n维向量，有几个类就几维，每一个元素对应属于这个类的概率 softmax激活函数，挺简单的啊 softmax这一层，本身是划分线性边界的 title: dee ...
分类：
其他好文 时间：
2019-06-04 17:46:40
阅读次数：
113
● bagging和boosting的区别 参考回答： Bagging是从训练集中进行子抽样组成每个基模型所需要的子训练集,然后对所有基模型预测的结果进行综合操作产生最终的预测结果。 Boosting中基模型按次序进行训练,而基模型的训练集按照某种策略每次都进行一定的转化,最后以一定的方式将基分类器 ...
分类：
编程语言 时间：
2019-06-03 21:52:50
阅读次数：
156
首先Hierarchical Softmax是word2vec的一种改进方式，因为传统的word2vec需要巨大的计算量，所以该方法主要有两个改进点： 1. 对于从输入层到隐藏层的映射，没有采取神经网络的线性变换加激活函数的方法，而是采用简单的对所有输入词向量求和并取平均的方法。 比如输入的是三个4 ...
分类：
其他好文 时间：
2019-06-02 20:37:24
阅读次数：
1171
import numpy as np def softmax(x): """ 对输入x的每一行计算softmax。 该函数对于输入是向量（将向量视为单独的行）或者矩阵（M x N）均适用。 代码利用softmax函数的性质: softmax(x) = softmax(x + c) 参数: x -- ... ...
分类：
编程语言 时间：
2019-05-29 16:29:44
阅读次数：
705
