一、W2V的两种模型：CBOW和Skip-gram W2V有两种模型，分别为CBOW和skip-gram，CBOW是根据上下文$context(w)$来预测中间词$w$，而skip-gram是根据中间词$w$来预测上下文$context(w)$；他们都有3层结构——输入层，投影层，输出层。（注：无隐 ...
分类：
其他好文 时间：
2018-10-04 00:06:27
阅读次数：
334
1、MNIST数据集简介 首先通过下面两行代码获取到TensorFlow内置的MNIST数据集： MNIST数据集共有55000（mnist.train.num_examples）张用于训练的数据，对应的有55000个标签；共有10000（mnist.test.num_examples）张用于测试的 ...
分类：
其他好文 时间：
2018-10-01 16:10:18
阅读次数：
162
熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉... ...
分类：
其他好文 时间：
2018-09-27 22:53:39
阅读次数：
211
对于分类问题的神经网络最后一层的函数做如下知识点总结： sigmoid函数的定义：令p(y=1)=x，p(y=0)=1-x，f =ln( x/(1-x))，推导出x=ef/(1-ef)，即输出的是y=1的概率，这一点与softmax函数不同. 常用损失函数介绍： MSE：均方误差一遍用于回归问题的损 ...
分类：
其他好文 时间：
2018-09-27 14:21:54
阅读次数：
523
在多分类问题中，我们可以使用 softmax 函数，对输出的值归一化为概率值。下面举个例子： Press to save figure to "net.svg", to break c:\programdata\anaconda3\lib\site packages\viznet\context.p ...
分类：
其他好文 时间：
2018-09-25 19:38:37
阅读次数：
149
初学tensorflow，参考了以下几篇博客：soft模型 tensorflow构建全连接神经网络tensorflow构建卷积神经网络tensorflow构建卷积神经网络tensorflow构建CNN[待学习]全连接+各种优化[待学习]BN层[待学习]先解释以下MNIST数据集，训练数据集 ...
分类：
其他好文 时间：
2018-09-23 22:34:55
阅读次数：
299
LeNet-5是一个较简单的卷积神经网络。下图显示了其结构：输入的二维图像，先经过两次卷积层到池化层，再经过全连接层，最后使用softmax分类作为输出层。关于CNN参见：https://blog.csdn.net/qq_42570457/article/details/81458077 LeNet ...
分类：
Web程序 时间：
2018-09-16 15:32:59
阅读次数：
337
定义与概念： 定位问题与单纯的分类问题的区别，实际上是在softmax时多输出表示坐标的四个参数: (中心点bx by , 高和宽 bh bw )。 ->比较早期的做法是使用滑动窗口， 先定义窗口尺寸， 依次识别窗口是否出现目标物体， 采用01分类。 ->现在一般使用Bounding box + A ...
分类：
其他好文 时间：
2018-09-15 12:27:11
阅读次数：
389
30行代码奉上！（MNIST手写数字的识别，识别率大约在91%，简单尝试的一个程序，小玩具而已） 其中x作为输入是一个1x768的向量，然后就是经过权重和偏食，就得到10个输出，然后用softmax()进行预测值的输出。 此外y_作为真值，要用到一个占位符。 主要用到的tensorflow的函数有 ...
分类：
微信 时间：
2018-09-12 23:03:43
阅读次数：
283
神经网络与分类问题 1.多元分类 根据分类的数量确定输出节点的数量是最可能得到良好效果的方法。输出的类别表示可以使用one-hot编码。通常情况下，二分类使用Sigmoid函数，多元分类使用Softmax函数。Softmax函数不仅考虑输入的加权和，而且考虑其他输出节点的输出。正确地诠释神经网络多元 ...
分类：
其他好文 时间：
2018-09-09 14:56:37
阅读次数：
831
