import tensorflow as tf # 1. sparse_softmax_cross_entropy_with_logits样例。 # 假设词汇表的大小为3， 语料包含两个单词"2 0" word_labels = tf.constant([2, 0]) # 假设模型对两个单词预测时，... ...
分类：
编程语言 时间：
2019-12-19 16:16:25
阅读次数：
116
先说一下，ML小白。 这是第一次写个人博客类似东西， 主要来说说看 sigmoid 函数，sigmoid函数是机器学习中的一个比较常用的函数，与之类似的还有softplus和softmax等函数，这里也就不说，先来看看sigmoid函数的表达式的和图像 sigmoid函数表达式如下 这就是sigmo ...
分类：
其他好文 时间：
2019-12-17 15:08:32
阅读次数：
76
[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 交叉熵损失与均方误差损失 常规分类网络最后的softmax层如下图所示，传统机器学习方法以此类比， 一共有$K$类，令网络的输出为$[\hat{y}_1,\dots, \hat{y}_K]$，对应每个类别的概 ...
分类：
其他好文 时间：
2019-12-13 00:02:56
阅读次数：
258
1. Sigmod 函数 1.1 函数性质以及优点 其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线（S型曲线）。 其中z是一个线性组合，比如z可以等于：b + w1*x1 + w2*x2。通过代入很大的正数或很小的负数到g(z)函数中可知，其结果趋 ...
分类：
其他好文 时间：
2019-12-09 13:51:04
阅读次数：
564
在许多应用中，数据可能分散在许多文件或数据库中，存储的形式也不利于分析。本部分关注可以聚合、合并、重塑数据的方法。 1、层次化索引 层次化索引（hierarchical indexing）是pandas的一项重要功能，它使你能在一个轴上拥有多个（两个以上）索引级别。抽象点说，它使你能以低纬度形式处理 ...
分类：
编程语言 时间：
2019-12-08 10:55:48
阅读次数：
97
https://www.cnblogs.com/zhanlang96/p/4793511.html 人工智能遵循着：感知->思考->行动决策方法：有限状态机（Finite-State Machines），分层状态机（Hierarchical Finite-State Machines），行为树（Be ...
分类：
其他好文 时间：
2019-11-27 16:10:21
阅读次数：
76
处理文本 长距离依赖关系 处理变长输入序列 原理 展开之后是一个$T$层的前馈神经网络 计算公式 $$net_t = Ux_t + Wh_{t 1}$$ $$h_t = f(net_t)$$ $$y = g(Vh_T)$$ $f$为激活函数，$g$为最后的分类函数(如Softmax) $U$为输入层 ...
分类：
其他好文 时间：
2019-11-24 17:17:35
阅读次数：
71
很好的一篇文章，不愧是reid大组中山大学Weishi-Zheng老师的工作 文章的基本出发点很有意思：用source domain的feature做作为参考，衡量target domain images是否相似，从而构成正负样本进行contrasive learning和domain adapti ...
分类：
其他好文 时间：
2019-11-23 21:57:49
阅读次数：
197
word2vec作为神经概率语言模型的输入，其本身其实是神经概率模型的副产品，是为了通过神经网络学习某个语言模型而产生的中间结果。具体来说，“某个语言模型”指的是“CBOW”和“Skip-gram”。具体学习过程会用到两个降低复杂度的近似方法——Hierarchical Softmax或Negati ...
分类：
其他好文 时间：
2019-11-17 12:53:08
阅读次数：
117
一般在神经网络中， softmax可以作为分类任务的输出层。 输出n个类别选取的概率，并且概率和为1。 i?代表的是第i个神经元的输出，zi是下面 loss function表示的是真实值与网络的估计值的误差。交叉熵的函数是这样的 yi?表示真实的分类结果。 求导。首先，我们要明确一下我们要求什么， ...
分类：
其他好文 时间：
2019-11-10 17:22:54
阅读次数：
106
