在阅读使用 pytorch 实现的代码时，笔者会遇到需要对某一维数据进行求和( sum )或 softmax 的操作。在 pytorch 中，上述两个方法均带有一个指定维度的 dim 参数，这里记录下 dim 参数的用法。 torch.sum 在 pytorch 中，提供 torch.sum 的两种 ...
分类：
其他好文 时间：
2020-04-15 21:03:12
阅读次数：
175
Future major versions of TensorFlow will allow gradients to flowinto the labels input on backprop by default. See @{tf.nn.softmax_cross_entropy_with_l ...
分类：
其他好文 时间：
2020-04-11 12:59:46
阅读次数：
124
Tensorflow中的交叉熵函数tensorflow中自带四种交叉熵函数，可以轻松的实现交叉熵的计算。 tf.nn.softmax_cross_entropy_with_logits() tf.nn.sparse_softmax_cross_entropy_with_logits() tf.nn. ...
分类：
其他好文 时间：
2020-04-05 15:23:50
阅读次数：
78
引自：https://blog.csdn.net/bitcarmanlee/article/details/82320853 1.softmax初探 在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化 ...
分类：
其他好文 时间：
2020-04-05 13:16:24
阅读次数：
86
简单总结一下机器学习最常见的两个函数，一个是logistic函数，另一个是softmax函数，若有不足之处，希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用，然后针对两者的联系和区别进行了总结。 1. logistic函数 1.1 logistic函数定义 ...
分类：
其他好文 时间：
2020-04-04 09:54:45
阅读次数：
61
最初目的：搞清楚网络深度与模型的识别精度和准确率之间的关系。 获得的结果：不能无限制的加深网络，在网络加深到一定层数之后就会出现训练效果褪化、梯度消逝或者梯度爆炸等问题。 主要的贡献： 1、提出用多层3 x 3的卷积层来替换大尺寸的卷积核，从而提升网络深度。 2、使用1 x 1的卷积核进行各通道的特 ...
分类：
其他好文 时间：
2020-04-01 16:25:19
阅读次数：
91
视频动作定位的分层自关注网络：ICCV2019论文解析 Hierarchical Self-Attention Network for Action Localization in Videos 论文链接： http://openaccess.thecvf.com/content_ICCV_2019 ...
分类：
其他好文 时间：
2020-03-29 19:36:43
阅读次数：
67
softmax杂谈 在多分类问题中，我们可以使用 softmax 函数，对输出的值归一化为概率值。下面举个例子： import sys sys.path.append("E:/zlab/") from plotnet import plot_net, DynamicShow num_node_lis ...
分类：
其他好文 时间：
2020-03-27 00:38:00
阅读次数：
76
本文参考原文 http://bjbsair.com/2020 03 25/tech info/6302/ 今天来看看网红Attention的效果，来自ACL的论文Hierarchical Attention Networks for Document Classification 论文概述 近年来， ...
分类：
其他好文 时间：
2020-03-26 09:13:08
阅读次数：
69
粒子群优化算法（PSO）是在1995年由Eberhart博士和Kennedy博士一起提出的，它源于对鸟群捕食行为的研究。它的基本核心是利用群体中的个体对信息的共享从而使得整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得问题的最优解。在PSO中，所有的粒子都具有一个位置向量（粒子在解 ...
分类：
其他好文 时间：
2020-03-10 20:18:24
阅读次数：
62
