Pretext task 可以理解为是一种为达到特定训练任务而设计的间接任务。 比如，要训练一个网络来对 ImageNet 分类，可以表达为 $f_{\theta}(x): x \rightarrow y$ ，目的是获得具有语义特征提取/推理能力的 $\theta$ 。假设有另外一个任务 (Pret ...
分类：
其他好文 时间：
2021-07-19 16:35:08
阅读次数：
0
1. GoogLeNet背景 GoogLeNet和AlexNet/VGGNet这类依靠加深网络结构的深度的思想不完全一样。GoogLeNet在加深度的同时做了结构上的创新，引入了一个叫做Inception的结构来代替之前的卷积加激活的经典组件。GoogLeNet在ImageNet分类比赛上的Top- ...
分类：
Web程序 时间：
2021-05-25 17:46:30
阅读次数：
0
导言： 自2012年AlexNet在ImageNet比赛上获得冠军，卷积神经网络逐渐取代传统算法成为了处理计算机视觉任务的核心。 在这几年，研究人员从提升特征提取能力，改进回传梯度更新效果，缩短训练时间，可视化内部结构，减少网络参数量，模型轻量化, 自动设计网络结构等这些方面，对卷积神经网络的结构有 ...
分类：
其他好文 时间：
2021-03-01 12:52:23
阅读次数：
0
多机多卡训练基本原理 在工业实践中，许多较复杂的任务需要使用更强大的模型。强大模型加上海量的训练数据，经常导致模型训练耗时严重。比如在计算机视觉分类任务中，训练一个在ImageNet数据集上精度表现良好的模型，大概需要一周的时间，需要不断尝试各种优化的思路和方案。如果每次训练均要耗时1周，这会大大降 ...
分类：
其他好文 时间：
2021-02-16 11:42:40
阅读次数：
0
https://mp.weixin.qq.com/s/VyKUmG512pFJ3XTgVf4QjgBy超神经场景描述：作为最经典的数据集，ImageNet引领了计算机视觉的飞速发展。那么这个数据集建立的背后，又经历了哪些挑战，它又是如何影响了深度学习的发展，在机器学习火热的今天，又能带给我们什么样的启发？关键词：ImageNet数据集李飞飞深度学习著名的计算机科学家李飞飞，曾在多个场合说过：人工智
分类：
其他好文 时间：
2020-09-21 11:48:43
阅读次数：
32
1. 走向深度：VGGNet 随着AlexNet在2012年ImageNet大赛上大放异彩后， 卷积网络进入了飞速的发展阶段， 而2014年的ImageNet亚军结构VGGNet（Visual Geometry Group Network） 则将卷积网络进行了改良， 探索了网络深度与性能的关系， 用 ...
分类：
Web程序 时间：
2020-09-18 02:21:26
阅读次数：
54
1、激活函数的概念 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数Activation Func ...
分类：
其他好文 时间：
2020-08-10 22:07:31
阅读次数：
67
AlexNet是2012年ImageNet比赛的冠军，将卷积神经网络重新拉入大众视野；AlexNet取得较大突破（创新点）：（1）使用了relu非线性激活函数，网络训练时收敛速度更快；（2）标准归一化LRN，活跃的神经元对它周边神经元的抑制，有助于增长泛化能力；（3）Dropout函数，通过修改神经 ...
分类：
Web程序 时间：
2020-07-14 20:07:05
阅读次数：
86
熟练《机器学习实战》和《花书》中的所有知识点 熟练《剑指Offer》中的所有知识点 熟练Pytorch操作 经常参加和复现Kaggle竞赛 数据降维：复现PCA、LE、LLE、LBP 集成学习：复现Kaggle竞赛前5名 强化学习：复现Kaggle竞赛前5名 深度学习：复现ImageNet竞赛上的一 ...
分类：
其他好文 时间：
2020-07-07 10:25:01
阅读次数：
85
Kaggle上的犬种识别（ImageNet Dogs） Dog Breed Identification (ImageNet Dogs) on Kaggle 在本节中，将解决在Kaggle竞赛中的犬种识别挑战。比赛的网址是 https://www.kaggle.com/c/dog-breed-ide ...
分类：
Web程序 时间：
2020-07-01 09:51:45
阅读次数：
95
