基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，每一层的神经元构成一个激活函数阵列（即非线性映射），信号便从输入层开始反复的重复这两个过程直到输出层，也就是已经在
分类：
其他好文 时间：
2020-12-29 11:49:23
阅读次数：
0
在线性代数（一）中，小夕主要讲解了映射与矩阵的关系；在线性代数（二）中，小夕讲解了映射视角下的特征值与特征向量的物理意义。本文与下一篇会较为透彻的解析一下向量的二范数与一范数，他们在机器学习任务中是最常用，有时甚至是核心的东西哦。首先，来一个俗俗的开篇。向量x的p范数表示如下：由此，p=1、p=2就分别代表1范数和2范数。本文只看p=2的情况。二范数相信大家在大一学线性代数的时候就已经被灌输了“用
分类：
其他好文 时间：
2020-12-29 11:49:08
阅读次数：
0
开篇高能预警！本文前置知识：1、理解特征函数/能量函数、配分函数的概念及其无向图表示，见《逻辑回归到受限玻尔兹曼机》和《解开玻尔兹曼机的封印》；2、理解特征函数形式的逻辑回归模型，见《逻辑回归到最大熵模型》。从逻辑回归出发，我们已经经过了朴素贝叶斯、浅层神经网络、最大熵等分类模型。显然，分类模型是不考虑时间的，仅仅计算当前的一堆特征对应的类别。因此，分类模型是“点状”的模型。想一下，如果我们有一个
分类：
其他好文 时间：
2020-12-29 11:48:54
阅读次数：
0
0.导语词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。本篇文章讲解词嵌入基础和Word2vec。本文作者：jalammar（https://jalammar.github.io）翻译：黄海广（https://github.com/fengdu78）本文代码
分类：
其他好文 时间：
2020-12-29 11:47:49
阅读次数：
0
Redis内部是怎么存储的？ 众所周知，Redis是以键值对的方式进行存储。那么其内部具体是怎么做的呢？又是如何实现支持多种数据类型的呢？我将从Redis的数据模型入手，跟大家一起探究一二 Redis存储结构是什么？ Redis以键值对存储信息，每个键值对都维护了一个dictEntry，其源码如下： ...
分类：
其他好文 时间：
2020-12-29 11:39:54
阅读次数：
0
计算机图形学 Computer Graphics，CG； 计算机图像处理 DigitalImage Processing，IP；计算机视觉 Computer Vision，CV CG：三维模型->绘制->二维图像 IP：二维图像-> 分析处理->得到其他信息或生成某种特效 CV：二维图像-> 分析处 ...
分类：
其他好文 时间：
2020-12-29 11:12:55
阅读次数：
0
又是一年一度的ACL，之前通过卖萌屋Arxiv服务已经零零碎碎看了一些，还是准备刷一下论文list，看看哪篇能让我的模型效果一飞冲天。中奖论文list：https://acl2020.org/program/accepted刷呀刷呀，不是XXBERT:XXX，就是AXX-basedXXforXX，果然NLP人的世界还是那么枯燥无味。突然，一个标题吸引了我：TwoBirds,OneStone:ASi
分类：
其他好文 时间：
2020-12-29 11:10:27
阅读次数：
0
关注小夕并星标，解锁自然语言处理搜索、推荐与算法岗求职秘籍导读作为NLP近两年来的当红炸子鸡，以ELMo/BERT为代表的语言预训练技术相信大家已经很熟悉了。简单回顾下18年以来几个预训练的重要工作:ELMo,GPTandBERTELMo首先提出了基于语言模型的预训练技术，成功验证了在大规模语料上基于语言模型进行文本自监督学习的有效性。GPT提出了NLP预训练技术使用时应该像CV预训练技术一样，在
分类：
Web程序 时间：
2020-12-29 11:05:29
阅读次数：
0
前言今天要与大家分享的是AllenAI今年发表的最新工作，Longformer——一种可高效处理长文本的升级版Transformer。作者团队提供了开源代码，大家可快速复现，直接用于自己的任务。传统Tranformer-based模型在处理长文本时有着天然的劣势。因为传统模型采用的是“全连接”型的attention机制，即每一个token都要与其他所有token进行交互。其attention复杂度
分类：
其他好文 时间：
2020-12-29 11:04:31
阅读次数：
0
ThinkPHP5 如何使查询返回数组格式 参考资料： 93dd大智若愚的文章《thinkphp5数据集和模型关系的理解》 总结： 情况一：当不调用模型时： 第一步：配置数据库全局配置文件database.php配置文件返回数据类型： 'resultset_type' => 'array', //a ...
分类：
编程语言 时间：
2020-12-28 11:34:35
阅读次数：
0
