论文创新点： 多头注意力 transformer模型 Transformer模型 上图为模型结构，左边为encoder，右边为decoder，各有N=6个相同的堆叠。 encoder 先对inputs进行Embedding，再将位置信息编码进去（cancat方式），位置编码如下： 然后经过多头注意力 ...
分类：
其他好文 时间：
2019-11-15 12:13:50
阅读次数：
90
一、ERNIE安装配置类问题Q1：最适合ERNIE2.0的PaddlePaddle版本是？A1：PaddlePaddle版本建议升级到1.5.0及以上版本。Q2：ERNIE可以在哪些系统上使用?A2：优化后各个系统都会支持，目前建议在Linux系统使用。二、ERNIE使用类问题Q1：ERNIE目前能做哪些任务？A1：（1）基于ERNIE模型Fine-tune后，直接能做的任务如下：?词性标注任务，
分类：
其他好文 时间：
2019-11-13 19:16:00
阅读次数：
108
func HTMLMarshal(str string) (returnStr string) { bf := bytes.NewBuffer([]byte{}) jsonEncoder := json.NewEncoder(bf) jsonEncoder.SetEscapeHTML(false) ...
分类：
数据库 时间：
2019-11-12 10:54:12
阅读次数：
104
JedisCluster获取key所在的节点 2019年11月9日17:34:55 准备 引入jedis的jar包，这个jar包里面包含了JedisCluster，可以用它来操作集群。 操作 运行结果 ...
分类：
其他好文 时间：
2019-11-09 20:05:49
阅读次数：
240
视频流媒体中视频数据的传输占据了绝大部分的带宽，如何提升编码效率、减小带宽使用、提升画面质量，成为音视频开发者努力的重点。随着互联网、流媒体技术的发展，兼容支持H.264、H.265编码器（可减少计算的复杂性、提高压缩率，并降低编码时间）已经成为迫在眉睫的事。 EasyRTMP推流功能特点 无论是个 ...
分类：
移动开发 时间：
2019-11-04 15:13:40
阅读次数：
120
1什么是注意力机制？ Attention是一种用于提升Encoder + Decoder模型的效果的机制。 2.Attention Mechanism原理 要介绍Attention Mechanism结构和原理，首先需要介绍下Seq2Seq模型的结构。Seq2Seq模型，想要解决的主要问题是，如何把 ...
分类：
其他好文 时间：
2019-11-03 15:16:57
阅读次数：
149
一、BERT整体结构 BERT主要用了Transformer的Encoder，而没有用其Decoder，我想是因为BERT是一个预训练模型，只要学到其中语义关系即可，不需要去解码完成具体的任务。整体架构如下图： 多个Transformer Encoder一层一层地堆叠起来，就组装成了BERT了，在论 ...
分类：
其他好文 时间：
2019-11-03 14:43:43
阅读次数：
2446
DjangoRestFramework学习二之序列化组件、视图组件 本节目录 [TOC] 一 序列化组件 首先 按照restful规范咱们创建一些api接口，按照下面这些形式写吧： Courses GET 查看数据 返回所有数据列表[{},{},] Courses POST 添加数据 返回添加的数据 ...
分类：
其他好文 时间：
2019-10-21 10:04:46
阅读次数：
74
前面有提到 seq2seq model，我們就從這邊開始。Seq2seq model 他採用了 encoder-decoder 架構，這時候就要來點 paper 的圖啦！在以往的 language model 的作法裡，會是把一個 word 塞進 RNN 裡，那麼 RNN 就會立刻吐出一個相對應的 ... ...
分类：
其他好文 时间：
2019-10-21 00:21:52
阅读次数：
98
以spring security中的User类为例，User类中定义了UserBuilder类，同时，User也可以使用UserBuilder，方便了User对象的构建。 ...
分类：
其他好文 时间：
2019-10-16 18:04:48
阅读次数：
75
