码迷,mamicode.com
首页 > 其他好文 > 详细

论文阅读5.10

时间:2020-05-10 23:32:48      阅读:109      评论:0      收藏:0      [点我收藏+]

标签:技术   nsf   fast   结构   ali   hash   ida   fas   self   

  • Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
    13年的DSSM模型,学习query到doc的相关性,用两个DNN模型将query和doc编码到相同维度的语义层,然后用cosine度量相关性。训练数据是用的点击日志,让被点击的query和doc相关性最好。为了解决字典过大的问题采用了Word Hashing 将字典缩小,这与fasttext的处理方式相似,将一个单词用其n-gram的subword表示
  • Improving Transformer Models by Reordering their Sublayers
    研究重新排列bert的selfattention层和fc的效果,提出一种三明治的模型结构
  • Deep Neural Networks for YouTube Recommendations
    youtube的经典推荐系统论文,用深度学习对推荐视频进行粗排和精排,模型很简单,但其中设计很多工程上的考虑,比如怎么service , 怎么引入视屏上线时间,如何设计loss等等,具体可以参考:https://zhuanlan.zhihu.com/p/52504407的解读
  • What is Candidate Sampling https://www.tensorflow.org/extras/candidate_sampling.pdf
    tensorflow 这篇文档总结了各种candidate sampling的技术,具体是解决softmax类别过多计算量很大的问题。之前知道的w2v中用到的负采样只是这类方法中的一个,这篇文档总结了这类方法,没有完全看懂,后面有时间再学习
  • When does data augmentation help generalization in NLP?
    作者设计了一些玩具实验去研究数据增强能否让NLP模型避免依赖弱特征而去依赖强特征
  • FastBERT: a Self-distilling BERT with Adaptive Inference Time
    一种通过自蒸馏去加速bert推断的方法。模型上每层的cls都会接一个分类器用来预测结果,训练时首先将bert训练好,然后通过最后一层cls分类器的输出分布去蒸馏其它每层的分类器。蒸馏好后在推断阶段从低到高的每层的分类器进行预测,如果某一层的输出结果比较确信(输出分布的熵比较小)则将这层输出当作最终的输出,后面几层就不用计算了,这样可以节约一定的计算量。

论文阅读5.10

标签:技术   nsf   fast   结构   ali   hash   ida   fas   self   

原文地址:https://www.cnblogs.com/kangheng/p/12784579.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!