导语 在NLP领域,语义相似度的计算一直是个难题:搜索场景下Query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN DSSM、LSTM DSSM等深度学习模型在计算语义相似度上的应用,希望给读者带来帮助。 ...
分类:
其他好文 时间:
2018-06-26 16:10:36
阅读次数:
334
本章介绍循环神经网络(Recurrent Neural Networks)的一些基本概念,面临的主要问题和解决方案(LSTM、GRU cells),以及如何使用TensorFlow实现RNN。最后窥探了机器翻译系统的架构。由于本章过长,分为两个部分,这是第二部分。 ...
分类:
Web程序 时间:
2018-05-26 18:51:56
阅读次数:
301
一、背景 序列问题经常存在输入与输出个数不同的问题,例如在机器翻译里面,一句话的汉语词数和英语词数并不是相同的 二、结构 将存储了整个输入序列信息的最后h,去决定输出序列中的每个元素。 相当于将输入序列先编码为最后的h,再解码为输出序列 由于这种Encoder-Decoder结构不限制输入和输出的序 ...
分类:
其他好文 时间:
2018-05-21 14:54:26
阅读次数:
182
1. 基础模型 A. Sequence to sequence model:机器翻译、语音识别。(1. Sutskever et. al., 2014. Sequence to sequence learning with neural networks. 2. Cho et. al., 2014. ...
分类:
其他好文 时间:
2018-05-20 15:23:39
阅读次数:
233
主要的应用:机器翻译,自然语言处理,文本处理,语音识别, 图像描述生成 (Generating Image Descriptions), 图像问答QA.... 循环神经网络(RNN)原理通俗解释 循环神经网络(RNN)原理通俗解释 1. RNN怎么来的? 2. RNN的网络结构及原理 3. RNN的 ...
分类:
其他好文 时间:
2018-04-26 23:26:21
阅读次数:
233
自然语言处理任务数据集 keywords: NLP, DataSet AI Challenger 英中翻译评测 适用领域:机器翻译 规模最大的口语领域英中双语对照数据集。提供了超过1000万的英中对照的句子对作为数据集合。所有双语句对经过人工检查,数据集从规模、相关度、质量上都有保障。 训练集:10 ...
分类:
编程语言 时间:
2018-04-19 23:56:50
阅读次数:
1651
大数据时代,数据对我们来说就是一笔宝贵的财富,以机器翻译来说,第一步呢需要收集目前大量的中英文翻译的原句子,而这些句子我们应该去哪里得到呢?最简单、最直接、最有效、最现成的办法就是去爬取。由于之前没有做过类似的东西,所以打算使用强悍的python辅助我。 首先选定了要爬取的网站 http://new ...
分类:
Web程序 时间:
2018-04-17 22:26:27
阅读次数:
270
《统计自然语言处理》 一些基础理论概念,涉及统计自然语言处理的基本概念、理论方法和新研究进展,内容包括形式语言与自动机及其在自然语言处理中的应用、语言模型、隐马尔可夫模型、语料库技术、汉语自动分词与词性标注、句法分析、词义消歧、篇章分析、统计机器翻译、语音翻译、文本分类、信息检索与问答系统、自动文摘 ...
分类:
其他好文 时间:
2018-04-06 19:33:58
阅读次数:
150
tags: NOIP 并查集 动态规划 搜索 categories: 信息学竞赛 总结 "机器翻译" "乌龟棋" "关押罪犯" "引水入城" 机器翻译 Solution 维护一个队列, 每次从词典中查词时将单词加入队列(代表内存), 当内存满的时候, 从队首弹出一个代表清空最早的单词. Code 引 ...
分类:
其他好文 时间:
2018-04-06 17:40:13
阅读次数:
261
下载地址:网盘下载 内容简介 · · · · · · 这本书帮助那些希望用数学工具解决实际问题的人们,仅有的要求可能就是懂一点概率知识和程序设计。而贝叶斯方法是一种常见的利用概率学知识去解决不确定性问题的数学方法,对于一个计算机专业的人士,应当熟悉其应用在诸如机器翻译,语音识别,垃圾邮件检测等常见的 ...
分类:
编程语言 时间:
2018-02-06 21:36:52
阅读次数:
253