上次文章从广泛意义上说了结构化预测【见下文】闲聊结构化预测(structuredlearning)【这是一类问题】本文聊一下自然语言处理中的结构化预测问题。StructuredPrediction一开始还是说一下结构化预测的概念,结构化预测不是输出一个标量(回归问题)或者一个类别(分类问题),而是输出一个结构,树、图或者其它序列能够互相影响彼此。在自然语言处理中,结构化预测问题有以下几种:Sequ
分类:
编程语言 时间:
2020-11-26 14:57:35
阅读次数:
7
一、NLP的研究任务 机器翻译; 情感分析; 智能问答; 文摘生成; 文本分类:采集各种文章,进行主题分析,从而进行自动分类; 舆论分析; 知识图谱:知识点相互连接而成的语义网络。 二、基本术语 分词; 词性标注:对动词、名词、形容词等进行词性标注。eg:我/r 爱/v 北京/ns 天安门/ns; ...
分类:
其他好文 时间:
2020-06-23 01:13:11
阅读次数:
89
目录 NLP基本流程 NLP应用场景 NLP技术流 一、自然语言处理的基本流程 分词 命名实体识别,主要有人名,地名,机构名等 词性标注,对分词后的词语进行语义标注 句法分析,主要是要构建语法树,标注单词,短语,句子的语法 语义分析,包括两部分:语义消歧,主要是针对多义词在文中的意思;语义角色标注,... ...
分类:
其他好文 时间:
2020-05-24 23:52:29
阅读次数:
90
1、pyltp简介 pyltp 是哈工大自然语言工作组推出的一款基于Python 封装的自然语言处理工具(轮子),提供了分词,词性标注,命名实体识别,依存句法分析,语义角色标注的功能。 2、pyltp安装方法 安装环境:windows10,python3.6 2.1.安装pyltp库 安装方法一:使 ...
分类:
其他好文 时间:
2020-04-27 13:10:34
阅读次数:
365
参考来源:https://www.paddlepaddle.org.cn/documentation/docs/zh/user_guides/nlp_case/label_semantic_roles/README.cn.html 1.源数据介绍 自然语言分析技术大致分为三个层面:词法分析、句法分析 ...
分类:
其他好文 时间:
2020-03-30 09:35:17
阅读次数:
93
nltk.parse句法分析 1).上下文无关文法 2).递归下降解析器 3).图表分析,动态规划 from nltk.parse import * parser = CoreNLPParser(url='http://localhost:9966') tokens = 'Rami Eid is s ...
分类:
其他好文 时间:
2020-03-16 09:22:31
阅读次数:
72
命名实体识别 命名实体识别(Named Entity Recognition,简称NER),又称作“专名识别”,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。 命名实体识别是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基 ...
分类:
其他好文 时间:
2019-10-06 16:24:40
阅读次数:
156
完整代码实现放在我的github上: "click me" 一、任务要求 实现一个基于简单英语语法的chart句法分析器。 二、技术路线 采用自底向上的句法分析方法,简单的自底向上句法分析效率不高,常常会 ...
分类:
其他好文 时间:
2019-04-24 23:39:30
阅读次数:
307
pyltp的简介 语言技术平台(LTP)经过哈工大社会计算与信息检索研究中心 11 年的持续研发和推广, 是国内外最具影响力的中文处理基础平台。它提供的功能包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等。 pyltp 是 LTP 的 ...
分类:
其他好文 时间:
2019-01-31 19:14:54
阅读次数:
1077
主要是记录一些我认为比较有代表性的知识点~ 1.自然语言处理解决问题的方法经历了从规则(句法分析:主谓宾动名形容词)到统计的转变。 2.N元模型:P(s)=P(w1,w2,...wn)句子s出现的概率由其中的词出现的概率计算,基于马尔科夫假设(任意一个词wi出现的概率只同它前面的词Wi-1有关),该 ...
分类:
其他好文 时间:
2018-12-03 15:34:19
阅读次数:
172