目录 NLP基本流程 NLP应用场景 NLP技术流 一、自然语言处理的基本流程 分词 命名实体识别，主要有人名，地名，机构名等 词性标注，对分词后的词语进行语义标注 句法分析，主要是要构建语法树，标注单词，短语，句子的语法 语义分析，包括两部分：语义消歧，主要是针对多义词在文中的意思；语义角色标注，... ...
分类：
其他好文 时间：
2020-05-24 23:52:29
阅读次数：
90
一、简介 插入式注解处理器是JSR-269中定义的API，该API可以在编译期对代码中的特定注解进行处理，从而影响到前端编译器的工作过程，通过插入式注解处理器可以读取、修改、添加抽象语法树中的任意元素，这样就可以实现很多很cool的功能。 著名的Lombok就用到插入式注解处理器，它可以通过注解来实 ...
分类：
其他好文 时间：
2020-05-19 22:58:12
阅读次数：
65
最近在读一本编译相关的书《两周自制脚本语言》，书中用Java来设计一种名为Stone的脚本语言。 一、语言处理器的结构 在下图中，源代码首先将进行词法分析，由一长串字符串细分为多个更小的字符串单元。分割后的字符串称为单词（token）。之后处理器将执行语法分析处理，把单词的排列转换为抽象语法树。至此 ...
分类：
其他好文 时间：
2020-05-13 09:33:53
阅读次数：
56
一、 理解确定的自顶向下分析思想 确定的自顶向下分析方法，是从某文法的开始符号出发，考虑如何根据当前的输入符号(单词符号)唯一地确定选用哪个产生式替换相应非终结符往下推导，或如何构造一棵相应的语法树，其末端结点以从左向右的顺序连接正好为给定的输入符号串，则所给的输入符号串为该文法的句子。二、 掌握L ...
分类：
其他好文 时间：
2020-05-12 20:02:31
阅读次数：
70
1. Babel的作用是？ 很多浏览器目前还不支持ES6的代码，但是我们可以通过Babel将ES6的代码转译成ES5代码，让所有的浏览器都能理解的代码，这就是Babel的作用。2. Babel是如何工作的？ Babel的编译过程和大多数其他语言的编译器大致相同，可以分为三个阶段。1. 解析(PARS ...
分类：
Web程序 时间：
2020-04-24 00:51:41
阅读次数：
72
Spark SQL原理解析前言： "Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述" 这一次要开始真正介绍Spark解析SQL的流程，首先是从Sql Parse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。 可能有童鞋没接触过antlr4这个 ...
分类：
数据库 时间：
2020-04-23 20:59:04
阅读次数：
93
不久前，我探讨了通过操纵模型代码的Python抽象语法树（AST）来简化1 PyMC4的模型规范API 的可能性。PyMC开发人员最终并没有进一步追求这些API更改，但是直到我有机会学习有关Python AST的很多知识之后，PyMC的开发人员才继续追求这些API更改。 好奇的人问我有关AST的经验 ...
分类：
其他好文 时间：
2020-04-18 15:57:49
阅读次数：
72
不久前，我探讨了通过操纵模型代码的Python抽象语法树（AST）来简化1 PyMC4的模型规范API 的可能性。PyMC开发人员最终并没有进一步追求这些API更改，但是直到我有机会学习有关Python AST的很多知识之后，PyMC的开发人员才继续追求这些API更改。 好奇的人问我有关AST的经验 ...
分类：
其他好文 时间：
2020-04-18 15:44:09
阅读次数：
73
从源码到类文件 java文件—词法分析—tokens流--语法分析--语法树--语义分析--注解抽象语法树--字节码生成器--class文件 简单来说就是编译过程。 从类文件到虚拟机 装载：查找导入class文件 验证：文件格式、字节码验证、符号引用验证等 准备：为静态量分配内存，初始化为“默认值” ...
分类：
其他好文 时间：
2020-04-05 20:29:51
阅读次数：
72
写一些字符串 我需要写一写字符串，类似while，for，if，int等语句 ast语法树 通过字符串处理成ast语法树 把ast处理为我写的一个虚拟机的指令生成虚拟机指令文件 把ast处理成我的虚拟机的指令 写一个虚拟机读取生成的虚拟机指令 这个虚拟机的指令，类似于汇编，虚拟机读取ast生成的指令 ...
分类：
移动开发 时间：
2020-04-04 18:47:16
阅读次数：
84
