1、到斯坦福官方网站http://nlp.stanford.edu/software/lex-parser.shtml下载软件包，解压。
2、在eclipse中新建一个java project，把解压得到根目录下的stanford-parser.jar和stanford-parser-3.*.*-models.jar两个包导入项目到项目引用包中，
然后把解压得到根目录下的ParserD...
分类：
其他好文 时间：
2015-01-21 22:35:37
阅读次数：
380
Lex规范的结构
lex程序由三部分组成：定义段、规则段和用户子例程序段
...定义段...
%%
...规则段...
%%
...用户子例程序段...
这些部分由以两个百分号组成的行分隔开。尽管某一部分可以为空，但前两部分是必须的，第三部分和前面的%%行可以忽略。
定义段
定义段包括文字块、定义、内部表声明、起始条件和转换。
以空白开头的行被逐字拷贝到C文件中，通常，这用于包...
分类：
其他好文 时间：
2015-01-21 16:38:03
阅读次数：
255
正则表达式语法
lex模式是由编辑程序和实用程序使用的正则表达式的扩展版本。正则表达式由常规字符（代表它们本身）和元字符（在一种模式中具有特殊含义）组成。
元字符
.
. 匹配除了换行符 \n 之外的任意单个字符
[]
[] 匹配括号中字符的任意一个。用“-”（短划线）指示字符的范围，例如[0-9]指10个数字中的任意一个。如果开括号之后的第一个字符是短划线或者闭括号，那么它就不能被解...
分类：
其他好文 时间：
2015-01-21 16:32:38
阅读次数：
124
符号表
列举单词表的方式虽然简单但是不全面，如果在词法分析程序运行时可以构建一个单词表，那么就可以在添加新的单词时不用修改词法分析程序。
下面示例便利用符号表实现，即在词法分析程序运行时从输入文件中读取声明的单词时允许动态的声明单词。声明以词性的名字开始，后面跟着要声明的单词。
添加符号表可以完全的改变词法分析程序，不必在词法分析程为每个要匹配的单词放置独立的模式，只要有一个匹配任意单词的模...
分类：
其他好文 时间：
2015-01-12 17:40:10
阅读次数：
217
本书讲述了一个真实编译器的开发过程，源语言是以C语言为蓝本，进行适当简化定义的一门新语言，称之为SC语言（即简化的C语言），目标语言是大家熟悉的Intel x86机器语言。在本书中，读者将看到从SC语言定义，到SCC编译器开发的完整过程。本书讲的SCC编译器，没有借助Lex与Yacc这些编译器自动生...
分类：
其他好文 时间：
2015-01-11 20:17:58
阅读次数：
402
Abstract
在开发程序的过程中经常会遇到文本解析的问题，例如：解析 C 语言源程序，编写
脚本引擎等等，解决这种文本解析的方法有很多，一种方法就是自己手动用 C 或者 C++直接编写解析程序，这对于简单格式的文本信息来说，不会是什么问题，但是
对于稍微复杂一点的文本信息的解析来说，手工编写解析器将会是一件漫长痛苦 而容易出错的事情。本系列文档就是专门用来由浅入深的介绍两个有名的...
分类：
其他好文 时间：
2015-01-09 10:44:11
阅读次数：
133
本文由伯乐在线-Lex Lian翻译。英文出处：Anand Krishnaswamy。欢迎加入翻译小组。Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop！实际上Hadoop被设计和建造出来，是用来解决...
分类：
其他好文 时间：
2014-12-30 11:38:07
阅读次数：
277
Lex的匹配策略：1.按最长匹配原则确定被选中的单词2.如果一个字符串能被若干正规式匹配，则先匹配排在前面的正规式。lex源程序的写法：Lex源程序必须按照Lex语言的规范来写，其核心是一组词法规则（正规式）。一般而言，一个Lex源程序分为三部分，三部分之间以符号%%分隔。 定义段%%词法规则段%%...
分类：
其他好文 时间：
2014-12-16 20:51:16
阅读次数：
293
1 // lex_analyzer.cpp : 定义控制台应用程序的入口点。 2 //词法分析器 3 /* 4 sys: 5 1-10:关键字 6 10:标识符 7 11:数字 8 //比较区 9 20: 12 23:>= 13 24:= 14 25:== 15 //运算区 16...
分类：
其他好文 时间：
2014-12-16 20:46:09
阅读次数：
192
clang/include/clang/Lex/Preprocesser.h这个文件是包含clang::Preprocesser类的定义的头文件。它是类C语言（C、C++、Object C）的预处理的头文件。也就是说，类C语言的预处理都会用到此处的代码。00082 /// \brief Context in which macro name is used.
00083 enum MacroUse...
分类：
其他好文 时间：
2014-12-01 17:39:03
阅读次数：
286
