分词：
① 单字切分
把一段文字按照每个字去建立索引。
如切分“我爱中华”，就会切成“我”，“爱”，“中”，“华”。这种分词法效率低，但也能解决一些问题。
② 二分法
二分法就是把一段文字的每两个相邻的字算作一个词。
如果用来切分“我爱中华”，就会切成“我爱”，“爱中”，“中华”。这种分词效率低，但比单字切分好得多。
③ 词典法
词典法就是建立一个词典文件，然后使...
分类：
Web程序 时间：
2015-03-06 17:07:51
阅读次数：
140
JS代码在运行时，先进行词法分析，然后在运行执行代码词法分析1,先生成AcitiveObject对象，简称AO{}；2,对参数进行分析，2.1将参数值转化为AO的属性，且值为undefined；2.2如果有形参传递，则把该AO属性的值换成形参的值。3，对用var声明的变量分析Ⅰ，如果AO对象里有该属性，..
分类：
Web程序 时间：
2015-03-05 07:03:38
阅读次数：
452
这里不想讲什么是V8，请自行百度。自己搞webkit，故以后的V8学习研究都是基于webkit与V8的结合（目前没有研究blink，仅仅是把webkit官方的JavaScriptCore引擎换作了V8），不是纯粹的V8。
这里仅介绍从webcore的入口处
1.先从webcore的js入口说起，在html词法解析的时候，有一个这个函数：
bool HTMLDocumentParser::ca...
分类：
Web程序 时间：
2015-03-02 21:02:17
阅读次数：
149
从今天这一篇起，我们就来正式揭开编译器的奥秘。首先我们接触到的模块是词法分析器，也叫词法扫描器，代码里我常常叫它Scanner。昨天我稍微解释了一下为什么需要将词法分析单独分离出来，今天来回顾一下这个问题。请看下面这段C#代码： string str = "Hello World";即使没有语法高亮...
分类：
编程语言 时间：
2015-03-01 11:54:30
阅读次数：
132
稍微说明一点，整型常量和上面的标识符的词法，在调用lex.DefineToken时都多传了一个参数。这个参数是可选的描述信息，如果不传会直接使用正则表达式的字符串形式。而标识符的正则表达式有4万多个字符那么长而且没有可读性，所以加一个额外字符串描述一下。它将来会被用于生成编译错误信息。最后我们来写空...
分类：
编程语言 时间：
2015-03-01 11:48:54
阅读次数：
223
上回我们介绍了两种有穷自动机模型——确定性有穷自动机DFA和非确定性有穷自动机，以及从正则表达式经过NFA最终转化为DFA的算法。有些同学表示还是难以理解NFA到底怎么转化为DFA。所以本篇开头时我想再多举一个例子，看看NFA转化为DFA之后到底是什么样。首先我们看下面的NFA，它是从一组词法分析所...
分类：
其他好文 时间：
2015-03-01 11:46:37
阅读次数：
242
atitit..sql update语法的词法分析，与语法ast构建
1. 要使用sql udpate语法的dsl ，需要写个解释器。。 1
2. 词法分析的实现 1
2.1. 扫描器的实现 SqlUpExpTokener 1
2.2. 等号操作符的转态 EqxState 2
2.3. 单引号的转态 SingleQuoeState 3
2.4. 逗号操作的转态 CommaStat...
分类：
数据库 时间：
2015-02-18 01:00:20
阅读次数：
331
js-闭包（权威指南版）博客分类：Web前端-JS语言核心JavaScript作者：zccst Js代码 //1,闭包是词法作用域（作用域在定义时决定，不是在调用时决定）varscope="globalscope";functioncheckscope(){varscope="localscope"...
分类：
Web程序 时间：
2015-02-13 11:23:25
阅读次数：
215
范围声明和全局声明类似，词法范围声明也是在编译时起作用的。和全局声明不同的是，词法范围声明的作用范围是从声明开始到闭合范围的最里层（块，文件，或者 eval--以先到者为准）。这也是为什么我们称它为词法范围，尽管"文本范围"可能更准确些，因为词法范围这个词实在和词法没什么关系。但是全世界的计算机科学...
分类：
其他好文 时间：
2015-02-11 23:14:02
阅读次数：
313
定义一个函数
在JavaScript中，可以通过“函数声明”和“函数表达式”来定义一个函数，比如
1、通过“函数声明”来定义一个函数
function t1(){}
2、通过“函数表达式”来定义一个函数
t2 = function(){}
但是两种方式定义函数，效果是不同的
t1是函数声明，‘词法分析’时，AO.t1 = function(){},-...
分类：
编程语言 时间：
2015-02-11 10:57:02
阅读次数：
198
