昨天有了如何将表达式与scope相结合的思路,今天开始实现这个思路的第一步。
如果想要编译一个表达式,其实就是实现一个简单的编译器。既然是编译器,通常就是三个步骤:
- 词法分析,将一个字符串分解成token数据结构,这也是编译过程中最基本的处理单元。
- 抽象语法树(AST),就是由很多token产生的一个树形数据结构。
- 编译,将抽象语法树(AST)转换成为目标代码,在这里就是转换成上一篇博客提到的fnA(一个接受scope对象作为参数并且返回特定属性值的函数)
思路已经明确,就从一个最简单的词法分析器开始。
jasmine测试案例:
describe('Lexer词法分析器函数',function(){
it('Lexer函数确实存在',function(){
expect(Lexer).toBeDefined();
})
it('Lexer接受一个整数的话会生成一个token',function(){
var lexer = new Lexer('21');
expect(lexer.tokens.length).toBe(1);
})
it('Lexer接受一个整数的话会生成一个token,token符合预期的数据结构',function(){
var lexer = new Lexer('21');
expect(lexer.tokens[0].text).toBe('21');
expect(lexer.tokens[0].value).toBe(21);
})
})
写定义一个Lexer函数让第一条案例通过:
function Lexer(expression){
}
我的构思是:Lexer是个对象,它的构造函数接受一个表达式字符串作为参数,同时应该有一个lex方法用来实际解析表达式字符串,还有一个tokens数组用于保存解析出来的token。写一下代码:
function Lexer(expression){
}
Lexer.prototype.lex=function(expression){
this.tokens=[];
}
lex方法的思路是,从表达式字符串的第一个字符开始逐字遍历,直到结束。遇到数字的话就进入数字解析流程,数字解析流程结束后,接着遍历接下来的字符串,并且进入相应的流程。举个例子,比如我传入的表达式字符串是“123+321”,那么lex方法从第一个字符也就是“1”开始读,发现“1”是一个数字,则进入读取数字流程,在读取数字流程中,将“123”读取完毕,跳出数字读取流程,回到lex流程,发现接下来的字符是“+”,则进入运算符读取流程,以此类推。不过今天我不打算写的过于复杂,从测试案例也能看出来,我只打算写最基本的读取数字流程。这就扩充一下代码:
function Lexer(expression){
}
Lexer.prototype.lex=function(expression){
this.tokens=[];
this.text = expression;
this.index = 0;
while (this.index<this.text.length) {
if(遇到了数字){
进入数字读取流程
}else{
throw "现在只支持数字,不支持别的字符"
}
}
return this.tokens;
}
上面这段伪代码很明显说明我的Lexer对象还需要其他的两个方法:判断一个字符是不是数字的方法,以及数字读取方法。现在写一下这两个方法。判断一个字符是不是数字的方法很简单:
Lexer.prototype.isNumber=function(char){
return '0'<=char && char <='9';
}
读取数字流程稍微复杂点:Lexer.index是一个游标,指向当前正在读取的字符,在编译原理中喜欢把这个变量称为look a head变量,我为了简便就取名为index。
数字读取流程的思路是,从当前游标指向的字符开始判断是不是数字,是的话就保存下来,不是的话就跳出循环,跳出循环后,用保存下来的数字生成一个token,并且将这个token推入Lexer的tokens数组。还拿刚才的“123+321”例子来说,数字读取流程读1,是数字,保存;再读2,是数字,拼接到刚才的1后面;再读3,是数字,拼接到刚才的12后面;再读,是个加号,不是数字,跳出数字循环,用刚才拼出来的123生成一个token数据结构:{text:'123',value:123}
然后将这个token推入Lexer.tokens数组保存。
按照这个思路写代码:
function Lexer(expression){
}
Lexer.prototype.lex=function(expression){
this.tokens=[];
this.text = expression;
this.index = 0;
while (this.index<this.text.length) {
if(this.isNumber(this.text.charAt(this.index))){
this.readNumber()
}else{
throw "现在只支持数字,不支持别的字符"
}
}
return this.tokens;
}
Lexer.prototype.isNumber=function(char){
return '0'<=char && char <='9';
}
Lexer.prototype.readNumber=function(){
var token;
var number='';
while (this.index<this.text.length) {
var currentChar = this.text.charAt(this.index);
if(this.isNumber(currentChar)){
number+=currentChar;
this.index++;
}else{
break;
}
}
token={
text:number,
value:Number(number)
}
this.tokens.push(token)
}
这样应该就基本完成了,把Lexer构造方法补全,应该就可以通过测试案例了。试试看:
function Lexer(expression){
this.lex(expression);
}
Lexer.prototype.lex=function(expression){
this.tokens=[];
this.text = expression;
this.index = 0;
while (this.index<this.text.length) {
if(this.isNumber(this.text.charAt(this.index))){
this.readNumber()
}else{
throw "现在只支持数字,不支持别的字符"
}
}
return this.tokens;
}
Lexer.prototype.isNumber=function(char){
return '0'<=char && char <='9';
}
Lexer.prototype.readNumber=function(){
var token;
var number='';
while (this.index<this.text.length) {
var currentChar = this.text.charAt(this.index);
if(this.isNumber(currentChar)){
number+=currentChar;
this.index++;
}else{
break;
}
}
token={
text:number,
value:Number(number)
}
this.tokens.push(token)
}
看一下测试案例,三个案例都SUCCESS了。美滋滋。
三个测试案例都通过了
网友评论