美文网首页自制前端框架Web前端之路让前端飞
自制前端框架 Day1.实现最基础的词法分析器

自制前端框架 Day1.实现最基础的词法分析器

作者: 蚊子爸爸 | 来源:发表于2017-05-08 23:28 被阅读201次

    昨天有了如何将表达式与scope相结合的思路,今天开始实现这个思路的第一步。
    如果想要编译一个表达式,其实就是实现一个简单的编译器。既然是编译器,通常就是三个步骤:

    1. 词法分析,将一个字符串分解成token数据结构,这也是编译过程中最基本的处理单元。
    2. 抽象语法树(AST),就是由很多token产生的一个树形数据结构。
    3. 编译,将抽象语法树(AST)转换成为目标代码,在这里就是转换成上一篇博客提到的fnA(一个接受scope对象作为参数并且返回特定属性值的函数)

    思路已经明确,就从一个最简单的词法分析器开始。

    jasmine测试案例:

    describe('Lexer词法分析器函数',function(){
      it('Lexer函数确实存在',function(){
        expect(Lexer).toBeDefined();
      })
      it('Lexer接受一个整数的话会生成一个token',function(){
        var lexer = new Lexer('21');
        expect(lexer.tokens.length).toBe(1);
      })
      it('Lexer接受一个整数的话会生成一个token,token符合预期的数据结构',function(){
        var lexer = new Lexer('21');
        expect(lexer.tokens[0].text).toBe('21');
        expect(lexer.tokens[0].value).toBe(21);
      })
    })
    

    写定义一个Lexer函数让第一条案例通过:

    function Lexer(expression){
    }
    

    我的构思是:Lexer是个对象,它的构造函数接受一个表达式字符串作为参数,同时应该有一个lex方法用来实际解析表达式字符串,还有一个tokens数组用于保存解析出来的token。写一下代码:

    function Lexer(expression){
    
    }
    Lexer.prototype.lex=function(expression){
      this.tokens=[];
    
    }
    

    lex方法的思路是,从表达式字符串的第一个字符开始逐字遍历,直到结束。遇到数字的话就进入数字解析流程,数字解析流程结束后,接着遍历接下来的字符串,并且进入相应的流程。举个例子,比如我传入的表达式字符串是“123+321”,那么lex方法从第一个字符也就是“1”开始读,发现“1”是一个数字,则进入读取数字流程,在读取数字流程中,将“123”读取完毕,跳出数字读取流程,回到lex流程,发现接下来的字符是“+”,则进入运算符读取流程,以此类推。不过今天我不打算写的过于复杂,从测试案例也能看出来,我只打算写最基本的读取数字流程。这就扩充一下代码:

    function Lexer(expression){
    
    }
    Lexer.prototype.lex=function(expression){
      this.tokens=[];
      this.text = expression;
      this.index = 0;
      while (this.index<this.text.length) {
        if(遇到了数字){
            进入数字读取流程
        }else{
            throw "现在只支持数字,不支持别的字符"
        }
      }
      return this.tokens;
    }
    

    上面这段伪代码很明显说明我的Lexer对象还需要其他的两个方法:判断一个字符是不是数字的方法,以及数字读取方法。现在写一下这两个方法。判断一个字符是不是数字的方法很简单:

    Lexer.prototype.isNumber=function(char){
      return '0'<=char && char <='9';
    }
    

    读取数字流程稍微复杂点:Lexer.index是一个游标,指向当前正在读取的字符,在编译原理中喜欢把这个变量称为look a head变量,我为了简便就取名为index。
    数字读取流程的思路是,从当前游标指向的字符开始判断是不是数字,是的话就保存下来,不是的话就跳出循环,跳出循环后,用保存下来的数字生成一个token,并且将这个token推入Lexer的tokens数组。还拿刚才的“123+321”例子来说,数字读取流程读1,是数字,保存;再读2,是数字,拼接到刚才的1后面;再读3,是数字,拼接到刚才的12后面;再读,是个加号,不是数字,跳出数字循环,用刚才拼出来的123生成一个token数据结构:{text:'123',value:123} 然后将这个token推入Lexer.tokens数组保存。
    按照这个思路写代码:

    function Lexer(expression){
    
    }
    Lexer.prototype.lex=function(expression){
      this.tokens=[];
      this.text = expression;
      this.index = 0;
      while (this.index<this.text.length) {
        if(this.isNumber(this.text.charAt(this.index))){
          this.readNumber()
        }else{
          throw "现在只支持数字,不支持别的字符"
        }
      }
      return this.tokens;
    }
    Lexer.prototype.isNumber=function(char){
      return '0'<=char && char <='9';
    }
    Lexer.prototype.readNumber=function(){
      var token;
      var number='';
      while (this.index<this.text.length) {
        var currentChar = this.text.charAt(this.index);
        if(this.isNumber(currentChar)){
          number+=currentChar;
          this.index++;
        }else{
          break;
        }
      }
      token={
        text:number,
        value:Number(number)
      }
      this.tokens.push(token)
    }
    

    这样应该就基本完成了,把Lexer构造方法补全,应该就可以通过测试案例了。试试看:

    function Lexer(expression){
      this.lex(expression);
    }
    Lexer.prototype.lex=function(expression){
      this.tokens=[];
      this.text = expression;
      this.index = 0;
      while (this.index<this.text.length) {
        if(this.isNumber(this.text.charAt(this.index))){
          this.readNumber()
        }else{
          throw "现在只支持数字,不支持别的字符"
        }
      }
      return this.tokens;
    }
    Lexer.prototype.isNumber=function(char){
      return '0'<=char && char <='9';
    }
    Lexer.prototype.readNumber=function(){
      var token;
      var number='';
      while (this.index<this.text.length) {
        var currentChar = this.text.charAt(this.index);
        if(this.isNumber(currentChar)){
          number+=currentChar;
          this.index++;
        }else{
          break;
        }
      }
      token={
        text:number,
        value:Number(number)
      }
      this.tokens.push(token)
    }
    

    看一下测试案例,三个案例都SUCCESS了。美滋滋。

    三个测试案例都通过了

    相关文章

      网友评论

      • 峰决定了微博旳方向:describe 要引用什么包吗? 为什么我这直接报describe未定义?
        蚊子爸爸:describe是jasmain的语法,是前端单元测试的一个工具。如果感兴趣的话你可以看看这些测试工具,还挺方便的。
      • 与我常在Jerry:学习了,表示前端菜鸟的我,单元测试第一次听说过,不过感觉很有用:sunglasses:
        蚊子爸爸:@与我常在Jerry 我也是菜鸟,单元测试也是在这次才认真用到的,感觉很方便,如果感兴趣的话可以交流交流 :smile:
      • 三生石上绛珠草:可以可以,同道中人😂我想编译jsx,做个精简版React来着,忙的没时间。看看博主吸收点干货
        三生石上绛珠草:@蚊子爸爸 :joy: 还是我先看看你的吧哈哈哈,最近天天上班都要死了。。。
        蚊子爸爸:@三生石上绛珠草 哇,难得难得,老哥赶紧搞起来,我也可以看看你的文章学习学习。
      • 47ca7cddeccf:加油吧
        蚊子爸爸:@衣锦夜行的阿发 这种网上好像有很多很多教程啊。
        47ca7cddeccf:@蚊子爸爸 大佬有没有从HTML 到搭建一个响应式网站的干货
        蚊子爸爸:@衣锦夜行的杨公子 这几天忙死了。两三天才能抽出来一段时间写日志。哎。
      • 1b1bb725b114:加油
        蚊子爸爸:@方小新 谢谢老哥!

      本文标题:自制前端框架 Day1.实现最基础的词法分析器

      本文链接:https://www.haomeiwen.com/subject/tcivtxtx.html