前言

相信大家已经熟悉了一些jison的写法了.

这个系列将会分为三个系列

• lexer/parser
• AST
• 数据库

下面先写一点简单的'.jison'语法文件

例子

// grammar.jison



%lex

IDENTIFIER          ([a-zA-Z][a-zA-Z0-9_]*|(\`[^\`]*\`))
STRING_LITERAL      ((\"[^\"]*\")|(\'[^\']*\'))
INT_LITERAL         [+-]?[0-9]+         


%x COMMENT
%%

\s+                     /* skip whitespaces */
"--".*                  /* skip comments */
"/*"                    this.begin('comment');

SELECT                  return 'SELECT';
FROM                    return 'FROM';

{IDENTIFIER}            return 'IDENTIFIER';
{STRING_LITERAL}        return 'STRING_LITERAL';
{INT_LITERAL}           yytext = parseInt(yytext); return 'INT_LITERAL';

","                     return ',';
"*"                     return '*';
";"                     return ';';
"."                     return '.';

.                       throw new Error('Illegal token: `' + yytext + '`');




<COMMENT>"*/"                   this.begin('INITIAL');
<COMMENT>\n                     /* skip new line in comments */

/lex



%token STRING_LITERAL INT_LITERAL IDENTIFIER

%start statements
%%

statements:
    statements statement {}
    | statement {}
    ;

statement:
    select_statement ';' {}
    ;

select_statement:
    SELECT column_list_or_wild FROM table_name {} 
    ;
column_list_or_wild:
    column_list {}
    | '*' {}
    ;

table_name:
    table_name '.' IDENTIFIER {}
    | IDENTIFIER {} 
    ;


column_list:
    column_list ',' IDENTIFIER {}
    | IDENTIFIER {}
    ;

--test.sql
SELECT a,b FROM a;

SELECT * FROM `a`.`b`;

通过jison ./grammar.jison -o parser.js 来生成一个编译器前端.

现在在运行node parser.js test.sql 来看一下. 没有输出, 但说明语法通过了, 是因为我们没有做任何输出处理, 接下来我们就一段段的过刚才的代码.

分析

分词

%lex

用来标识开始lex脚本啦.

IDENTIFIER          ([a-zA-Z][a-zA-Z0-9_]*|(\`[^\`]*\`))
STRING_LITERAL      ((\"[^\"]*\")|(\'[^\']*\'))
INT_LITERAL         [+-]?[0-9]+    

知道接下来的%%之前, 都是用来设置一些option, 然后定义一些RegExp, 以免下面的token描述过于拥挤

%x COMMENT
%%

\s+                     /* skip whitespaces */
"--".*                  /* skip comments */
"/*"                    this.begin('comment');

SELECT                  return 'SELECT';
FROM                    return 'FROM';

{IDENTIFIER}            return 'IDENTIFIER';
{STRING_LITERAL}        return 'STRING_LITERAL';
{INT_LITERAL}           yytext = parseInt(yytext); return 'INT_LITERAL';

","                     return ',';
"*"                     return '*';
";"                     return ';';
"."                     return '.';

.                       throw new Error('Illegal token: `' + yytext + '`');




<COMMENT>"*/"                   this.begin('INITIAL');
<COMMENT>\n                     /* skip new line in comments */

/lex

这段定义了我们所有的token. 其中%x COMMENT表示, 初始的时候, COMMENT状态的token(<COMMENT>"*/")不会被匹配. 而默认的状态是INITIAL, 所以通过this.begin()这个API我们可以在各种定义的状态间跳转, 这样就实现了C-Style多行注释.

yytext是一个内建的宏, 表示当前token被匹配到的原文.

最后/lex告诉jison结束token的匹配

语法

接下来的代码定义了我们的token是如何组合起来的.

%token STRING_LITERAL INT_LITERAL IDENTIFIER 告诉了jison我们需要取这几个token的值(不像SELECT, 我们不需要知道它的原文是什么).

%start statements 告诉了jison我们的语法分析是从statements这里进入.

接下来的代码都是比较简单好理解的, 实现了一个最基础的select语法.

需要注意的是, 我们要处理 aaa, bbb, ccc这种形式的原文.

我们可以通过

column_list:
    column_list ',' IDENTIFIER {}
    | IDENTIFIER {}
    ;

这种方式, 来循环匹配到所有的参数.

解析的过程:

原文: aaa, bbb, ccc
aaa, bbb => column_list , ccc => IDENTIFIER
aaa => column_list, bbb => IDENTIFIER
aaa => IDENTIFIER

好了, 这样我们就有了一个最简单的select解释器. 接下来的文章我们将逐步完善实现SQL的脚本, 甚至添加一些我们自己的特性.