因为偶然在知乎上看到了一个关于程序编译的问题，就刚好勾起了我的兴趣。以前粗略的自学过编译原理的理论，但是太抽象，再加上没怎么接触过编译器，就都丢了。正好再重新认识下。
下图是编译的各个阶段，可以划分为编译前端和编译后端。
编译的各个阶段
主要就谈谈我对编译前端中的词法分析和语法分析的理解。
词法分析(lexical analysis): 词法分析器对源代码中逐字符的扫描，忽略空格tab换行等字符，通过NFA/DFA/正则表达式技术来将单个字符组成一个个词素(lexeme)，每个词素对应一个词法单元(token)。最终词法分析输出的是token序列，作为下一阶段语法分析的输入。
举个例子
比如源代码中有 a = b + 20;
其中字符有"a","=","b","+","20",";"，词法分析后得到的词素有"a","=","b","+","20",";"等，对应的token序列为<id, a><operator, =><id, b><operator, +><number, 20><identifer, ;>
语法分析: 就是根据一定的语法规则(文法)来对输入的词法单元(token)序列进行构造，得到语法分析树。
文法可以进行推导(自上而下构造树)和规约(自下而上构造树)。
语义分析: 就是负责对程序进行类型检查和上下文相关分析检查。检查错误。
顺便提一下，什么是终结符和非终结符?
可以根据语法规则(文法)继续推导的就是非终结符，不能根据文法继续推导的就是终结符。比如，常量，数字，关键字都是不能根据继续推导和规约的，所以是终结符，而不确定的变量是可以继续推导和规约的，所以是非终结符。个人总结，终结符是：关键字，数字，常量，通俗讲，已经明确知道其代表的含义的。比如，for循环中的，for这个单词，是关键字，已经明确知道其含义，for就是一个终结符。类似"("等，都是不可再推导分析，并且已经明确知道含义。
下面看到了几个比价好的文章。
词法分析文章
语法分析文章
语义分析的文章
可以用lex生成词法分析器，用yacc生成语法分析器，来自制解释器。
by the way，编译器前端可以看成是一个解释器，生成中间代码就可以直接执行。一般脚本语言都是解释执行，可以省去预编译的时间，但是需要一步步解释，效率低不如编译成特定机器码后执行效率高。
下面链接可以通俗易懂的显示解释执行和编译执行的区别。
Clang和LLVM
为了简化编译的难度，目前有一些与编译器相关的工具。常见的如下。
GCC : 这个最出名，是一套完整的编译工具，从源代码一直到机器码的一套完整的编译工具。支持Arm，Windows，MIPS等全平台。
LEX: 这个是生成词法分析器的工具，帮助高效的进行词法分析。
YACC: 这个是生成语法分析的工具，可以高效的进行语法分析。
Clang: 这个是编译器的前端工具，可以进行词法分析，语法分析，直到生成语法分析树。一般配合LLVM来使用。基本支持全平台。
LLVM: 狭义上讲，这个是编译器的后端工具，包括中间代码生成，代码优化，编译到目标机器的过程。一般配合Clang来使用。
GCC和Clang都是支持全平台的，但是移动设备都是采用Clang，而Clang和GCC支持的C++的标准库也有所不同，libc++和libstdc++等。
参考: GCC与Clang的异同
网友评论