“分布式”编译

  最近部门有一个关于代码编译效率的问题需要解决,具体背景就不方便介绍了。下面我们以一个例子说明。

   假设你是一个linux内核的开发着，据我所知2.6版本的内核代码就达260多万行（见下图）。

  假设你有一个submit，需要验证其正确性即需要将所有的代码编译一边，那么需要多少时间呢？(上学时尝试过2.6的内核，大约一个小时。这是不可想象的！！。不过话说回来现在的电脑性能提高了好多，最近给新买的电脑装Ubuntu系统，居然只使用了不到5分钟)。那么如何解决耗时问题呢？下面我们通过实例进行分析。

   代码分为cpp/c文件和h文件，其中我们把cpp/c称为一个编译单元，h文件当include后实际上只是提供一个前向声明的作用（可以使用GCC/G++ -E 通过展示预处理来观察）。下面提供一个简单的makefile展示下程序的编译过程

objects = main.o kbd.o command.o display.o
edit : $(objects)
   cc -o edit $(objects)
main.o : main.c defs.h
   cc -c main.c -o main.o
kbd.o : kbd.c defs.h command.h
   cc -c kbd.c -o kbd.o
command.o : command.c defs.h command.h
   cc -c command.c -o command.o
display.o : display.c defs.h buffer.h
.PHONY : clean
clean :
   rm edit $(objects)

  上述makefile表示我们需要产出一个名叫edit的可执行文件，其依赖 main.o kbd.o command.o display.o，如果其中有一个依赖找不着，makefile会通过缺少文件的产生规则生成该文件。例如main.o依赖main.c和defs.h, 如果main.o 不存在则会通过：cc -c main.c -o main.o（表示一个编译过程）得到，一次类推。依赖的object都存在了，则通过：cc -o edit $(objects) 链接得到可执行文件。上述makefile明确的向我们展示了程序的编译和链接过程。编译过程中我们经常发现，程序是一个增量编译过程。实际上makefile在工作时为了加快编译速度，会检测cpp/c及其依赖文件和可链接文件的时间戳，如果链接文件的时间戳比编译单元新则不会重新编译，这也就是程序增量编译的原因。（上述makefile比较简单，没有展示所有编译过程，有兴趣的可以查找资料学习下。虽说现在我们已经很少使用makefile来管理工程，但是只有了解其工作原理这样你才能完全理解一个完整编译过程～～～）。

   预处理 -----> 编译------>汇编----->链接 。

  可执行文件的产生一般经过了上面的几个过程，不过我们可以将其简化为编译和链接两个过程（makefile中已经明确了上述两个过程）。如果你需要加快可执行文件产生过程，除了一般的ccache，减少物理依赖等这种“吹毛求疵”的方法外还有没有其他方式呢？这也就是本次需要讨论的问题。
  我们明确了程序的编译主要分为编译和链接两个阶段，最为耗时的过程为编译，所以要大幅度的提高编译效率也就只能在该阶段找突破。那么我们的解决办法是什么呢？"分布式"编译即：将工程打散，将原来的串行改为并行，如下图所示：

mshot.png

  如上我们将浩大的工程拆成若该个微小的模块，使用多台机器并行编译最后再统一在中心节点机器进行链接、执行，从而成倍的减少编译耗时。工作原理比较简单，通过编写简单的Cmake文件和shell我们就实现上述思想。好了就这么多了，如果小伙伴有其它好方法可以可以一起讨论下。～～～