插件化-Apk编译过程概述
0x00
大致的看了一下目前插件化的开源实现，或多或少都会对Apk的编译过程做出改动，因此尝试分析了一下Apk的打包过程。一个Apk文件实际上就是一个zip压缩包，我们把一个Apk解压后，里面的内容类似下图。
里面每个文件是什么含义，我们待会再看。那么，如何生成一个Apk文件呢？通常情况下，我们使用一些构建工具来编译我们的工程，例如古老的Ant，maven，我们正在使用的gradle，以及更加黑科技的buck等，但是，这些构建工具并不直接作用于编译过程，打开sdk中的build-tools目录，如下
这些就是google为我们提供的工具，通过它们，我们得以将代码编译成Apk，构建工具只是这些的工具的封装。
0x01 HelloWorld
下面我们来尝试手动编译一个最简单的Apk。开始之前，先简单介绍一下我们要使用的工具。
- aapt[Android Asset Packaging Tool]这个工具主要帮助我们处理资源文件，以及创建，更新，查看一个Apk文件。
- dx，这个工具帮助我们把.class文件转换成一个dex文件，dex[Dalvik Executable]文件就是Dalvik虚拟机的可执行文件，这个文件的具体格式稍后会做简单的介绍。
- zipalign，这个工具用来优化我们生成的apk文件，它将资源文件进行4字节对齐，当资源文件映射进内存时，对齐到4字节边界可以加快资源文件的访问速度。
还有两个我们使用的工具并没有出现这里，而是存在于JDK中。
- javac,很常用的工具，用来将java源码文件编译成字节码文件
- keytool，创建签名的工具
- jarsigner，用来对生成的apk进行签名的工具
下面我们来开始编译helloWorld，首先我们编写了一个最简单的Apk。
这个工程只有一个Activity,并且不依赖任何库。
Step 1: 生成R.java文件
R.java是我们访问资源的必需品，R文件是一个普通的类，其中根据资源的类型有不同的静态内部类，每个静态内部类中的静态常量分别定义一条资源标示符，这个类并不是我们编写的而是由aapt工具生成的。
在工程的根目录，执行：
aapt package \ #打包资源文件
-f \ #强制覆盖已有文件
-m \ #使R文件在-J参数指定的位置生成
-S res \ #资源目录
-J gen \ #R.java的位置
-I $ANDROID_HOME/platforms/android-23/android.jar \ #base-package
-M AndroidManifest.xml #清单文件的路径
Step 2: 编译代码
生成后的文件存放在gen目录下，有了R.java 我们就可以使用javac来编译我们的代码了，继续执行：
javac -classpath \ #添加依赖包，多个jar包用:分割
$ANDROID_HOME/platforms/android-23/android.jar \ #sdk-23
-source 1.7 -target 1.7 \ #指明源码版本和字节码版本
-d ./build \ #编译后的class文件的路径
./java/com/haizhi/oa/buildtest/*.java \ #源码1，这是我们写的Activity
./gen/com/haizhi/oa/buildtest/R.java #源码2，R.java
Step 3: 编译为dex文件
在上一步中，我们将代码编译成了字节码，但是dalvik并不能直接执行字节码，需要进一步的将class文件编译成dex文件，这个过程是通过dx这个工具实现的，在build目录下，我们继续执行：
dx --dex --output=classes.dex . #指定输出为classes.dex 输入为当前目录
至此，我们已经获得了生成一个Apk需要的所有东西。
Step 4: 打包所有的资源文件
在工程的根目录，执行：
aapt package \
-f \
-S res \
-I $ANDROID_HOME/platforms/android-23/android.jar \
-M AndroidManifest.xml \
-F test.apk.u #生成apk文件
此时，我们已经获得了一个apk文件，下面我们要对它签名，首先需要使用keytool工具生成一个签名文件，这个步骤可以自行百度。
Step 5: 将classes.dex文件加入apk中
aapt add -f test.apk.u classes.dex
Step 6: 签名，对齐
在工程的根目录，执行：
签名：
jarsigner -storepass **密*码** -keystore ../chenlong.keystore test.apk.u chenlong
对齐：
zipalign 4 test.apk.u test.apk
经过上述5个步骤，我们生成了一个apk，下面安装到模拟器上执行一下，如图：
以上，就是一个最简单的Apk的编译过程，其中Apk最重要的两个部分，资源和代码被编译成了resources.arsc+res以及dex文件。res是实际的资源，resources.arsc则是一个索引，AssetManager通过这个索引获取资源的实际内容，这其中的过程比较复杂，暂时还没有太多的分析，至于dex文件，倒是可以啰嗦两句。
我们知道，java源码文件编译后生成了字节码文件，然后被jvm执行，字节码文件中有一个非常重要的区域是常量池，编译的过程中，字节码文件并不会保存方法和字段的最终内存布局信息，也就是说，方法和字段并不像C/C++那样被编译成地址，jvm在加载Class文件的时候，需要从常量池获取对应的符号引用，再在类创建时或运行时解析并翻译到具体的内存地址中【参考：深入理解Java虚拟机-JVM高级特性与最佳实践】。一个字节码文件中，除了方法体中的内容被编译为字节码指令外，大部分的信息都保存在常量池中，通过索引来访问，包括类的名称，类的字段，类的继承关系，类中方法的定义等。
那么，dex文件和class文件有什么区别呢？
首先，dalvik虚拟机的字节码指令是16位，而jvm是8位，因此，java 字节码被转换成dex 字节码；其次，dex文件将多个class文件合并成一个，合并了这些class文件的常量池，并作出了其他的优化，让dex文件执行的更快，更节省内存。对于dex文件的详细格式，可以参考 dex-format，我尝试了一下直接阅读dex文件，讲真，不是很好读。。下图是我们刚刚编译出的dex文件的16进制格式，加了一些简单的标注和分块，一共3012个字节。
0x02 进阶-编译一个带依赖的工程
在实际的编码过程中，我们往往会去依赖一些子工程，子工程有两种，一种是java工程，一种是Android Lib工程。java工程中不包含资源文件，编译后的输出是jar包，而Android Lib工程包含资源文件，编译后的输出为aar文件。
对于jar包，我们只需要在编译apk的java代码时，将jar包加入classpath，然后在编译dex文件时，将jar包一起编译进去就可以了，但是对于aar文件，就稍微有点复杂了。
首先，我们还是创建一个工程，如图：
这个工程依赖了design包，v7包中的appcompat，同时，上述这些包又依赖了v4包，，recyclerview，support-vector-drawable，animated-vector-drawable，support-annotations。
上述这些依赖都是Android Lib工程，因此我们需要处理依赖包中的资源。首先，我们需要这些依赖的aar文件作为输入，到哪里去找aar文件呢？最初，我在sdk下找到了这些依赖的jar包和相应的资源目录，但是，当我尝试编译的时候，总是提示我找不到资源，我很苦恼，后来在高旭大神的指点下，我看了一下gradle的实现方式，发现gradle并不使用jar包+资源来重新编译这些依赖库而是直接使用了google提供的这些依赖库的aar文件，于是我尝试将编译好的aar文件解包，再使用解包后的资源和jar包进行编译。
Step 1: 生成R.java文件
aapt package -f -m --auto-add-overlay \
-S res \
-S /Users/chenlong/sdk/extras/android/m2repository/com/android/support/appcompat-v7/23.3.0/aarEx/res \
-S /Users/chenlong/sdk/extras/android/m2repository/com/android/support/recyclerview-v7/23.3.0/aarEx/res \
-S /Users/chenlong/sdk/extras/android/m2repository/com/android/support/design/23.3.0/aarEx/res \
-J gen \
--extra-packages android.support.v7.appcompat:android.support.v7.recyclerview:android.support.design \
-I $ANDROID_HOME/platforms/android-23/android.jar -M ./AndroidManifest.xml
其中，--auto-add-overlay 参数用来加载多个资源目录，按照从左向右的顺序，如果后面的资源重复则跳过，如果不重复则新增。
--extra-packages用来对不同的资源目录生成包名不同的R文件，多个包名通过:分割。
Step 2: 编译代码
javac -classpath $ANDROID_HOME/extras/android/support/v7/appcompat/libs/android-support-v4.jar:\
$ANDORID_HOME/extras/android/support/annotations/android-support-annotations.jar:\
$ANDROID_HOME/platforms/android-23/android.jar:\
$ANDROID_HOME/extras/android/support/design/libs/android-support-design.jar:\
$ANDROID_HOME/extras/android/support/v7/appcompat/libs/android-support-v7-appcompat.jar:\
$ANDROID_HOME/extras/android/support/v7/recyclerview/libs/android-support-v7-recyclerview.jar \
-source 1.7 -target 1.7 \
-d ./build \
./java/com/haizhi/oa/buildtest/*.java \
./gen/com/haizhi/oa/buildtest/R.java \
./gen/android/support/design/R.java \
./gen/android/support/v7/appcompat/R.java \
./gen/android/support/v7/recyclerview/R.java
Step 3: 编译dex文件
dx --dex --output=classes.dex . \
/Users/chenlong/sdk/extras/android/m2repository/com/android/support/support-v4/23.3.0/aarEx/classes.jar \
/Users/chenlong/sdk/extras/android/m2repository/com/android/support/support-v4/23.3.0/aarEx/libs/internal_impl-23.3.0.jar \
/Users/chenlong/sdk/extras/android/m2repository/com/android/support/design/23.3.0/aarEx/classes.jar \
/Users/chenlong/sdk/extras/android/m2repository/com/android/support/appcompat-v7/23.3.0/aarEx/classes.jar \
/Users/chenlong/sdk/extras/android/m2repository/com/android/support/recyclerview-v7/23.3.0/aarEx/classes.jar \
/Users/chenlong/sdk/extras/android/m2repository/com/android/support/support-vector-drawable/23.3.0/aarEx/classes.jar \
/Users/chenlong/sdk/extras/android/m2repository/com/android/support/animated-vector-drawable/23.3.0/aarEx/classes.jar \
/Users/chenlong/sdk/extras/android/m2repository/com/android/support/support-annotations/23.3.0/support-annotations-23.3.0.jar
Step 4: 生成apk文件
aapt package -f -m --auto-add-overlay \
-S res \
-S /Users/chenlong/sdk/extras/android/m2repository/com/android/support/appcompat-v7/23.3.0/aarEx/res \
-S /Users/chenlong/sdk/extras/android/m2repository/com/android/support/recyclerview-v7/23.3.0/aarEx/res \
-S /Users/chenlong/sdk/extras/android/m2repository/com/android/support/design/23.3.0/aarEx/res \
-I $ANDROID_HOME/platforms/android-23/android.jar -M ./AndroidManifest.xml \
-F test.apk.u
Step 5: 将classes.dex文件加入apk中
aapt add -f test.apk.u classes.dex
后面的签名、对齐操作和之前一样
最后，我们在模拟器上运行一下打包后的apk文件，如图：
0x03 总结
编译流程的简单分析就是这些，在上述流程中我们可以看到，主要过程是资源处理和dex文件生成上，其中对资源的处理是插件化的一个难点，我的分析并不是很全面，比如对于多个资源目录合并的过程，aapt自身提供的机制和gradle的实现就不太一样，gradle在最终调用aapt之前已经将资源合并，传入aapt的只有一个合并后的资源目录，可以参考gradle 资源合并机制，后续我会针对资源文件的处理做单独的分析。
上述内容如有错误，恳请指正，我会继续分析插件化的相关技术实现，敬请期待。
网友评论