Android O 预制app 32/64bit运行问题

1. 问题背景

Android系统环境是64bit, 最近在预制一个第三方app, 发现预制完之后运行有问题，没有按照自己期望的32bit运行，而且按照默认64bit方式运行，导致加载的库错误，启动闪退， 编译的时候有添加LOCAL_MULTILIB := 32。

2. 问题分析

根据google官网，之前添加LOCAL_MULTILIB := 32一般都没有问题，于是很好奇，就查了下这个问题原因。网上搜索说android系统会把同一个uid进程，调整为同一个abi，也就是说系统签名(uid=system)app要么全是32bit，要么全是64bit。
打开PackageManagerService里面打印，跟踪下平台ABI适配情况，从打印看因为launch默认是64bit运行的，所以把其他system进程也全部调整为64bit。

--- a/services/core/java/com/android/server/pm/PackageManagerService.java
-    private static final boolean DEBUG_ABI_SELECTION = false;
+    private static final boolean DEBUG_ABI_SELECTION = true;

W PackageManager: Instruction set mismatch, PackageSetting{175e43d com.zz.launcher/1000} requires arm64 whereas PackageSetting{b528651 com.hisi.fbsample/1000} requires arm
W PackageManager: Instruction set mismatch, PackageSetting{175e43d com.zz.launcher/1000} requires arm64 whereas PackageSetting{ba11f8b com.hisilicon.miracast/1000} requires arm
W PackageManager: Instruction set mismatch, PackageSetting{175e43d com.zz.launcher/1000} requires arm64 whereas PackageSetting{f3d0252 com.hisilicon.tvui/1000} requires arm
I PackageManager: Adjusting ABI for com.android.keychain to arm64-v8a (requirer=Package{3e066ae com.zz.launcher}, scannedPackage=null)
I PackageManager: Adjusting ABI for com.android.providers.settings to arm64-v8a (requirer=Package{3e066ae com.zz.launcher}, scannedPackage=null)
I PackageManager: Adjusting ABI for com.android.tv.quicksettings to arm64-v8a (requirer=Package{3e066ae com.zz.launcher}, scannedPackage=null)

从上面的日志，大概可以知道为什么这个app变成了64bit位运行了，下面也了解下android系统是怎么运行32/64bit 应用和加载对应的32/64bit库。

3. apk运行cpu abi确定流程

1. 如果apk包中lib文件夹下有.so库，就根据这个.so库的架构模式，确定app的primaryCpuAbi的值
2. 对于system app, 如果没法通过第一步确定primaryCpuAbi的值，PKMS会根据/system/app/{APP_NAME}/lib和/system/app/{APP_NAME}/lib64这两个文件夹是否存在，来确定它的primaryCpuAbi的值
3. 对于还没有确定的app, 在最后还会将自己的primaryCpuAbi值与和他使用相同UID的package的值设成一样
4. 对于到这里还没有确认primaryCpuAbi的app，就会在启动进程时使用ro.product.cpu.abilist这个property的值的第一项作为它关联的ABI
5. 为属于共享用户的一组包调整 ABI，使它们全部匹配。

4. 查看apk安装的cpu api

/data/system/packages.xml记录了系统安装的apk信息，primaryCpuAbi="armeabi-v7a" 是32bit安装，primaryCpuAbi="arm64-v8a 指示64bit安装，dumpsys package xxx 也可以查看安装信息。如果是64位安装就会64bit运行，加载64bit运行库。

cat  /data/system/packages.xml | grep miracast                                 <
    <package name="com.hisilicon.miracast" codePath="/system/app/Miracast" nativeLibraryPath="/system/app/Miracast/lib" primaryCpuAbi="armeabi-v7a" publicFlags="940064325" privateFlags="0" ft="11e8dc5d800" it="11e8dc5d800" ut="11e8dc5d800" version="1000" sharedUserId="1000" isOrphaned="true">

Hi3751V811:/ # dumpsys package com.hisilicon.miracast
Activity Resolver Table:
  Non-Data Actions:
      android.intent.action.MAIN:
        933d168 com.hisilicon.miracast/.activity.WelcomeActivity filter cebaa96
          Action: "android.intent.action.MAIN"
          Category: "android.intent.category.LAUNCHER"

Key Set Manager:
  [com.hisilicon.miracast]
      Signing KeySets: 1

Packages:
  Package [com.hisilicon.miracast] (9a3ad0e):
    userId=1000
    sharedUser=SharedUserSetting{8bbc7e android.uid.system/1000}
    pkg=Package{34e0981 com.hisilicon.miracast}
    codePath=/system/app/Miracast
    resourcePath=/system/app/Miracast
    legacyNativeLibraryDir=/system/app/Miracast/lib
    primaryCpuAbi=armeabi-v7a
    secondaryCpuAbi=null
    versionCode=1000 minSdk=17 targetSdk=19
    versionName=V5

5. 关于LOCAL_MULTILIB := 32 不生效问题

这篇文档对Android.mk里面LOCAL_MULTILIB分析写的比较到位，也做了很多实验，总体结论是，LOCAL_MULTILIB :=32会拷贝32bit库到apk安装的路径，根据上面apk‘运行cpu api确定流程’可以知道，系统会根据lib库确定是32bit还是64bit, 如果确定了是32bit，最后还要根据系统同一个组uid的进程，调整cpu api, 这样最终确定当前apk安装的abi， 所以LOCAL_MULTILIB是间接影响apk最终是32bit，还是64bit运行，主要是保证拷贝abi库位数正确。
Android L开始 APK 64bit 32bit 运行环境原理及决定运行环境的规则

6. 系统apk有很多，不希望都是32/64bit运行，可以在pms里面添加特殊处理下。

--- a/services/core/java/com/android/server/pm/PackageManagerService.java
+++ b/services/core/java/com/android/server/pm/PackageManagerService.java
@@ -393,7 +393,7 @@ public class PackageManagerService extends IPackageManager.Stub
     // user, but by default initialize to this.

@@ -11776,6 +11776,16 @@ public class PackageManagerService extends IPackageManager.Stub
                 // requirer != null implies that either scannedPackage was null or that scannedPackage
                 // did not require an ABI, in which case we have to adjust scannedPackage to match
                 // the ABI of the set (which is the same as requirer's ABI)
+                if(requirer.pkg.packageName.equals("com.xxx.xx") || 
+                   requirer.pkg.packageName.equals("com.android.xxx")  
+                )  //don't adjust other apks ABI
+                {
+                        Slog.w(TAG, "package name is xxx,cancel adjust abi.");
+                   return ;
+                }
+                  

7. 预制apk的android.mk编写

不带库的apk把LOCAL_PREBUILT_JNI_LIBS 相关的删除掉，带库的根据abi需要修改下lib/armeabi-v7a目录。

include $(CLEAR_VARS)
APK_NAME_FULL :=$(shell cd $(LOCAL_PATH); ls -A | grep apk)
APK_NAME :=$(shell echo $(APK_NAME_FULL) | sed 's/.apk//g')

define get-all-libraries-module-name-in-subdirs
$(sort $(shell cd $(LOCAL_PATH) ; rm -rf lib >/dev/null ; unzip $(APK_NAME_FULL) 'lib/armeabi-v7a/*.so' -d . >/dev/null ; find -L $(1) -name "*.so"))
endef

ALL_LIBRARIES_MODULE_NAME := $(call get-all-libraries-module-name-in-subdirs, lib/armeabi-v7a)

include $(CLEAR_VARS)
LOCAL_MODULE        := $(APK_NAME)
LOCAL_MODULE_TAGS   := optional
LOCAL_MODULE_CLASS  := APPS
LOCAL_CERTIFICATE   := PRESIGNED
LOCAL_MODULE_SUFFIX := $(COMMON_ANDROID_PACKAGE_SUFFIX)
LOCAL_SRC_FILES     := $(APK_NAME_FULL)
LOCAL_VENDOR_MODULE := false
LOCAL_PRIVILEGED_MODULE := false
LOCAL_MULTILIB := 32
LOCAL_PREBUILT_JNI_LIBS := $(ALL_LIBRARIES_MODULE_NAME)

ALL_DEFAULT_INSTALLED_MODULES += $(LOCAL_MODULE)

include $(BUILD_PREBUILT)

8. 参考博客

Android官网 - 了解 64 位版本
Android内置系统apk问题_Letcos-程序员信息网
Android 64bit系统中app以32bit运行
Android源码预制基础
Android L开始 APK 64bit 32bit 运行环境原理及决定运行环境的规则