bsdiff实现增量更新

作者: Damon_He | 来源:发表于2019-11-01 15:17 被阅读0次

centos7安装bsdiff
bsdiff实现增量更新
Android 增量更新实现（Bsdiff）
bsdiff 编译与运行
增量更新之服务器端解决方案
增量更新之APP端解决方案
Node.js + Bsdiff 实现增量更新
APP升级---BsDiff增量更新
Android_增量更新(BSDiff)
Android增量更新（bsdiff使用）

概述

在目前的大部分热门应用中（QQ、微信、抖音等）都包含了一个名称类似
libbspatch.so 的动态库。

可以通过ndk中的 nm 工具来查看动态库中的符号清单。

# nm工具路径：
ndk-bundle\toolchains\arm-linux-androideabi-4.9\prebuilt\windows-x86_64\bin\arm-linux-androideabi-nm.exe
nm -D xxx.so

查看这些库中的符号内容都差不多，因此它们肯定是实现了同一件事情，也就是 “增量更新”。

增量更新好处

对用户来说，省流量，下载时间快，提高用户体验
对服务器来说，减少服务器带宽压力

bsdiff算法

参考博客：https://blog.csdn.net/add_ada/article/details/51232889

服务器端生成差分包

windows端可以直接使用别人生成好的程序。
下载地址：https://github.com/cnSchwarzer/bsdiff-win/releases

linux系统服务器可以通过下载源码编译生成。

获取bsdiff源码

官网地址：https://github.com/cnSchwarzer/bsdiff-win/releases

#下载源码
$ wget wget http://www.daemonology.net/bsdiff/bsdiff-4.3.tar.gz
#解压
$ tar xvf bsdiff-4.3.tar.gz
#进入解压目录
$ cd bsdiff-4.3
#ls查看
$ ls
bsdiff.1  bsdiff.c  bspatch.1  bspatch.c  Makefile

可以看到下载bsdiff源码解压后，有一个Makefile文件，那么我们可以尝试使用make命令来编译。

$ make
Makefile:13: *** missing separator.  Stop.

报错了，Makefile中第13行缺少分隔符，我们来查看Makefile文件。

$ vim Makefile 

  1 CFLAGS          +=      -O3 -lbz2
  2 
  3 PREFIX          ?=      /usr/local
  4 INSTALL_PROGRAM ?=      ${INSTALL} -c -s -m 555
  5 INSTALL_MAN     ?=      ${INSTALL} -c -m 444
  6 
  7 all:            bsdiff bspatch
  8 bsdiff:         bsdiff.c
  9 bspatch:        bspatch.c
 10 
 11 install:
 12         ${INSTALL_PROGRAM} bsdiff bspatch ${PREFIX}/bin
 13 .ifndef WITHOUT_MAN
 14         ${INSTALL_MAN} bsdiff.1 bspatch.1 ${PREFIX}/man/man1
 15 .endif

Makefile中命令前必须以 Tab键 开头，所以需要在第13行和第15行的行首加上 Tab键。修改保存后，再次执行make。

$ make
cc -O3 -lbz2    bsdiff.c   -o bsdiff
bsdiff.c:33:19: fatal error: bzlib.h: No such file or directory
 #include <bzlib.h>
                   ^
compilation terminated.
make: *** [bsdiff] Error 1

又报错了。提示bzlib.h头文件找不到，而bzlib.h头文件是bzip2里面的，我们需要先安装bzip2，使用包管理器安装。

Ubuntu：
$ apt install libbz2-dev
Centos：
$ yum -y install bzip2-devel.x86_64
Mac：
$ brew install bzip2

如果不知道install后面的名字，可以使用进行搜索apt/yum/brew search bzip2

安装好bzip2后，再次执行make。

$ make
cc -O3 -lbz2    bsdiff.c   -o bsdiff
cc -O3 -lbz2    bspatch.c   -o bspatch
$ ls
bsdiff  bsdiff.1  bsdiff.c  bspatch  bspatch.1  bspatch.c  Makefile

make后生成了 bsdiff 和 bspatch 两个文件。通过file命令可以查看bsdiff和bspach是两个可执行文件。

$ file bsdiff
bsdiff: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=51e827e4f46973a6a522c5bdf0411c6da5605a30, not stripped
$ file bspatch
bspatch: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=dc0742c79e05cf1c91e7735625dd13e608cd5ff2, not stripped

其中bsdiff是用来生成差分包的，bspatch是用来合成的，合成操作肯定是在客户端手机app来做，所以我们在服务器端只需要用到bsdiff。

尝试执行bsdiff。

$ ./bsdiff 
bsdiff: usage: ./bsdiff oldfile newfile patchfile

提示了bsdiff的使用方法，后面需要三个参数。
第一个参数oldfile：是旧版本文件。
第二个参数newfile：是新版本文件。
第三个参数patchfile：是输出生成的差分包文件。

至此服务器端环境就准备好了。

这里还有个小问题需要注意：
如果执行make出现下面错误，需要修改Makefile。

bsdiff.c:(.text.startup+0x2aa): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0xcfa): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xe37): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xf80): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xfe1): undefined reference to `BZ2_bzWriteClose'
bsdiff.c:(.text.startup+0x1034): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0x105c): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0x1082): undefined reference to > `BZ2_bzWriteClose'
bsdiff.c:(.text.startup+0x10d5): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0x1100): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0x1126): undefined reference to `BZ2_bzWriteClose'

Makefile修改为：

CFLAGS          +=      -O3 -lbz2
PREFIX          ?=      /usr/local
INSTALL_PROGRAM ?=      ${INSTALL} -c -s -m 555
INSTALL_MAN     ?=      ${INSTALL} -c -m 444
all:            bsdiff bspatch
bsdiff:         bsdiff.c
        cc bsdiff.c ${CFLAGS} -o bsdiff  #增加
bspatch:        bspatch.c
        cc bspatch.c ${CFLAGS} -o bspatch #增加
install:
        ${INSTALL_PROGRAM} bsdiff bspatch ${PREFIX}/bin
        .ifndef WITHOUT_MAN
        ${INSTALL_MAN} bsdiff.1 bspatch.1 ${PREFIX}/man/man1
        .endif

这是由于不同的编译器的问题，有的编译器 CFLAGS 参数需要放在源文件后面。

客户端实现

Android Studio创建c++工程。

Android 7.0安装apk，参考：https://blog.csdn.net/github_2011/article/details/74297460
androidx使用FileProvider，参考：https://blog.csdn.net/qq_33505109/article/details/90405302

AndroidManifest.xml：

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    package="com.netease.bsdiff">

    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
    <uses-permission android:name="android.permission.REQUEST_INSTALL_PACKAGES" />

    <application
        android:allowBackup="true"
        android:icon="@mipmap/ic_launcher"
        android:label="@string/app_name"
        android:roundIcon="@mipmap/ic_launcher_round"
        android:supportsRtl="true"
        android:theme="@style/AppTheme">
        <activity android:name=".MainActivity">
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />

                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>
        <provider
            android:name="androidx.core.content.FileProvider"
            android:authorities="${applicationId}.provider"
            android:grantUriPermissions="true"
            android:exported="false">
            <meta-data
                android:name="android.support.FILE_PROVIDER_PATHS"
                android:resource="@xml/file_paths" />
        </provider>
    </application>
</manifest>

res/xml目录下创建file_paths.xml：

<?xml version="1.0" encoding="utf-8"?>
<resource>
    <paths>
        <external-path name="path" path="" />
    </paths>
</resource>

布局文件activity_main.xml：

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <TextView
        android:layout_centerInParent="true"
        android:id="@+id/tv_version"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        />
    <Button
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="更新"
        android:onClick="onUpdate"
        android:layout_below="@id/tv_version"
        />

</RelativeLayout>

MainActivity：

public class MainActivity extends AppCompatActivity {

    static {
        System.loadLibrary("native-lib");
    }

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        TextView tv = findViewById(R.id.tv_version);
        tv.setText("当前版本：" + BuildConfig.VERSION_NAME);
    }


    public void onUpdate(View view) {
        new AsyncTask<Void, Void, File>() {

            @Override
            protected File doInBackground(Void... voids) {
                String patchPath = new File(Environment.getExternalStorageDirectory(),
                        "patch.diff").getAbsolutePath();
                String oldApkPath = getApplicationInfo().sourceDir;
                File newApk = new File(Environment.getExternalStorageDirectory(), "new.apk");
                if (!newApk.exists()) {
                    try {
                        newApk.createNewFile();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
                doPatchNative(oldApkPath, newApk.getAbsolutePath(), patchPath);
                return newApk;
            }

            @Override
            protected void onPostExecute(File newApk) {
                //安装
                if (!newApk.exists()) {
                    return;
                }
                Intent intent = new Intent(Intent.ACTION_VIEW);
                intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
                if (Build.VERSION.SDK_INT >= 24) { //Android 7.0及以上
                    // 参数2 清单文件中provider节点里面的authorities ; 参数3  共享的文件,即apk包的file类
                    Uri apkUri = FileProvider.getUriForFile(MainActivity.this,
                            getApplicationInfo().packageName + ".provider", newApk);
                    //对目标应用临时授权该Uri所代表的文件
                    intent.addFlags(Intent.FLAG_GRANT_READ_URI_PERMISSION);
                    intent.setDataAndType(apkUri, "application/vnd.android.package-archive");
                } else {
                    intent.setDataAndType(Uri.fromFile(newApk),
                            "application/vnd.android.package-archive");
                }
                startActivity(intent);
            }
        }.execute();
    }

    private native void doPatchNative(String oldApkPath, String newApkPath, String patchPath);
}

bspatch.c拷贝到src/main/cpp下，修改main函数名：

//int main(int argc,char * argv[])
int bspatch_main(int argc,char * argv[])
{
    ......
}

cpp目录创建bzip2文件目录，将bzip2源码及头文件拷贝进来：
blocksort.c，bzlib.c，bzlib.h，bzlib_private.h，compress.c，crctable.c，decompress.c，huffman.c，randtable.c

修改CmakeLists.txt：

cmake_minimum_required(VERSION 3.4.1)

include_directories(${CMAKE_SOURCE_DIR}/bzip2)

aux_source_directory(${CMAKE_SOURCE_DIR}/bzip2/ bzip2_srcs)

add_library(
        native-lib
        SHARED
        native-lib.cpp
        bspatch.c
        ${bzip2_srcs}
)

target_link_libraries(
        native-lib
        log)

编写native-lib.cpp：

#include <jni.h>

extern "C"{
    extern int bspatch_main(int argc, char * argv[]);
}

extern "C"
JNIEXPORT void JNICALL
Java_com_example_bsdiff_MainActivity_doPatchNative(JNIEnv *env, jobject thiz, jstring old_apk_path_,
                                                   jstring new_apk_path_, jstring patch_path_) {
    const char *old_apk_path = env->GetStringUTFChars(old_apk_path_, 0);
    const char *new_apk_path = env->GetStringUTFChars(new_apk_path_, 0);
    const char *patch_path = env->GetStringUTFChars(patch_path_, 0);
    char *argv[4] = {
            "bspatch",//第一个参数可不填("")
            const_cast<char *>(old_apk_path),
            const_cast<char *>(new_apk_path),
            const_cast<char *>(patch_path)
    };

    bspatch_main(4, argv);

    env->ReleaseStringUTFChars(old_apk_path_, old_apk_path);
    env->ReleaseStringUTFChars(new_apk_path_, new_apk_path);
    env->ReleaseStringUTFChars(patch_path_, patch_path);
}

打包生成两个版本的apk文件：old.apk 和 new.apk ，然后上传到 linux 服务器，使用 bsdiff 生成补丁包文件 patch.diff 。再将 patch.diff 传入手机 sd卡根目录即可。

centos7安装bsdiff
centos7安装bsdiff bsdiff是一个差异包比较工具,可以用来实现增量更新. 安装bsdiff 参考链...
bsdiff实现增量更新
概述在目前的大部分热门应用中（QQ、微信、抖音等）都包含了一个名称类似libbspatch.so 的动态库。可...
Android 增量更新实现（Bsdiff）
一，增量更新的原理，主要是根据新旧包生成差分包，这个差分包由服务器端生成，客户端下载，下载完成后，进行合并，合并成...
bsdiff 编译与运行
bsdiff是一个差异包比较工具,可以用来实现增量更新. 1.mac解压下载的bsdiff-4.3.tar.gz ...
增量更新之服务器端解决方案
准备工作：增量更新开源库：http://www.daemonology.net/bsdiff/bsdiff还依赖...
增量更新之APP端解决方案
准备工作：增量更新开源库：http://www.daemonology.net/bsdiff/bsdiff还依赖...
Node.js + Bsdiff 实现增量更新
随着一些功能的持续添加，软件变得有点大。这时候，需要增量更新避免用户消耗更多流量来进行更新。实现原理原理相对比...
APP升级---BsDiff增量更新
BsDiff算法介绍： bsdiff是由Conlin Percival开源的一个优秀的差分算法，而且是跨平台的。在...
Android_增量更新(BSDiff)
Android中的增量更新指的是利用差分算法,计算两个App版本的差异,生成差分包,只需要下载差分包,不需要下载整...
Android增量更新（bsdiff使用）
简单了解增量更新是什么？APP版本更新时不需要客户端下载新的apk，只需要下载差分包（两个apk的差异）。差分...