美文网首页
bsdiff实现增量更新

bsdiff实现增量更新

作者: Damon_He | 来源:发表于2019-11-01 15:17 被阅读0次

概述

在目前的大部分热门应用中(QQ、微信、抖音等)都包含了一个名称类似
libbspatch.so 的动态库。

可以通过ndk中的 nm 工具来查看动态库中的符号清单。

# nm工具路径:
ndk-bundle\toolchains\arm-linux-androideabi-4.9\prebuilt\windows-x86_64\bin\arm-linux-androideabi-nm.exe

nm -D xxx.so

查看这些库中的符号内容都差不多,因此它们肯定是实现了同一件事情,也就是 “增量更新”。

增量更新好处

  • 对用户来说,省流量,下载时间快,提高用户体验
  • 对服务器来说,减少服务器带宽压力

bsdiff算法

参考博客:https://blog.csdn.net/add_ada/article/details/51232889

服务器端生成差分包

windows端可以直接使用别人生成好的程序。
下载地址:https://github.com/cnSchwarzer/bsdiff-win/releases

linux系统服务器可以通过下载源码编译生成。

获取bsdiff源码

官网地址:https://github.com/cnSchwarzer/bsdiff-win/releases

#下载源码
$ wget wget http://www.daemonology.net/bsdiff/bsdiff-4.3.tar.gz
#解压
$ tar xvf bsdiff-4.3.tar.gz
#进入解压目录
$ cd bsdiff-4.3
#ls查看
$ ls
bsdiff.1  bsdiff.c  bspatch.1  bspatch.c  Makefile

可以看到下载bsdiff源码解压后,有一个Makefile文件,那么我们可以尝试使用make命令来编译。

$ make
Makefile:13: *** missing separator.  Stop.

报错了,Makefile中第13行缺少分隔符,我们来查看Makefile文件。

$ vim Makefile 

  1 CFLAGS          +=      -O3 -lbz2
  2 
  3 PREFIX          ?=      /usr/local
  4 INSTALL_PROGRAM ?=      ${INSTALL} -c -s -m 555
  5 INSTALL_MAN     ?=      ${INSTALL} -c -m 444
  6 
  7 all:            bsdiff bspatch
  8 bsdiff:         bsdiff.c
  9 bspatch:        bspatch.c
 10 
 11 install:
 12         ${INSTALL_PROGRAM} bsdiff bspatch ${PREFIX}/bin
 13 .ifndef WITHOUT_MAN
 14         ${INSTALL_MAN} bsdiff.1 bspatch.1 ${PREFIX}/man/man1
 15 .endif

Makefile中命令前必须以 Tab键 开头,所以需要在第13行和第15行的行首加上 Tab键。修改保存后,再次执行make。

$ make
cc -O3 -lbz2    bsdiff.c   -o bsdiff
bsdiff.c:33:19: fatal error: bzlib.h: No such file or directory
 #include <bzlib.h>
                   ^
compilation terminated.
make: *** [bsdiff] Error 1

又报错了。提示bzlib.h头文件找不到,而bzlib.h头文件是bzip2里面的,我们需要先安装bzip2,使用包管理器安装。

Ubuntu:
$ apt install libbz2-dev
Centos:
$ yum -y install bzip2-devel.x86_64
Mac:
$ brew install bzip2

如果不知道install后面的名字,可以使用进行搜索apt/yum/brew search bzip2

安装好bzip2后,再次执行make。

$ make
cc -O3 -lbz2    bsdiff.c   -o bsdiff
cc -O3 -lbz2    bspatch.c   -o bspatch
$ ls
bsdiff  bsdiff.1  bsdiff.c  bspatch  bspatch.1  bspatch.c  Makefile

make后生成了 bsdiff 和 bspatch 两个文件。通过file命令可以查看bsdiff和bspach是两个可执行文件。

$ file bsdiff
bsdiff: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=51e827e4f46973a6a522c5bdf0411c6da5605a30, not stripped
$ file bspatch
bspatch: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=dc0742c79e05cf1c91e7735625dd13e608cd5ff2, not stripped

其中bsdiff是用来生成差分包的,bspatch是用来合成的,合成操作肯定是在客户端手机app来做,所以我们在服务器端只需要用到bsdiff。

尝试执行bsdiff。

$ ./bsdiff 
bsdiff: usage: ./bsdiff oldfile newfile patchfile

提示了bsdiff的使用方法,后面需要三个参数。
第一个参数oldfile:是旧版本文件。
第二个参数newfile:是新版本文件。
第三个参数patchfile:是输出生成的差分包文件。

至此服务器端环境就准备好了。

这里还有个小问题需要注意:
如果执行make出现下面错误,需要修改Makefile。

bsdiff.c:(.text.startup+0x2aa): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0xcfa): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xe37): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xf80): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xfe1): undefined reference to `BZ2_bzWriteClose'
bsdiff.c:(.text.startup+0x1034): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0x105c): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0x1082): undefined reference to > `BZ2_bzWriteClose'
bsdiff.c:(.text.startup+0x10d5): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0x1100): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0x1126): undefined reference to `BZ2_bzWriteClose'

Makefile修改为:

CFLAGS          +=      -O3 -lbz2
PREFIX          ?=      /usr/local
INSTALL_PROGRAM ?=      ${INSTALL} -c -s -m 555
INSTALL_MAN     ?=      ${INSTALL} -c -m 444
all:            bsdiff bspatch
bsdiff:         bsdiff.c
        cc bsdiff.c ${CFLAGS} -o bsdiff  #增加
bspatch:        bspatch.c
        cc bspatch.c ${CFLAGS} -o bspatch #增加
install:
        ${INSTALL_PROGRAM} bsdiff bspatch ${PREFIX}/bin
        .ifndef WITHOUT_MAN
        ${INSTALL_MAN} bsdiff.1 bspatch.1 ${PREFIX}/man/man1
        .endif

这是由于不同的编译器的问题,有的编译器 CFLAGS 参数需要放在源文件后面。

客户端实现

Android Studio创建c++工程。

Android 7.0安装apk,参考:https://blog.csdn.net/github_2011/article/details/74297460
androidx使用FileProvider,参考:https://blog.csdn.net/qq_33505109/article/details/90405302

AndroidManifest.xml:

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    package="com.netease.bsdiff">

    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
    <uses-permission android:name="android.permission.REQUEST_INSTALL_PACKAGES" />

    <application
        android:allowBackup="true"
        android:icon="@mipmap/ic_launcher"
        android:label="@string/app_name"
        android:roundIcon="@mipmap/ic_launcher_round"
        android:supportsRtl="true"
        android:theme="@style/AppTheme">
        <activity android:name=".MainActivity">
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />

                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>
        <provider
            android:name="androidx.core.content.FileProvider"
            android:authorities="${applicationId}.provider"
            android:grantUriPermissions="true"
            android:exported="false">
            <meta-data
                android:name="android.support.FILE_PROVIDER_PATHS"
                android:resource="@xml/file_paths" />
        </provider>
    </application>
</manifest>

res/xml目录下创建file_paths.xml:

<?xml version="1.0" encoding="utf-8"?>
<resource>
    <paths>
        <external-path name="path" path="" />
    </paths>
</resource>

布局文件activity_main.xml:

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <TextView
        android:layout_centerInParent="true"
        android:id="@+id/tv_version"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        />
    <Button
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="更新"
        android:onClick="onUpdate"
        android:layout_below="@id/tv_version"
        />

</RelativeLayout>

MainActivity:

public class MainActivity extends AppCompatActivity {

    static {
        System.loadLibrary("native-lib");
    }

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        TextView tv = findViewById(R.id.tv_version);
        tv.setText("当前版本:" + BuildConfig.VERSION_NAME);
    }


    public void onUpdate(View view) {
        new AsyncTask<Void, Void, File>() {

            @Override
            protected File doInBackground(Void... voids) {
                String patchPath = new File(Environment.getExternalStorageDirectory(),
                        "patch.diff").getAbsolutePath();
                String oldApkPath = getApplicationInfo().sourceDir;
                File newApk = new File(Environment.getExternalStorageDirectory(), "new.apk");
                if (!newApk.exists()) {
                    try {
                        newApk.createNewFile();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
                doPatchNative(oldApkPath, newApk.getAbsolutePath(), patchPath);
                return newApk;
            }

            @Override
            protected void onPostExecute(File newApk) {
                //安装
                if (!newApk.exists()) {
                    return;
                }
                Intent intent = new Intent(Intent.ACTION_VIEW);
                intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
                if (Build.VERSION.SDK_INT >= 24) { //Android 7.0及以上
                    // 参数2 清单文件中provider节点里面的authorities ; 参数3  共享的文件,即apk包的file类
                    Uri apkUri = FileProvider.getUriForFile(MainActivity.this,
                            getApplicationInfo().packageName + ".provider", newApk);
                    //对目标应用临时授权该Uri所代表的文件
                    intent.addFlags(Intent.FLAG_GRANT_READ_URI_PERMISSION);
                    intent.setDataAndType(apkUri, "application/vnd.android.package-archive");
                } else {
                    intent.setDataAndType(Uri.fromFile(newApk),
                            "application/vnd.android.package-archive");
                }
                startActivity(intent);
            }
        }.execute();
    }

    private native void doPatchNative(String oldApkPath, String newApkPath, String patchPath);
}

bspatch.c拷贝到src/main/cpp下,修改main函数名:

//int main(int argc,char * argv[])
int bspatch_main(int argc,char * argv[])
{
    ......
}

cpp目录创建bzip2文件目录,将bzip2源码及头文件拷贝进来:
blocksort.cbzlib.cbzlib.hbzlib_private.hcompress.ccrctable.cdecompress.chuffman.crandtable.c

修改CmakeLists.txt:

cmake_minimum_required(VERSION 3.4.1)

include_directories(${CMAKE_SOURCE_DIR}/bzip2)

aux_source_directory(${CMAKE_SOURCE_DIR}/bzip2/ bzip2_srcs)

add_library(
        native-lib
        SHARED
        native-lib.cpp
        bspatch.c
        ${bzip2_srcs}
)

target_link_libraries(
        native-lib
        log)

编写native-lib.cpp:

#include <jni.h>

extern "C"{
    extern int bspatch_main(int argc, char * argv[]);
}

extern "C"
JNIEXPORT void JNICALL
Java_com_example_bsdiff_MainActivity_doPatchNative(JNIEnv *env, jobject thiz, jstring old_apk_path_,
                                                   jstring new_apk_path_, jstring patch_path_) {
    const char *old_apk_path = env->GetStringUTFChars(old_apk_path_, 0);
    const char *new_apk_path = env->GetStringUTFChars(new_apk_path_, 0);
    const char *patch_path = env->GetStringUTFChars(patch_path_, 0);
    char *argv[4] = {
            "bspatch",//第一个参数可不填("")
            const_cast<char *>(old_apk_path),
            const_cast<char *>(new_apk_path),
            const_cast<char *>(patch_path)
    };

    bspatch_main(4, argv);

    env->ReleaseStringUTFChars(old_apk_path_, old_apk_path);
    env->ReleaseStringUTFChars(new_apk_path_, new_apk_path);
    env->ReleaseStringUTFChars(patch_path_, patch_path);
}

打包生成两个版本的apk文件:old.apk 和 new.apk ,然后上传到 linux 服务器,使用 bsdiff 生成补丁包文件 patch.diff 。再将 patch.diff 传入手机 sd卡 根目录即可。

相关文章

  • centos7安装bsdiff

    centos7安装bsdiff bsdiff是一个差异包比较工具,可以用来实现增量更新. 安装bsdiff 参考链...

  • bsdiff实现增量更新

    概述 在目前的大部分热门应用中(QQ、微信、抖音等)都包含了一个名称类似libbspatch.so 的动态库。 可...

  • Android 增量更新实现(Bsdiff)

    一,增量更新的原理,主要是根据新旧包生成差分包,这个差分包由服务器端生成,客户端下载,下载完成后,进行合并,合并成...

  • bsdiff 编译与运行

    bsdiff是一个差异包比较工具,可以用来实现增量更新. 1.mac解压下载的bsdiff-4.3.tar.gz ...

  • 增量更新之服务器端解决方案

    准备工作: 增量更新开源库:http://www.daemonology.net/bsdiff/bsdiff还依赖...

  • 增量更新之APP端解决方案

    准备工作: 增量更新开源库:http://www.daemonology.net/bsdiff/bsdiff还依赖...

  • Node.js + Bsdiff 实现增量更新

    随着一些功能的持续添加,软件变得有点大。这时候,需要增量更新避免用户消耗更多流量来进行更新。 实现原理 原理相对比...

  • APP升级---BsDiff增量更新

    BsDiff算法介绍: bsdiff是由Conlin Percival开源的一个优秀的差分算法,而且是跨平台的。在...

  • Android_增量更新(BSDiff)

    Android中的增量更新指的是利用差分算法,计算两个App版本的差异,生成差分包,只需要下载差分包,不需要下载整...

  • Android增量更新(bsdiff使用)

    简单了解 增量更新是什么?APP版本更新时不需要客户端下载新的apk,只需要下载差分包(两个apk的差异)。 差分...

网友评论

      本文标题:bsdiff实现增量更新

      本文链接:https://www.haomeiwen.com/subject/nvnfbctx.html