话说之前公司里面一直用到的是 PocketSphinx , 但是在新的项目中有一个应用的场景，这时候发现噪声影响以及识别的精确度方面都不是很理想。于是在 Telegram Channel 里面咨询了下，@nshmyrev 回复建议可以利用 Kaldi DNN 模型，应该会有显著提升。于是考虑转向研究 Kaldi。
首先碰到的一个问题是跨平台编译。网上搜索后发现，被引用最多的一篇文章（下文简称“编译指南”）是 compile-kaldi-android，但它是基于 Ubuntu 环境来编译的，也看到了编译 Kaldi 可用的 docker file。但是在Mac环境下又可以怎样成功编译呢？让我们分解来看：
1. 配置Android NDK 以及 独立的编译 toolchain
这部分和编译指南中的大体一致，对不同的平台，没有NDK的需要相应的下载，并且配置ANDROID_NDK 路径。
安装 toolchain ：
$ANDROID_NDK/build/tools/make_standalone_toolchain.py --arch arm --api 21 --stl=libc++ --install-dir /tmp/my-android-toolchain
以上命令创建 /tmp/my-android-toolchain/ 文件目录，并且已经包含了 android-21/arch-arm sysroot，以及32位 ARM 架构的工具链可执行文件等。
将 toolchain 加入到系统 PATH中：
export ANDROID_TOOLCHAIN_PATH=/tmp/my-android-toolchain
export PATH=${ANDROID_TOOLCHAIN_PATH}/bin:$PATH
2. 编译 Android 版本的 OpenBLAS
注：考虑到 gfortran 已经是GCC的一部分了，可以选择性安装 gfortran。
下载源码：
git clone https://github.com/xianyi/OpenBLAS
选择 ARMV7 进行编译：
make \
TARGET=ARMV7 \
ONLY_CBLAS=1 \
CC=$ANDROID_TOOLCHAIN_PATH/bin/arm-linux-androideabi-clang \
AR=$ANDROID_TOOLCHAIN_PATH/bin/arm-linux-androideabi-ar \
HOSTCC=gcc \
ARM_SOFTFP_ABI=1 \
-j4
此处与编译指南中有所不同，如果按它上面的操作，会报出 找不到"crtbegin_so"之类的错误。
安装库文件
make install NO_SHARED=1 PREFIX=`pwd`/install
3. 编译 CLAPACK
git clone https://github.com/simonlynen/android_libs.git
cd android_libs/lapack
打开 jni/Android.mk, 注释掉测试相关的编译指令
# remove some compile instructions related to tests
# LOCAL_MODULE:= testlapack
# LOCAL_SRC_FILES:= testclapack.cpp
# LOCAL_STATIC_LIBRARIES := lapack
# include $(BUILD_SHARED_LIBRARY)
打开 jni/Application.mk
将 APP_STL := gnustl_static 替换为 APP_STL := c++_shared
将 APP_ABI := armeabi armeabi-v7a 替换为 APP_ABI := armeabi-v7a。armeabi 已经不再支持了。
文件最后增加 NDK_TOOLCHAIN_VERSION := clang
编译
$ANDROID_NDK/ndk-build
编译完成后会在 obj/local/armeabi-v7a/生成库文件。将生成的库文件拷贝到前面你安装OpenBLAS库文件的目录下(e.g: OpenBlas/install/lib)。Kaldi 将会在这个目录下查找相关的依赖项。
4. 编译 Kaldi
下载源码
git clone https://github.com/kaldi-asr/kaldi.git
编译 OpenFST
查看当前的kaldi tools/Makefile 后发现使用的版本是OpenFST-1.6.7。
cd kaldi/tools
wget -T 10 -t 1 http://www.openfst.org/twiki/pub/FST/FstDownload/openfst-1.6.7.tar.gz
tar -zxvf openfst-1.6.7.tar.gz
cd openfst-1.6.7/
CXX=clang++ ./configure --prefix=`pwd` --enable-static --enable-shared --enable-far --enable-ngram-fsts --host=arm-linux-androideabi LIBS="-ldl"
make -j 4
make install
cd ..
ln -s openfst-1.6.5 openfst
编译源码
cd ../src
打开 matrix/Makefile 文件，将其中的测试文件注释掉（似乎与Clang8.0有关的bug）。
#TESTFILES = matrix-lib-test sparse-matrix-test #matrix-lib-speed-tes
CXX=clang++ ./configure --static --android-incdir=/tmp/my-android-toolchain/sysroot/usr/include/ --host=arm-linux-androideabi --openblas-root=/path/to/OpenBLAS/install
make clean -j
make depend -j
make -j 4
按上述配置已经可以生成所有的静态链接库 .a 文件了，它们分别位于 src 下的各个子目录中：
.//tree/kaldi-tree.a
.//gmm/kaldi-gmm.a
.//online2/kaldi-online2.a
.//util/kaldi-util.a
.//feat/kaldi-feat.a
.//lm/kaldi-lm.a
.//sgmm2/kaldi-sgmm2.a
.//rnnlm/kaldi-rnnlm.a
.//nnet/kaldi-nnet.a
.//decoder/kaldi-decoder.a
.//nnet2/kaldi-nnet2.a
.//chain/kaldi-chain.a
.//nnet3/kaldi-nnet3.a
.//cudamatrix/kaldi-cudamatrix.a
.//ivector/kaldi-ivector.a
.//kws/kaldi-kws.a
.//hmm/kaldi-hmm.a
.//lat/kaldi-lat.a
.//fstext/kaldi-fstext.a
.//transform/kaldi-transform.a
.//matrix/kaldi-matrix.a
.//base/kaldi-base.a
等等，说好的.so文件在哪呢 ？
P.S.
- 打开 kaldi/src/configure 文件，将
--android-incdir=*)
android=true;
threaded_math=false;
static_math=true;
static_fst=true;
dynamic_kaldi=false;
MATHLIB='OPENBLAS';
其中的 dynamic_kaldi=false 改为 dynamic_kaldi=true。
- 更新 configure，指明库类型为
--shared:
CXX=clang++ ./configure --shared --android-incdir=/tmp/my-android-toolchain/sysroot/usr/include/ --host=arm-linux-androideabi --openblas-root=/path/to/OpenBLAS/install
- 编译kaldi过程中除去 debugging symbols, 打开
src/kaldi.mk修改其中的CXXFLAGS为：
CXXFLAGS = -std=c++11 -I.. -I$(OPENFSTINC) -O1 $(EXTRA_CXXFLAGS) \
-Wall -Wno-sign-compare -Wno-unused-local-typedefs \
-Wno-deprecated-declarations -Winit-self -Wno-mismatched-tags \
-DKALDI_DOUBLEPRECISION=$(DOUBLE_PRECISION) \
-DHAVE_CXXABI_H -DHAVE_OPENBLAS -DANDROID_BUILD \
-I$(OPENBLASINC) -I$(ANDROIDINC) -ftree-vectorize -mfloat-abi=softfp \
-mfpu=neon -pthread \
-O3 -DNDEBUG
# -g # -O0 -DKALDI_PARANOID
- (已提交PR，最新源码已修复)
打开src/makefiles/default_rules.mk，将第4行起按平台类型进行配置的部分替换为：
ifeq ($(KALDI_FLAVOR), dynamic)
ifdef LIBNAME
LIBFILE = lib$(LIBNAME).so
endif
LDFLAGS += -Wl,-rpath -Wl,$(KALDILIBDIR)
EXTRA_LDLIBS += $(foreach dep,$(ADDLIBS), $(dir $(dep))$(notdir $(basename $(dep))).a)
XDEPENDS =
else
ifdef LIBNAME
LIBFILE = $(LIBNAME).a
endif
XDEPENDS = $(ADDLIBS)
endif
具体原因在于，src下各个部分编译动态链接库时需要区分不同的平台类型，而 Makefile 中直接根据 shell 环境下 uname 返回的值来判定的。而这在跨平台编译时是不够充分的，此时的 host=arm-linux-androideabi，不能以Mac下的动态链接库的条件直接判定，否则会出现动态链接库不匹配的问题 :
clang80++: error: linker command failed with exit code 1 (use -v to see invocation)
make[1]: *** [libkaldi-matrix.dylib] Error 1
- 重新编译即可，生成的so文件可在
src/lib/下找到。
make -j clean depend; make -j 4
5. 后记
这次解决跨平台的编译问题将近花了4天的时间，故记录整个过程，希望对后来尝试编译的人有所启示。在这期间非常感谢 compile-kaldi-android的指引, @funcwj 在微信上的交流， google group kaldi-help论坛上面大家的热心回复。
网友评论