[Kaldi] 孤立词识别(yesno)(一)

20180627 qzd

一 数据准备

---

1. waves_yesno
   总共60个wav文件,采样率都是8k,wav文件里每一个单词要么”ken”要么”lo”(“yes”和”no”)的发音,所以每个文件有8个发音,文件命名中的1代表yes发音,0代表no的发音.

2. 数据准备

local/prepare_data.sh waves_yesno

• 生成wavelist文件
• 生成waves.test和waves.train
  将waves_all.list中的60个wav文件,分成两拨，各30个，分别放在waves.test和waves.train中．
  (格式：0_0_0_0_1_1_1_1.wav)
• 生成test_yesno_wav.scp和train_yesno_wav.scp
  根据waves.test 和waves.train又会生成test_yesno_wav.scp和train_yesno_wav.scp两个文件．
  (格式： 0_0_0_0_1_1_1_1 waves_yesno/0_0_0_0_1_1_1_1.wav)
• 生成train_yesno.txt和test_yesno.txt
  (格式：0_0_0_0_1_1_1_1 NO NO NO NO YES YES YES YES)
• 生成utt2spk和spk2utt
  这个两个文件分别是发音和人对应关系，以及人和其发音id的对应关系．由于只有一个人的发音，所以这里都用global来表示发音．
• 此外还可能会有如下文件（这个例子没有用到）：
  segments
  包括每个录音的发音分段/对齐信息
  只有在一个文件包括多个发音时需要
  reco2file_and_channel
  双声道录音情况使用到
  spk2gender
  将说话人和其性别建立映射关系，用于声道长度归一化．

data/local/
目录结构如下：

• • data
    ├───local
    │ ├───waves_all.list
    │ ├───waves.train
    │ ├───waves.test
    │ ├───train_yesno_wav.scp
    │ ├───test_yesno_wav.scp
    │ ├───train_yesno.txt
    │ ├───test_yesno.txt
    │ └───...

data/train_yesno/
data/test_yesno/
目录结构如下:

• • data
    ├───train_yesno 训练文件夹
    │ ├───text (发音id 发音文本)(cp data/local/)
    │ ├───wav.scp (发音id 发音文件)(cp data/local/)
    │ ├───utt2spk (发音id 发音人)
    │ ├───spk2utt (发音人 发音id)
    │ └───...
    └───test_yesno (同上)

3. 准备词典发音脚本

input/
应该是手工的

• • input
    ├───lexicon.txt( 词典，包括语料中涉及的词汇与发音)
    ├───lexicon_nosil.txt (不包含静音的词典。)
    ├───phones.txt(所有发音音素)
    └───task.arpabo(用 ngram-count trans.txt(训练的所有词汇表)生成)

local/prepare_dict.sh

构建语言学知识－词汇和发音词典．需要用到steps和utils目录下的工具。这可以通过修改该目录下的path.sh文件进行更新。

• mkdir -p data/local/dict

这个简单的例子只有两个单词：YES和NO，为简单起见，这里假设这两个单词都只有一个发音：Y和N。这个例子直接拷贝了相关的文件，非语言学的发音，被定义为SIL。

• • data/local/dict
    ├───lexicon.txt (cp input/ )(完整的词位-发音对)
    ├───lexicon_words.txt (cp input/)(单词-发音对)
    ├───nonsilence_phones.txt(语言学发音)
    ├───silence_phones.txt(非语言学发音)
    ├───optional_silence.txt(备选非语言发音)
    └───...

4. 语音词典转成FST脚本
   最后还要把字典转换成kaldi可以接受的数据结构-FST（finit state transducer。

utils/prepare_lang.sh --position-dependent-phones false data/local/dict "<SIL>" data/local/lang data/lang

由于语料有限，所以将位置相关的发音disable。这个命令的各行意义如下：
utils/prepare_lang.sh --position-dependent-phones false <RAW_DICT_PATH> <OOV> <TEMP_DIR> <OUTPUT_DIR>
OOV存放的是词汇表以外的词，这里就是静音词（非语言学发声意义的词）
发音字典是二进制的OpenFst 格式，可以使用如下命令查看：

~/source_code/kaldi-trunk/egs/yesno/s5$ sudo ../../../tools/openfst-1.6.2/bin/fstprint --isymbols=data/lang/phones.txt --osymbols=data/lang/words.txt data/lang/L.fst
0   1   <eps>   <eps>   0.693147182
0   1   SIL <eps>   0.693147182
1   1   SIL <SIL>
1   1   N   NO  0.693147182
1   2   N   NO  0.693147182
1   1   Y   YES 0.693147182
1   2   Y   YES 0.693147182
1
2   1   SIL <eps>

5. 语言学模型
   这里使用的是一元文法语言模型，同样要转换成FST以便kaldi接受。该语言模型原始文件是data/local/lm_tg.arpa，生成好的FST格式的。是字符串和整型值之间的映射关系，kaldi里使用整型值。

qzd@gcyyx519:~/kaldi/egs/yesno/s5$ head -5 data/lang/phones.txt 
<eps> 0
SIL 1
Y 2
N 3
#0 4
qzd@gcyyx519:~/kaldi/egs/yesno/s5$ head -5 data/lang/words.txt 
<eps> 0
<SIL> 1
NO 2
YES 3
#0 4

可以使用如下命令查看生成音素的树形结构： phone树

~/kaldi/src/bin/draw-tree data/lang/phones.txt exp/mono0a/tree | dot -Tps -Gsize=8,10.5 | ps2pdf - ./tree.pdf

image.png

LM（language model）在data/lang_test_tg/

local/prepare_lm.sh

查看拓扑结构(topo)

image.png

在<ForPhone></ForPhones><ForPhone></ForPhones>之间的数字，1表示silcense，2,3分别表示Y和N，这从拓扑图里也可以看出来。
指定了三个状态从左到右的HMM以及默认的转变概率。为silence赋予5个状态。

0.mdl的内容如下：

image.png

分析如下：

• 转移模型

<TransitionModel> 
<Topology> 
<TopologyEntry> 
<ForPhones> 
2 3 
</ForPhones> 
<State> 0 <PdfClass> 0 <Transition> 0 0.75 <Transition> 1 0.25 </State> 
<State> 1 <PdfClass> 1 <Transition> 1 0.75 <Transition> 2 0.25 </State> 
<State> 2 <PdfClass> 2 <Transition> 2 0.75 <Transition> 3 0.25 </State> 
<State> 3 </State> 
</TopologyEntry> 
<TopologyEntry> 
<ForPhones> 
1 
</ForPhones> 
<State> 0 <PdfClass> 0 <Transition> 0 0.25 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 </State> 
<State> 1 <PdfClass> 1 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 2 <PdfClass> 2 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 3 <PdfClass> 3 <Transition> 1 0.25 <Transition> 2 0.25 <Transition> 3 0.25 <Transition> 4 0.25 </State> 
<State> 4 <PdfClass> 4 <Transition> 4 0.75 <Transition> 5 0.25 </State> 
<State> 5 </State> 
</TopologyEntry> 
</Topology>

• 音素 hmm状态

<Triples> 11 
1 0 0 
1 1 1 
1 2 2 
1 3 3 
1 4 4 
2 0 5 
2 1 6 
2 2 7 
3 0 8 
3 1 9 
3 2 10 
</Triples>

• 高斯模型
• • 20+1个log概率对应于11个phone(0-10)。

<LogProbs> 
 [ 0 -1.386294 ... ]
</LogProbs>

• • 高斯模型的维度39维（没有能量），对角GMM参数总共11个。

<DIMENSION> 39 <NUMPDFS> 11 <DiagGMM> 

• • 对角高斯参数的均值方差权重等参数：

<GCONSTS>  [ -79.98567 ]
<WEIGHTS>  [ 1 ]
<MEANS_INVVARS>  [
  0.001624335 ...]
<INV_VARS>  [
  0.006809053 ... ]

编译训练图

image.png

为每一个训练的发音编译FST，为训练的发句编码HMM结构。

二 特征提取

---

steps/make_mfcc.sh --nj 1 data/x mfcc
steps/compute_cmvn_stats.s data/x mfcc #归一化导谱特征系数
utils/fix_data_dir.sh data/$x

1. archive文件存放的是每个发音对应的特征矩阵（帧数X13大小）。
   第一个参数scp:...指示在[dir]/wav1.scp里罗列的文件。
   

   

2. 通常在做NN训练时，提取的是40维度，包括能量和上面的一阶差分和二阶差分。

qzd@gcyyx519:~/source_code/kaldi-trunk/egs/yesno/s5/mfcc$ ../../../../src/featbin/copy-feats ark:raw_mfcc_train_yesno.1.ark ark:- |../../../../src/featbin/add-deltas ark:- ark,t:- | head
../../../../src/featbin/add-deltas ark:- ark,t:- 
../../../../src/featbin/copy-feats ark:raw_mfcc_train_yesno.1.ark ark:- 

三 Mono training(单音节训练)

---

steps/train_mono.sh --nj 1 --cmd "$train_cmd" \ --totgauss 400 \ data/train_yesno data/lang exp/mono0a

这将生成语言模型的FST，
使用如下命令可以查看输出：

fstcopy 'ark:gunzip -c exp/mono0a/fsts.1.gz|' ark,t:- | head -n 20

image.png

其每一列是（Q-from, Q-to, S-in, S-out, Cost）

四 解码和测试

---

1. Graph compilation(图解码)

utils/mkgraph.sh data/lang_test_tg exp/mono0a exp/mono0a/graph_tgpr

首先测试文件也是按此生成。
然后构建全连接的FST。

2. Decoding(解码测试)

steps/decode.sh --nj 1 --cmd "$decode_cmd" \ exp/mono0a/graph_tgpr data/test_yesno exp/mono0a/decode_test_yesno

这将会生成lat.1.gz，该文件包括发音格。exp/mono/decode_test_yesno/wer_X并且也计算了词错误率。exp/mono/decode_test_yesno/scoring/X.tra是文本。X是语言模型权重LMWT。当然也可以在调用score.sh添加参数--min_lmwt 和 --max_lmwt进行修改。

五 结果查看

---

for x in exp//decode; do [ -d x/wer_* | utils/best_wer.sh; done

详细脚本命令见kaldi官网文档
如果对单词级别的对齐信息感兴趣，可以参考steps/get_ctm.sh

参考blog：https://blog.csdn.net/shichaog/article/details/73264152?locationNum=9&fps=1

---

下一篇：[Kaldi] 孤立词识别(yesno)(二)