iOS在线识别：https://www.jianshu.com/u/3c2a0bd52ebc
kaldi静态库集成到项目中没问题后，现在就需要采集音频发送给解码器去解码。
我这里对音频的传输采用的是GStreamer的库，我们也可以采用自己的方式去传输音频，GStreamer的好处就是能将音频进行缓存，每次都能有序的从GstBufferSource中去读取数据进行解码，我们能控制好这个传输的管道，自己实现完全没问题。
采集
iOS采集音频的方式有很多种，我这里简单贴出我采集的方式：
- (void)startCapture {
self.capture = [AVCaptureSession new];
AVCaptureDevice *audioDev = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];
AVCaptureDeviceInput *audioIn = [[AVCaptureDeviceInput alloc] initWithDevice:audioDev error:nil];
if (![self.capture canAddInput:audioIn]) {
NSLog(@"不能添加 input device");
return;
}
[self.capture addInput:audioIn];
AVCaptureAudioDataOutput *audioOut = [AVCaptureAudioDataOutput new];
[audioOut setSampleBufferDelegate:self queue:dispatch_get_main_queue()];
if (![self.capture canAddOutput:audioOut]) {
NSLog(@"不能添加 audio output");
return;
}
[self.capture addOutput:audioOut];
[audioOut connectionWithMediaType:AVMediaTypeAudio];
[self.capture startRunning];
}
传输
因为传输我是用的GStreamer，所以这里需要我们对GStreamer有个了解，不然不知道怎么去跟解码器串联起来，出了问题也不知道怎么查。
通俗的说，GStreamer在这里起到了一个管道的作用，连通采集跟解码器，管道内部有很多的元件，都是对音频的处理，这个我们不用去关心它是怎么去处理的，我们只需要知道这个管道里面都要需要哪些元件，怎么把他们串起来就可以了。
我这里用的元件有：
-
appsrc：这个是必须的元件，主要是将数据插入管道中 -
decodebin：这个是一个通过decoders和demuxers自动解码的元件 -
audioresample：使用可配置的窗口方法将原始音频缓冲区重新采样到不同的采样率，以提高质量 -
audioconvert：转换原始音频缓冲区之间的各种可能的格式，它支持integer到float转换，width/depth转换，signedness和endianness转换和channel转换（例如：upmixing和downmixing)，以及抖动(dithering)和噪声(noise-shaping)。 -
tee：将数据分割到多个pad。对数据流1路分成多路的分路器 -
fakesink：一个数据只进不出的sink，吞噬掉其他的流，让音频流向前推进 -
queue：数据排队，直到达到“max-size-buffer”、“max-size-bytes”和/或“max-size-time”属性指定的限制之一。任何将更多缓冲区推入队列的尝试都会阻塞推线程，直到有更多空间可用为止。 -
自定义的解码插件：这个是将识别解码器生成一个GStreamer插件，加入管道中
我们了解了这些元件，通过下面方法创建元件：
gst_element_factory_make(const gchar *factoryname, const gchar *name)
我们获得了这些元件，接下来我们就需要将这些元件加入到管道（pipeline）中：
gst_bin_add_many(GstBin *bin, GstElement *element_1, ...)
接下来是将每个元件关联起来：
gst_element_link(GstElement *src, GstElement *dest)
以上我们就做好了这个传输数据的管道，有些事件的监听和状态的设置也需要在这里做，因为都是一些标准的设置，我这里就不赘述了。
推送数据
采集到数据后，我们可以通过如下方式推送数据：
g_signal_emit_by_name( G_OBJECT(self->appsrc), "push-buffer", buffer, &ret );
这样数据通过管道就会到达识别解码器，当然解码器也要做好接收的准备，这个后面讲自定义解码器插件的时候会说。
至此，我们就完成了音频的传输。
网友评论