简介

随着IP摄像头的使用场景越来越宽，对IP摄像头视频与音频流的获取与处理便需求增加，本文简单讨论如何使用Python来进行这方面的工作。主要有以下几个部分：

• IP摄像头的基本配置，主要是视频与音频部分
• RTSP协议简要介绍
• 使用VLC软件验证音视频流的拉取
• 使用Python拉取RTSP音视频流
• 使用Python单独拉取并处理音频流

配置摄像头的IP

拿到摄像头后，首先需要配置其IP，以便其联网。一般摄像头厂商会提供配置工具，这里以配置海康网络摄像头的SADP工具为例。

1566561591700

海康提供设备网络搜索-SADP工具。SADP 是一款用于搜索在线设备的工具软件。可以搜索同一局域网内同网段所有在线的设备，并且可以显示设备的相关信息。SADP 也可以用于修改设备的网络参数和恢复或重置设备的密码。

使用的时候，有时无法通过SADP修改网络参数（比如改成DHCP）。

解决方法：其IP摄像头的默认IP地址为192.168.1.64，将电脑用网线直连摄像头，然后修改电脑IP为摄像头同一IP网段，再使用浏览器登录192.168.1.64管理界面，进行网络配置。

1566552900606

配置摄像头的音视频

在摄像头管理页面的视音频tab中有很多要配置选项，不同厂商稍有区别，这里使用默认。

主要关注视频类型这一配置，要配置为复合流，不然就只有输出视频而无音频。

1566552496776

在音频配置界面，音频编码有多种可选，为了获得更好的音频，选择AAC格式，采样率与音频码率也选比较高的。环境噪声过滤，一般可以打开，会有比较明显的去噪效果。

1566552583200

使用上述两图的音视频配置，需要的上限带宽为：4096Kbps视频+64Kbps音频。

RTSP协议

RTSP全称Real Time Streaming Protocol，即实时流协议。IP摄像头一般都支持使用此协议输出音视频流。RTSP的介绍这里引用维其百科。

RTSP是一种网络应用协议，专为娱乐和通信系统的使用，以控制流媒体服务器。该协议用于创建和控制终端之间的媒体会话。媒体服务器的客户端发布VCR命令，例如播放，录制和暂停，以便于实时控制从服务器到客户端（视频点播）或从客户端到服务器（语音录音）的媒体流。

流数据本身的传输不是RTSP的任务。大多数RTSP服务器使用实时传输协议（RTP）和实时传输控制协议（RTCP）结合媒体流传输。然而，一些供应商实现专有传输协议。例如，RealNetworks公司的RTSP服务器软件也使用RealNetworks的专有实时数据传输（RDT）。

RTSP由RealNetworks公司，Netscape公司 [1] 和哥伦比亚大学开发，第一稿于1996年提交给IETF[2]。由互联网工程任务组（IETF）的多方多媒体会话控制工作组（MMUSIC WG）进行了标准化，并于1998年发布为RFC 2326。[3] RTSP 2.0 于2016年发布为RFC 7826，作为RTSP 1.0的替代品。RTSP 2.0基于RTSP 1.0，但除了基本的版本协商机制之外不向后兼容。

虽然在某些方面与HTTP类似，RTSP定义了控制多媒体播放控制顺序。虽然HTTP是无状态的，但RTSP具有状态; 当需要跟踪并发会话时使用标识符。像HTTP一样，RTSP使用TCP来维护端到端连接，而大多数RTSP控制消息由客户端发送到服务器，一些命令沿着另一个方向（即从服务器到客户端）传播。

Ref: https://zh.wikipedia.org/wiki/即時串流協定

使用VLC软件拉取音视频流

在配置好IP摄像头与简要了解RTSP协议后，就可以使用客户端软件来验证拉取音视频流。这里使用跨平台的开源视频软件VLC，因其比较出名就不做介绍。

VLC软件的菜单：Media -> Open Network Stream 填入如下的地址信息就可以拉取音视频播放了。

RTSP简单拉流的格式为：

<pre class="chroma" style="box-sizing: border-box; font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 13.6px; margin-top: 0px; margin-bottom: 0px; background-color: rgb(246, 248, 250); overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; border-radius: 3px; word-break: normal;">rtsp://username:password@<ipaddress></pre>

1566563091952

使用Python拉取RTSP流

使用如上的VLC简单便捷地验证拉取RTSP音视频流之后，可以使用Python代码进行拉流，随后可以进行多种处理。

这里一般会遇到FFmpeg，随后将会使用Python封装的FFmpeg来拉取RTSP流，因此这里先简单介绍FFmpeg。

FFmpeg

FFmpeg是一个全能的跨平台的音视频处理工具。安装完FFmpeg后一般有3个工具：ffmpeg、ffprobe、ffplay。

首先，可以使用ffplay直接播放RTSP流，跟VLC播放差不同，命令行中输入如下即可：

<pre class="chroma" style="box-sizing: border-box; font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 13.6px; margin-top: 0px; margin-bottom: 0px; background-color: rgb(246, 248, 250); overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; border-radius: 3px; word-break: normal;">ffplay rtsp://username:password@<ipaddress></pre>

ffmpeg可以对流、文件进行多种处理，简单接收并保存RTSP如下：

<pre class="chroma" style="box-sizing: border-box; font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 13.6px; margin-top: 0px; margin-bottom: 0px; background-color: rgb(246, 248, 250); overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; border-radius: 3px; word-break: normal;">ffmpeg -i rtsp://username:password@<ipaddress> saved_video.mp4</pre>

ffprobe可以查看媒体文件的信息。

<pre class="chroma" style="box-sizing: border-box; font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 13.6px; margin-top: 0px; margin-bottom: 0px; background-color: rgb(246, 248, 250); overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; border-radius: 3px; word-break: normal;">ffprobe demo.mp4
ffprobe version 3.4.6-0ubuntu0.18.04.1 Copyright (c) 2007-2019 the FFmpeg developers
built with gcc 7 (Ubuntu 7.3.0-16ubuntu3)
configuration: --prefix=/usr --extra-version=0ubuntu0.18.04.1 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --enable-gpl --disable-stripping --enable-avresample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librubberband --enable-librsvg --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-omx --enable-openal --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libopencv --enable-libx264 --enable-shared
libavutil 55. 78.100 / 55. 78.100
libavcodec 57.107.100 / 57.107.100
libavformat 57. 83.100 / 57. 83.100
libavdevice 57. 10.100 / 57. 10.100
libavfilter 6.107.100 / 6.107.100
libavresample 3. 7. 0 / 3. 7. 0
libswscale 4. 8.100 / 4. 8.100
libswresample 2. 9.100 / 2. 9.100
libpostproc 54. 7.100 / 54. 7.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'demo.mp4':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2avc1mp41
title : Media Presentation
encoder : Lavf57.83.100
Duration: 00:00:07.29, start: 0.000000, bitrate: 3776 kb/s
Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuvj420p(pc), 1920x1080, 4060 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)
Metadata:
handler_name : VideoHandler
Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, mono, fltp, 69 kb/s (default)
Metadata:
handler_name : SoundHandler
(base) </pre>

使用Python保存RTSP流至文件

Python处理RTSP流，可以使用FFmpeg的Python封装库https://github.com/kkroening/ffmpeg-python。

ffmpeg-python封装FFmpeg，并支持FFmpeg复杂的过滤器功能，因其只是一个封装，所以要配合查阅FFmpeg文档使用。

ffmpeg-python logo

简单拉取RTSP音视流并保存：

import ffmpeg

host = '172.28.51.122'
# 子进程
(
    ffmpeg
        .input('rtsp://' + 'user:password@' + host)
        # 保存的文件名
        .output('saved_rtsp.mp4')
        # 覆盖同名文件
        .overwrite_output()
        # 运行保存
        .run(capture_stdout=True)
)

使用Python单独拉取音频流

有些时候，我们只想单独拉取并保存音频或视频流，这样就可以节省不必要的带宽。不用担心，RTSP与FFmpeg支持此操作，其配置项为allowed_media_types。

allowed_media_types

设置要从服务器接受的媒体类型。

支持如下标志:

• ‘video’
• ‘audio’
• ‘data’

默认接收全部类型。

因此，单独拉取音频流如下：

• 其中，rtsp_transport='tcp'解决FFmpeg默认30秒就停止拉取的问题
• acodec='pcm_s16le', ac=1, ar='16k'是将音频转码为单通道、16K采样、16bits编码的音频来保存。

import ffmpeg
host = '172.28.51.122'

# 子进程
(
    ffmpeg
        .input('rtsp://' + 'admin:password@' + host, allowed_media_types='audio',  rtsp_transport='tcp')['a']  # allowed_media_types='audio' 只读取音频流
        .filter('volume', 1)  # 音量大小控制
        .output(saved_audio.wav', acodec='pcm_s16le', ac=1, ar='16k')
        .overwrite_output()
        .run(capture_stdout=True)
)

同理，配置llowed_media_types='video'就可以单独拉取视频流。

Ref: https://ffmpeg.org/ffmpeg-protocols.html