简介
随着IP摄像头的使用场景越来越宽，对IP摄像头视频与音频流的获取与处理便需求增加，本文简单讨论如何使用Python来进行这方面的工作。主要有以下几个部分：
- IP摄像头的基本配置，主要是视频与音频部分
- RTSP协议简要介绍
- 使用VLC软件验证音视频流的拉取
- 使用Python拉取RTSP音视频流
- 使用Python单独拉取并处理音频流
配置摄像头的IP
拿到摄像头后，首先需要配置其IP，以便其联网。一般摄像头厂商会提供配置工具，这里以配置海康网络摄像头的SADP工具为例。
海康提供设备网络搜索-SADP工具。SADP 是一款用于搜索在线设备的工具软件。可以搜索同一局域网内同网段所有在线的设备，并且可以显示设备的相关信息。SADP 也可以用于修改设备的网络参数和恢复或重置设备的密码。
使用的时候，有时无法通过SADP修改网络参数（比如改成DHCP）。
解决方法：其IP摄像头的默认IP地址为192.168.1.64，将电脑用网线直连摄像头，然后修改电脑IP为摄像头同一IP网段，再使用浏览器登录192.168.1.64管理界面，进行网络配置。
配置摄像头的音视频
在摄像头管理页面的视音频tab中有很多要配置选项，不同厂商稍有区别，这里使用默认。
主要关注视频类型这一配置，要配置为复合流，不然就只有输出视频而无音频。
在音频配置界面，音频编码有多种可选，为了获得更好的音频，选择AAC格式，采样率与音频码率也选比较高的。环境噪声过滤，一般可以打开，会有比较明显的去噪效果。
使用上述两图的音视频配置，需要的上限带宽为：4096Kbps视频+64Kbps音频。
RTSP协议
RTSP全称Real Time Streaming Protocol，即实时流协议。IP摄像头一般都支持使用此协议输出音视频流。RTSP的介绍这里引用维其百科。
RTSP是一种网络应用协议，专为娱乐和通信系统的使用，以控制流媒体服务器。该协议用于创建和控制终端之间的媒体会话。媒体服务器的客户端发布VCR命令，例如播放，录制和暂停，以便于实时控制从服务器到客户端（视频点播）或从客户端到服务器（语音录音）的媒体流。
流数据本身的传输不是RTSP的任务。大多数RTSP服务器使用实时传输协议（RTP）和实时传输控制协议（RTCP）结合媒体流传输。然而，一些供应商实现专有传输协议。例如，RealNetworks公司的RTSP服务器软件也使用RealNetworks的专有实时数据传输（RDT）。
RTSP由RealNetworks公司，Netscape公司 [1] 和哥伦比亚大学开发，第一稿于1996年提交给IETF[2]。由互联网工程任务组（IETF）的多方多媒体会话控制工作组（MMUSIC WG）进行了标准化，并于1998年发布为RFC 2326。[3] RTSP 2.0 于2016年发布为RFC 7826，作为RTSP 1.0的替代品。RTSP 2.0基于RTSP 1.0，但除了基本的版本协商机制之外不向后兼容。
虽然在某些方面与HTTP类似，RTSP定义了控制多媒体播放控制顺序。虽然HTTP是无状态的，但RTSP具有状态; 当需要跟踪并发会话时使用标识符。像HTTP一样，RTSP使用TCP来维护端到端连接，而大多数RTSP控制消息由客户端发送到服务器，一些命令沿着另一个方向（即从服务器到客户端）传播。
Ref: https://zh.wikipedia.org/wiki/即時串流協定
使用VLC软件拉取音视频流
在配置好IP摄像头与简要了解RTSP协议后，就可以使用客户端软件来验证拉取音视频流。这里使用跨平台的开源视频软件VLC，因其比较出名就不做介绍。
VLC软件的菜单：Media -> Open Network Stream 填入如下的地址信息就可以拉取音视频播放了。
RTSP简单拉流的格式为：
<pre class="chroma" style="box-sizing: border-box; font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 13.6px; margin-top: 0px; margin-bottom: 0px; background-color: rgb(246, 248, 250); overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; border-radius: 3px; word-break: normal;">rtsp://username:password@<ipaddress></pre>
使用Python拉取RTSP流
使用如上的VLC简单便捷地验证拉取RTSP音视频流之后，可以使用Python代码进行拉流，随后可以进行多种处理。
这里一般会遇到FFmpeg，随后将会使用Python封装的FFmpeg来拉取RTSP流，因此这里先简单介绍FFmpeg。
FFmpeg
FFmpeg是一个全能的跨平台的音视频处理工具。安装完FFmpeg后一般有3个工具：ffmpeg、ffprobe、ffplay。
首先，可以使用ffplay直接播放RTSP流，跟VLC播放差不同，命令行中输入如下即可：
<pre class="chroma" style="box-sizing: border-box; font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 13.6px; margin-top: 0px; margin-bottom: 0px; background-color: rgb(246, 248, 250); overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; border-radius: 3px; word-break: normal;">ffplay rtsp://username:password@<ipaddress></pre>
ffmpeg可以对流、文件进行多种处理，简单接收并保存RTSP如下：
<pre class="chroma" style="box-sizing: border-box; font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 13.6px; margin-top: 0px; margin-bottom: 0px; background-color: rgb(246, 248, 250); overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; border-radius: 3px; word-break: normal;">ffmpeg -i rtsp://username:password@<ipaddress> saved_video.mp4</pre>
ffprobe可以查看媒体文件的信息。
<pre class="chroma" style="box-sizing: border-box; font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 13.6px; margin-top: 0px; margin-bottom: 0px; background-color: rgb(246, 248, 250); overflow-wrap: normal; padding: 16px; overflow: auto; line-height: 1.45; border-radius: 3px; word-break: normal;">ffprobe demo.mp4
ffprobe version 3.4.6-0ubuntu0.18.04.1 Copyright (c) 2007-2019 the FFmpeg developers
built with gcc 7 (Ubuntu 7.3.0-16ubuntu3)
configuration: --prefix=/usr --extra-version=0ubuntu0.18.04.1 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --enable-gpl --disable-stripping --enable-avresample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librubberband --enable-librsvg --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-omx --enable-openal --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libopencv --enable-libx264 --enable-shared
libavutil 55. 78.100 / 55. 78.100
libavcodec 57.107.100 / 57.107.100
libavformat 57. 83.100 / 57. 83.100
libavdevice 57. 10.100 / 57. 10.100
libavfilter 6.107.100 / 6.107.100
libavresample 3. 7. 0 / 3. 7. 0
libswscale 4. 8.100 / 4. 8.100
libswresample 2. 9.100 / 2. 9.100
libpostproc 54. 7.100 / 54. 7.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'demo.mp4':
Metadata:
major_brand : isom
minor_version : 512
compatible_brands: isomiso2avc1mp41
title : Media Presentation
encoder : Lavf57.83.100
Duration: 00:00:07.29, start: 0.000000, bitrate: 3776 kb/s
Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuvj420p(pc), 1920x1080, 4060 kb/s, 25 fps, 25 tbr, 12800 tbn, 50 tbc (default)
Metadata:
handler_name : VideoHandler
Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, mono, fltp, 69 kb/s (default)
Metadata:
handler_name : SoundHandler
(base) </pre>
使用Python保存RTSP流至文件
Python处理RTSP流，可以使用FFmpeg的Python封装库https://github.com/kkroening/ffmpeg-python。
ffmpeg-python封装FFmpeg，并支持FFmpeg复杂的过滤器功能，因其只是一个封装，所以要配合查阅FFmpeg文档使用。
简单拉取RTSP音视流并保存：
import ffmpeg
host = '172.28.51.122'
# 子进程
(
ffmpeg
.input('rtsp://' + 'user:password@' + host)
# 保存的文件名
.output('saved_rtsp.mp4')
# 覆盖同名文件
.overwrite_output()
# 运行保存
.run(capture_stdout=True)
)
使用Python单独拉取音频流
有些时候，我们只想单独拉取并保存音频或视频流，这样就可以节省不必要的带宽。不用担心，RTSP与FFmpeg支持此操作，其配置项为allowed_media_types。
allowed_media_types
设置要从服务器接受的媒体类型。
支持如下标志:
- ‘video’
- ‘audio’
- ‘data’
默认接收全部类型。
因此，单独拉取音频流如下：
- 其中，
rtsp_transport='tcp'解决FFmpeg默认30秒就停止拉取的问题 -
acodec='pcm_s16le', ac=1, ar='16k'是将音频转码为单通道、16K采样、16bits编码的音频来保存。
import ffmpeg
host = '172.28.51.122'
# 子进程
(
ffmpeg
.input('rtsp://' + 'admin:password@' + host, allowed_media_types='audio', rtsp_transport='tcp')['a'] # allowed_media_types='audio' 只读取音频流
.filter('volume', 1) # 音量大小控制
.output(saved_audio.wav', acodec='pcm_s16le', ac=1, ar='16k')
.overwrite_output()
.run(capture_stdout=True)
)
同理，配置llowed_media_types='video'就可以单独拉取视频流。
