vx 搜索『gjzkeyframe』 关注『关键帧Keyframe』来及时获得最新的音视频技术文章。

毕加索《手里捧着鸽子的孩子》像素版

这个公众号会路线图 式的遍历分享音视频技术：音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。

iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。

在音视频工程示例这个栏目的前面 6 篇 AVDemo 文章中，我们拆解了音频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染流程并基于 iOS 系统 API 实现了 Demo：

• iOS AVDemo（1）：音频采集
• iOS AVDemo（2）：音频编码
• iOS AVDemo（3）：音频封装
• iOS AVDemo（4）：音频解封装
• iOS AVDemo（5）：音频解码
• iOS AVDemo（6）：音频渲染

你可以在关注本公众号后，在公众号发送消息『AVDemo』来获取 Demo 的全部源码。

如果你看完这些 Demo，对 iOS 平台的音视频开发多多少少会有一些认识了，在这个基础上我们来总结一下 iOS 音频处理框架，以及在前面的 Demo 中我们用到的主要 API 和数据结构有哪些。

1、iOS 音频框架

当我们想要了解 iOS 的音频处理框架时，以下是我们能比较容易找到的两张官方架构图。它们分别出自 Audio Unit Hosting Guide for iOS[1] 和 Core Audio Overview[2] 这两篇文档。

iOS Audio Frameworks

iOS Audio Framework

Core Audio API Layers

Core Audio API Layers

但这两篇文档已经比较陈旧了，是多年之前的文档，以至于和最新的 iOS 15 的框架有不少的出入。而新版本的 iOS 官方技术文档也没有给出比较清晰的音频架构图。所以在这里我们就按照 Demo 中涉及的系统 API 来挑选介绍几个相关的 Framework：

• Audio Unit Framework
• Core Media Framework
• Audio Toolbox Framework
• AVFoundation Framework

2、Audio Unit Framework

Audio Unit Framework[3]：最底层的音频处理 API，功能强大，直接驱动底层硬件，提供快速、模块化的音频处理。当你要实现低延迟的音频处理（比如 VoIP）、对合成声音进行响应式的播放（比如音乐游戏、合成乐器声音）、实现特定的音频能力（比如回声消除、混音、声音均衡）、实现音频处理链支持灵活组装音频处理单元时，你可以选择使用 Audio Unit 的 API。

需要注意的是，在最新的 iOS 系统库架构中，Audio Unit Framework 的实现都已经迁移到 Audio Toolbox Framework 中去了。

下面是 Audio Unit 框架的主要模块：

1）Audio Component Services[4]：定义了发现、开启和关闭音频单元（audio unit）以及音频编解码器的接口。

常用的数据类型：

• AudioComponent[5]：表示音频组件。一种音频组件通常由 type、subtype、manufacturer 三属性来唯一标识。
• AudioComponentDescription[6]：表示音频组件的描述。其中 type、subtype、manufacturer 三属性组合起来标识一种音频组件。
• AudioComponentInstance[7]：表示音频组件的实例。通常我们使用查找方法（AudioComponentFindNext）来找到符合描述的音频组件，然后再去使用创建方法（AudioComponentInstanceNew）创建一个对应的音频组件实例。

常用的接口：

• AudioComponentFindNext(...)[8]：用于查找符合描述的音频组件。
• AudioComponentGetDescription(...)[9]：用于获取一种音频组件对应的描述。
• AudioComponentInstanceNew(...)[10]：创建一个音频组件实例。
• AudioComponentInstanceDispose(...)[11]：释放一个音频组件实例。

2）Audio Unit Component Services[12]：提供了使用音频单元（audio unit）的 C 语言接口。一个音频单元（audio unit）是用来进行音频数据处理或者音频数据生成的插件单元。要发现、开启、关闭音频单元（audio unit）则可以使用 Audio Component Services。

常用的数据类型：

• AudioUnit[13]，typedef AudioComponentInstance AudioUnit;。AudioUnit 就是一种 AudioComponentInstance。
• AudioUnitParameter[14]：表示 AudioUnit 的参数，一个 AudioUnit 参数由 scope、element、parameterID 三属性定义。
• AudioUnitProperty[15]：表示 AudioUnit 的属性，一个 AudioUnitProperty 由 scope、element、propertyID 三属性定义。

常用的接口：

• AudioUnitInitialize(...)[16]：初始化一个 AudioUnit。如果初始化成功，说明 input/output 的格式是可支持的，并且处于可以开始渲染的状态。
• AudioUnitUninitialize(...)[17]：卸载一个 AudioUnit。一旦一个 AudioUnit 被初始化后，要想改变它的状态来响应某些环境变化，就需要先卸载。这时候会使得 AudioUnit 释放它的资源。此后，调用者可以重新配置这个 AudioUnit 来适配新的环境，比如处理与之前不同的采样率。在这之后，可以重新初始化这个 AudioUnit 来应用这些更改。
• AudioUnitRender(...)[18]：渲染输入的音频数据，数据量为 inNumberOfFrames。渲染结果的数据存储在 ioData 中。注意调用方需要提供音频时间戳，这个时间戳应该满足单调递增。
• AudioUnitGetProperty(...)[19]：获取 AudioUnit 的属性。
• AudioUnitSetProperty(...)[20]：设置 AudioUnit 的属性。
• AudioUnitGetParameter(...)[21]：获取 AudioUnit 的参数。
• AudioUnitSetParameter(...)[22]：设置 AudioUnit 的参数。

常用的回调：

• AURenderCallback[23]：在以下几种情况会被系统调用：当 AudioUnit 需要输入采样数据；在一个渲染操作前；在一个渲染操作后。
• AudioUnitPropertyListenerProc[24]：当一个指定的 AudioUnit 的 property 发生改变时，会被系统调用。

3）Output Audio Unit Services[25]：提供了 start、stop 用于 I/O 的音频单元（通常是用于输出的音频单元）的 C 语言接口。

常用的接口：

• AudioOutputUnitStart(...)[26]：启动一个 I/O AudioUnit，同时会启动与之连接的 AudioUnit Processing Graph。

• AudioOutputUnitStop(...)[27]：关闭一个 I/O AudioUnit，同时会关闭与之连接的 AudioUnit Processing Graph。

3、Core Media Framework

Core Media Framework[28]：定义和封装了 AVFoundation 等更上层的媒体框架需要的媒体处理流水线（包含时间信息）以及其中使用的接口和数据类型。使用 Core Media 层的接口和数据类型可以高效的处理媒体采样数据、管理采样数据队列。下面是 Core Media 框架的主要模块：

1）Sample Processing[29]：采样数据处理。常用的数据类型：

• CMSampleBuffer[30]：系统用来在音视频处理的 pipeline 中使用和传递媒体采样数据的核心数据结构。你可以认为它是 iOS 音视频处理 pipeline 中的流通货币，摄像头采集的视频数据接口、麦克风采集的音频数据接口、编码和解码数据接口、读取和存储视频接口、视频渲染接口等等，都以它作为参数。通常，CMSampleBuffer 中要么包含一个或多个媒体采样的 CMBlockBuffer，要么包含一个 CVImageBuffer。
• • CMSampleBufferCreateReady(...)[31]：基于媒体数据创建一个 CMSampleBuffer。
  • CMSampleBufferCreate(...)[32]：创建一个 CMSampleBuffer，支持设置数据已准备好的回调。
  • CMSampleBufferSetDataBufferFromAudioBufferList(...)[33]：为指定的 CMSampleBuffer 创建其对应的 CMBlockBuffer，其中的数据拷贝自 AudioBufferList。
  • CMSampleBufferGetFormatDescription(...)[34]：返回 CMSampleBuffer 中的采样数据对应的 CMFormatDescription。
  • CMSampleBufferGetDataBuffer(...)[35]：返回 CMSampleBuffer 中的 CMBlockBuffer。注意调用方不会持有返回的 CMBlockBuffer，如果想要维护指向它的指针，需要显式 retain 一下。
  • CMSampleBufferGetPresentationTimeStamp(...)[36]：获取 CMSampleBuffer 中所有采样的最小的 pts 时间戳。
• CMBlockBuffer[37]：一个或多个媒体采样的的裸数据。其中可以封装：音频采集后、编码后、解码后的数据（如：PCM 数据、AAC 数据）；视频编码后的数据（如：H.264 数据）。
• • CMBlockBufferCreateWithMemoryBlock(...)[38]：基于内存数据创建一个 CMBlockBuffer。
  • CMBlockBufferGetDataPointer(...)[39]：获取访问 CMBlockBuffer 中数据的地址。
• CMFormatDescription[40]：用于描述 CMSampleBuffer 中采样的格式信息。
• • CMFormatDescriptionCreate(...)[41]：创建一个 CMFormatDescription。
• CMAudioFormatDescription[42]：typedef CMFormatDescriptionRef CMAudioFormatDescriptionRef;。CMAudioFormatDescription 是一种 CMFormatDescriptionRef。
• • CMAudioFormatDescriptionCreate(...)[43]：基于 AudioStreamBasicDescription 来创建一个 CMAudioFormatDescription。
  • CMAudioFormatDescriptionGetStreamBasicDescription(...)[44]：返回一个指向 CMFormatDescription（通常应该是一个 CMAudioFormatDescription） 中的 AudioStreamBasicDescription 的指针。如果是非音频格式，就返回 NULL。
• CMAttachment[45]：为 CMSampleBuffer 添加支持的 metadata。

这里我们还要补充介绍 CoreAudioTypes Framework 中的几种数据类型：

• AudioStreamBasicDescription[46]：用于描述音频流数据格式信息，比如采样位深、声道数、采样率、每帧字节数、每包帧数、每包字节数、格式标识等。
• AudioBuffer[47]：存储并描述音频数据的缓冲区。mData 中存储着数据。可以存储两种不同类型的音频：1）单声道音频数据；2）多声道的交错音频数据，这时候 mNumberChannels 指定了声道数。
• AudioBufferList[48]：一组 AudioBuffer。
• AudioTimeStamp[49]：从多维度来表示一个时间戳的数据结构。

2）Time Representation[50]：时间信息表示。常用的数据类型：

• CMTime[51]：用 value/timescale 的方式表示时间。这样可以解决浮点运算时的精度损失问题。timescale 表示时间刻度，通常在处理视频内容时常见的时间刻度为 600，这是大部分常用视频帧率 24fps、25fps、30fps 的公倍数，音频数据常见的时间刻度就是采样率，比如 44100 或 48000。
• CMTimeRange[52]：用 start+duration 的方式表示一段时间。
• CMSampleTimingInfo[53]：一个 CMSampleBuffer 的时间戳信息，包括 pts、dts、duration。

3）Queues[54]：数据容器。常用的数据类型：

• CMSimpleQueue[55]：一个简单地、无锁的 FIFO 队列，可以放 (void *) 元素，元素不能是 NULL 或 0，如果元素是指向分配内存的指针，其内存生命周期要在外面自己管理。可以用作音视频采样数据（CMSampleBufferRef）的队列，不过要自己加锁。
• CMBufferQueue[56]：支持存储任何 CFTypeRef 类型的数据，但是数据类型需要有 duration 的概念，在创建 CMBufferQueue 的时候，会有一些回调，其中一个必须的回调是要返回队列中对象的 duration。CMBufferQueue 是设计用于在生产者/消费者模型中在不同的线程中读写数据。通常是两个线程（一个是生产者入队线程，一个是消费者出队线程），当然更多的线程也是可以的。
• CMMemoryPool[57]：内存池容器，对使用大块的内存有优化。一个 CMMemoryPool 的实例实际上维护一个最近释放内存的池子用于内存分配服务。这样的目的是加快随后的内存分配。在需要重复分配大块内存时，比如输出视频编码数据，可以使用这个数据结构。

4、Audio Toolbox Framework

Audio Toolbox Framework[58]：提供了音频录制、播放、流解析、编码格式转换、Audio Session 管理等功能接口。下面是 Audio Toolbox 框架的主要模块：

1）Audio Units[59]：音频单元。关于 Audio Unit 的内容，还可以参考上面讲到的 Audio Unit Framework。

• Audio Unit v3 Plug-Ins[60]：基于 AUv3 应用扩展接口来提供自定义的音效、乐器及其他音频能力。
• Audio Components[61]：定义了发现、加载、配置和关闭音频组件（包括音频单元（audio unit）、音频编解码器（audio codec））的接口。
• Audio Unit v2 (C) API[62]：配置一个音频单元（audio unit）以及进行音频渲染。
• Audio Unit Properties[63]：获取有关内置混音器、均衡器、滤波器、特效及音频应用扩展的信息。
• Audio Unit Voice I/O[64]：配置系统语音处理、响应语音事件。

2）Playback and Recording[65]：音频播放和录制。

• Audio Queue Services[66]：提供了简单的、低开销的方式来录制和播放音频的 C 语言接口。支持 Linear PCM、AAC 的录制和播放。实现了连接音频硬件、管理内存、根据需要使用解码器解码音频、调解录音和播放。但是要实现低延迟、回声消除、混音等功能，还得使用 AudioUnit。
• Audio Services[67]：提供了一组 C 语言接口来实现播放短声或触发 iOS 设备的振动效果。
• Music Player[68]：支持播放一组音轨，并管理播放的各种的事件。

3）Audio Files and Formats[69]：音频文件和格式。

• Audio Format Services[70]：获取音频格式和编解码器的信息。
• Audio File Services[71]：从磁盘或内存读写各种音频数据。
• Extended Audio File Services[72]：通过组合 Audio File Services 和 Audio Converter Services 来提供读写音频编码文件或 LPCM 音频文件。
• Audio File Stream Services[73]：解析音频流数据。
• Audio File Components[74]：获取音频文件格式以及文件中包含的数据的信息。
• Core Audio File Format[75]：解析 Core Audio 文件的结构。

4）Utilities[76]：其他音频功能支持。

• Audio Converter Services[77]：音频编解码。支持 LPCM 各种格式转换，以及 LPCM 与编码格式（如 AAC）的转换。常用的接口：

  • AudioConverterNew(...)[78]：根据指定的输入和输出音频格式创建对应的转换器（编解码器）实例。

  • AudioConverterNewSpecific(...)[79]：根据指定的 codec 来创建一个新的音频转换器（编解码器）实例。

  • AudioConverterReset(...)[80]：重置音频转换器（编解码器）实例，并清理它的缓冲区。

  • AudioConverterDispose(...)[81]：释放音频转换器（编解码器）实例。

  • AudioConverterGetProperty(...)[82]：获取音频转换器（编解码器）的属性。

  • AudioConverterSetProperty(...)[83]：设置音频转换器（编解码器）的属性。

  • AudioConverterConvertBuffer(...)[84]：只用于一种特殊的情况下将音频数据从一种 LPCM 格式转换为另外一种，并且前后采样率一致。这个接口不支持大多数压缩编码格式。

  • AudioConverterFillComplexBuffer(...)[85]：转换（编码）回调函数提供的音频数据，支持不交错和包格式。大部分情况下都建议用这个接口，除非是要将音频数据从一种 LPCM 格式转换为另外一种。

  • AudioConverterComplexInputDataProc[86]：为 AudioConverterFillComplexBuffer(...) 接口提供输入数据的回调。

  • Audio Codec[87]：提供了支持将音频数据进行编码格式转换的 API。具体支持哪些编码格式取决于系统提供了哪些编解码器。

5、AVFoundation Framework

AVFoundation Framework[88] 是更上层的面向对象的一个音视频处理框架。它提供了音视频资源管理、相机设备管理、音视频处理、系统级音频交互管理的能力，功能非常强大。如果对其功能进行细分，可以分为如下几个模块：

• Assets，音视频资源管理。
• Playback，媒体播放及自定义播放行为支持。
• Capture，内置及外置的相机、麦克风等采集设备管理，图片、音视频录制。
• Editing，音视频编辑。
• Audio，音频播放、录制和处理，App 系统音频行为配置。
• Speech，文本语音转换。

在我们前面的 Demo 中封装 Muxer 和 Demuxer 及设置 AudioSession 时会用到 AVFoundation Framework 的一些能力，我们这里对应地介绍一下。

• AVAssetWriter[89]：支持将媒体数据写入 QuickTime 或 MPEG-4 格式的文件中，支持对多轨道的媒体数据进行交错处理来提高播放和存储的效率，支持对媒体采样进行转码，支持写入 metadata。需要注意的是，一个 AVAssetWriter 实例只能对应写一个文件，如果要写入多个文件，需要创建多个 AVAssetWriter 实例。
  • canAddInput:[90]：检查 AVAssetWriter 是否支持添加对应的 AVAssetWriterInput。
  • addInput:[91]：给 AVAssetWriter 添加一个 AVAssetWriterInput。注意必须在 AVAssetWriter 开始写入之前添加。
  • startWriting[92]：开始写入。必须在配置好 AVAssetWriter 添加完 AVAssetWriterInput 做好准备后再调用这个方法。在调用完这个方法后，需要调用 startSessionAtSourceTime: 开始写入会话，此后就可以使用对应的 AVAssetWriterInput 来写入媒体采样数据。
  • startSessionAtSourceTime:[93]：开启写入会话。在 startWriting 后调用，在写入媒体采样数据之前调用。
  • endSessionAtSourceTime:[94]：结束写入会话。结束时间是会话结束时样本数据在时间轴上的时刻。如果没有显示调用这个方法，系统会在你调用 finishWritingWithCompletionHandler:结束写入时自动调用。
  • finishWritingWithCompletionHandler:[95]：标记 AVAssetWriter 的所有 input 为结束，完成写入。为了保证 AVAssetWriter 完成所有采样数据的写入，要在调用添加数据正确返回后调用这个方法。
  • cancelWriting[96]：取消创建输出文件。如果 AVAssetWriter 的状态是 Failed 或 Completed，调用这个方法无效，否则，调用它会阻塞调用线程，直到会话取消完成。如果 AVAssetWriter 已经创建了输出文件，调用这个方法会删除这个文件。
• AVAssetWriterInput[97]：用于向 AVAssetWriter 实例的输出文件的一个轨道添加媒体采样数据。一个实例只能对应一个轨道媒体数据或 metadata 数据的写入，当使用多个实例向多个轨道写入数据时，需要注意检查 AVAssetWriterInput 的 readyForMoreMediaData 属性。
  • expectsMediaDataInRealTime[98]：输入是否为实时数据源，比如相机采集。当设置这个值为 YES 时，会优化用于实时使用的输入来精准计算 readyForMoreMediaData 的状态。
  • readyForMoreMediaData[99]：表示 AVAssetWriterInput 是否已经准备好接收媒体数据。
  • requestMediaDataWhenReadyOnQueue:usingBlock:[100]：告诉 AVAssetWriterInput 在方便的时候去请求数据并写入输出文件。在对接拉取式的数据源时，可以用这个方法。
  • appendSampleBuffer:[101]：通过 AVAssetWriterInput 向输出文件添加媒体数据，但是添加之前媒体数据的顺序需要自己处理。注意，调用这个方法添加采样数据后，不要更改采样数据的内容。
  • markAsFinished[102]：标记 AVAssetWriterInput 为完成，表示已经完成向它添加媒体数据了。
• AVAssetReader[103]：用于从 AVAsset 资源中读取媒体数据。这个 AVAsset 可以是 QuickTime 或 MPEG-4 文件，也可以是编辑创作的 AVComposition。
  • canAddOutput:[104]：检查 AVAssetReader 是否支持添加对应的 AVAssetReaderOutput。
  • addOutput:[105]：给 AVAssetReader 添加一个 AVAssetReaderOutput。注意必须在 AVAssetReader 开始读取之前添加。
  • startReading[106]：开始读取。
  • cancelReading[107]：在读完数据之前取消读取可以调用这个接口。
• AVAssetReaderOutput[108]：一个抽象类，定义了从 AVAsset 资源中读取媒体采样数据的接口。通常我们可以使用 AVAssetReaderTrackOutput、AVAssetReaderVideoCompositionOutput 等具体的实现类。
• AVAssetReaderTrackOutput[109]：
  • alwaysCopiesSampleData[110]：是否总是拷贝采样数据。如果要修改读取的采样数据，可以设置 YES，否则就设置 NO，这样性能会更好。
  • copyNextSampleBuffer[111]：从 Output 拷贝下一个 CMSampleBuffer。
• AVAudioSession[112]：在最新版本的 iOS 系统库中，AVAudioSession 已经迁移到 AVFAudio Framework 中了。AVAudioSession 是系统用来管理 App 对音频硬件资源的使用的，比如：设置当前 App 与其他 App 同时使用音频时，是否混音、打断或降低其他 App 的声音；手机静音键打开时是否还可以播放声音；指定音频输入或者输出设备；是否支持录制或边录制边播放；声音被打断时的通知。我们这里只简单介绍下 Demo 中用到的接口：
  • setCategory:withOptions:error:[113]：设置 AudioSession 的类型和选项参数。比如类型为 AVAudioSessionCategoryPlayback 表示支持播放；AVAudioSessionCategoryPlayAndRecord 表示同时支持播放和录制等等。
  • setMode:error:[114]：设置 AudioSession 的模式。AudioSession 的类型和模式一起决定了 App 如何使用音频。通常需要在激活 AudioSession 之前设置类型和模式。比如模式为 AVAudioSessionModeVideoRecording 表示当期要录制视频；AVAudioSessionModeVoiceChat 表示语音聊天。
  • setActive:withOptions:error:[115]：激活或释放 AudioSession 的使用。

以上这些框架及 API 基本上可以覆盖我们在前面的 Demo 中用到的能力了。

参考资料

[1]

Audio Unit Hosting Guide for iOS: https://developer.apple.com/library/archive/documentation/MusicAudio/Conceptual/AudioUnitHostingGuide_iOS/AudioUnitHostingFundamentals/AudioUnitHostingFundamentals.html

[2]

Core Audio Overview: https://developer.apple.com/library/archive/documentation/MusicAudio/Conceptual/CoreAudioOverview/CoreAudioEssentials/CoreAudioEssentials.html

[3]

Audio Unit: https://developer.apple.com/documentation/audiounit?language=objc

[4]

Audio Component Services: https://developer.apple.com/documentation/audiounit/audio_component_services?language=objc

[5]

AudioComponent: https://developer.apple.com/documentation/audiotoolbox/audiocomponent?language=objc

[6]

AudioComponentDescription: https://developer.apple.com/documentation/audiotoolbox/audiocomponentdescription?language=objc

[7]

AudioComponentInstance: https://developer.apple.com/documentation/audiotoolbox/audiocomponentinstance?language=objc

[8]

AudioComponentFindNext(...): https://developer.apple.com/documentation/audiotoolbox/1410445-audiocomponentfindnext?language=objc

[9]

AudioComponentGetDescription(...): https://developer.apple.com/documentation/audiotoolbox/1410523-audiocomponentgetdescription?language=objc

[10]

AudioComponentInstanceNew(...): https://developer.apple.com/documentation/audiotoolbox/1410465-audiocomponentinstancenew?language=objc

[11]

AudioComponentInstanceDispose(...): https://developer.apple.com/documentation/audiotoolbox/1410508-audiocomponentinstancedispose

[12]

Audio Unit Component Services: https://developer.apple.com/documentation/audiounit/audio_component_services?language=objc

[13]

AudioUnit: https://developer.apple.com/documentation/audiotoolbox/audiounit?language=objc

[14]

AudioUnitParameter: https://developer.apple.com/documentation/audiotoolbox/audiounitparameter?language=objc

[15]

AudioUnitProperty: https://developer.apple.com/documentation/audiotoolbox/audiounitproperty?language=objc

[16]

AudioUnitInitialize(...): https://developer.apple.com/documentation/audiotoolbox/1439851-audiounitinitialize?language=objc

[17]

AudioUnitUninitialize(...): https://developer.apple.com/documentation/audiotoolbox/1438415-audiounituninitialize?language=objc

[18]

AudioUnitRender(...): https://developer.apple.com/documentation/audiotoolbox/1438430-audiounitrender?language=objc

[19]

AudioUnitGetProperty(...): https://developer.apple.com/documentation/audiotoolbox/1439840-audiounitgetproperty?language=objc

[20]

AudioUnitSetProperty(...): https://developer.apple.com/documentation/audiotoolbox/1440371-audiounitsetproperty?language=objc

[21]

AudioUnitGetParameter(...): https://developer.apple.com/documentation/audiotoolbox/1440055-audiounitgetparameter?language=objc

[22]

AudioUnitSetParameter(...): https://developer.apple.com/documentation/audiotoolbox/1438454-audiounitsetparameter?language=objc

[23]

AURenderCallback: https://developer.apple.com/documentation/audiotoolbox/aurendercallback?language=objc

[24]

AudioUnitPropertyListenerProc: https://developer.apple.com/documentation/audiotoolbox/audiounitpropertylistenerproc?language=objc

[25]

Output Audio Unit Services: https://developer.apple.com/documentation/audiounit/output_audio_unit_services?language=objc

[26]

AudioOutputUnitStart(...): https://developer.apple.com/documentation/audiotoolbox/1439763-audiooutputunitstart?language=objc

[27]

AudioOutputUnitStop(...): https://developer.apple.com/documentation/audiotoolbox/1440513-audiooutputunitstop?language=objc

[28]

Core Media: https://developer.apple.com/documentation/coremedia?language=objc

[29]

Sample Processing: https://developer.apple.com/documentation/coremedia?language=objc

[30]

CMSampleBuffer: https://developer.apple.com/documentation/coremedia/cmsamplebuffer-u71?language=objc

[31]

CMSampleBufferCreateReady(...): https://developer.apple.com/documentation/coremedia/1489513-cmsamplebuffercreateready?language=objc

[32]

CMSampleBufferCreate(...): https://developer.apple.com/documentation/coremedia/1489723-cmsamplebuffercreate?language=objc

[33]

CMSampleBufferSetDataBufferFromAudioBufferList(...): https://developer.apple.com/documentation/coremedia/1489725-cmsamplebuffersetdatabufferfroma?language=objc

[34]

CMSampleBufferGetFormatDescription(...): https://developer.apple.com/documentation/coremedia/1489185-cmsamplebuffergetformatdescripti?language=objc

[35]

CMSampleBufferGetDataBuffer(...): https://developer.apple.com/documentation/coremedia/1489629-cmsamplebuffergetdatabuffer?language=objc

[36]

CMSampleBufferGetPresentationTimeStamp(...): https://developer.apple.com/documentation/coremedia/1489252-cmsamplebuffergetpresentationtim?language=objc

[37]

CMBlockBuffer: https://developer.apple.com/documentation/coremedia/cmblockbuffer-u9i?language=objc

[38]

CMBlockBufferCreateWithMemoryBlock(...): https://developer.apple.com/documentation/coremedia/1489501-cmblockbuffercreatewithmemoryblo?language=objc

[39]

CMBlockBufferGetDataPointer(...): https://developer.apple.com/documentation/coremedia/1489264-cmblockbuffergetdatapointer?language=objc

[40]

CMFormatDescription: https://developer.apple.com/documentation/coremedia/cmformatdescription-u8g?language=objc

[41]

CMFormatDescriptionCreate(...): https://developer.apple.com/documentation/coremedia/1489182-cmformatdescriptioncreate?language=objc

[42]

CMAudioFormatDescription: https://developer.apple.com/documentation/coremedia/cmaudioformatdescription?language=objc

[43]

CMAudioFormatDescriptionCreate(...): https://developer.apple.com/documentation/coremedia/1489522-cmaudioformatdescriptioncreate?language=objc

[44]

CMAudioFormatDescriptionGetStreamBasicDescription(...): https://developer.apple.com/documentation/coremedia/1489226-cmaudioformatdescriptiongetstrea?language=objc

[45]

CMAttachment: https://developer.apple.com/documentation/coremedia/cmattachment?language=objc

[46]

AudioStreamBasicDescription: https://developer.apple.com/documentation/coreaudiotypes/audiostreambasicdescription?language=objc

[47]

AudioBuffer: https://developer.apple.com/documentation/coreaudiotypes/audiobuffer?language=objc

[48]

AudioBufferList: https://developer.apple.com/documentation/coreaudiotypes/audiobufferlist?language=objc

[49]

AudioTimeStamp: https://developer.apple.com/documentation/coreaudiotypes/audiotimestamp?language=objc

[50]

Time Representation: https://developer.apple.com/documentation/coremedia?language=objc

[51]

CMTime: https://developer.apple.com/documentation/coremedia/cmtime-u58?language=objc

[52]

CMTimeRange: https://developer.apple.com/documentation/coremedia/cmtimerange-qts?language=objc

[53]

CMSampleTimingInfo: https://developer.apple.com/documentation/coremedia/cmsampletiminginfo?language=objc

[54]

Queues: https://developer.apple.com/documentation/coremedia?language=objc

[55]

CMSimpleQueue: https://developer.apple.com/documentation/coremedia/cmsimplequeue?language=objc

[56]

CMBufferQueue: https://developer.apple.com/documentation/coremedia/cmbufferqueue?language=objc

[57]

CMMemoryPool: https://developer.apple.com/documentation/coremedia/cmmemorypool-u89?language=objc

[58]

Audio Toolbox: https://developer.apple.com/documentation/audiotoolbox?language=objc

[59]

Audio Units: https://developer.apple.com/documentation/audiotoolbox?language=objc

[60]

Audio Unit v3 Plug-Ins: https://developer.apple.com/documentation/audiotoolbox/audio_unit_v3_plug-ins?language=objc

[61]

Audio Components: https://developer.apple.com/documentation/audiotoolbox/audio_components?language=objc

[62]

Audio Unit v2 (C) API: https://developer.apple.com/documentation/audiotoolbox/audio_unit_v2_c_api?language=objc

[63]

Audio Unit Properties: https://developer.apple.com/documentation/audiotoolbox/audio_unit_properties?language=objc

[64]

Audio Unit Voice I/O: https://developer.apple.com/documentation/audiotoolbox/audio_unit_voice_i_o?language=objc

[65]

Playback and Recording: https://developer.apple.com/documentation/audiotoolbox?language=objc

[66]

Audio Queue Services: https://developer.apple.com/documentation/audiotoolbox/audio_queue_services?language=objc

[67]

Audio Services: https://developer.apple.com/documentation/audiotoolbox/audio_services?language=objc

[68]

Music Player: https://developer.apple.com/documentation/audiotoolbox/music_player?language=objc

[69]

Audio Files and Formats: https://developer.apple.com/documentation/audiotoolbox?language=objc

[70]

Audio Format Services: https://developer.apple.com/documentation/audiotoolbox/audio_format_services?language=objc

[71]

Audio File Services: https://developer.apple.com/documentation/audiotoolbox/audio_file_services?language=objc

[72]

Extended Audio File Services: https://developer.apple.com/documentation/audiotoolbox/extended_audio_file_services?language=objc

[73]

Audio File Stream Services: https://developer.apple.com/documentation/audiotoolbox/audio_file_stream_services?language=objc

[74]

Audio File Components: https://developer.apple.com/documentation/audiotoolbox/audio_file_components?language=objc

[75]

Core Audio File Format: https://developer.apple.com/documentation/audiotoolbox/core_audio_file_format?language=objc

[76]

Utilities: https://developer.apple.com/documentation/audiotoolbox?language=objc

[77]

Audio Converter Services: https://developer.apple.com/documentation/audiotoolbox/audio_converter_services?language=objc

[78]

AudioConverterNew(...): https://developer.apple.com/documentation/audiotoolbox/1502936-audioconverternew?language=objc

[79]

AudioConverterNewSpecific(...): https://developer.apple.com/documentation/audiotoolbox/1503356-audioconverternewspecific?language=objc

[80]

AudioConverterReset(...): https://developer.apple.com/documentation/audiotoolbox/1503102-audioconverterreset?language=objc

[81]

AudioConverterDispose(...): https://developer.apple.com/documentation/audiotoolbox/1502671-audioconverterdispose?language=objc

[82]

AudioConverterGetProperty(...): https://developer.apple.com/documentation/audiotoolbox/1502731-audioconvertergetproperty?language=objc

[83]

AudioConverterSetProperty(...): https://developer.apple.com/documentation/audiotoolbox/1501675-audioconvertersetproperty?language=objc

[84]

AudioConverterConvertBuffer(...): https://developer.apple.com/documentation/audiotoolbox/1503345-audioconverterconvertbuffer?language=objc

[85]

AudioConverterFillComplexBuffer(...): https://developer.apple.com/documentation/audiotoolbox/1503098-audioconverterfillcomplexbuffer?language=objc

[86]

AudioConverterComplexInputDataProc: https://developer.apple.com/documentation/audiotoolbox/audioconvertercomplexinputdataproc?language=objc

[87]

Audio Codec: https://developer.apple.com/documentation/audiotoolbox/audio_codec?language=objc

[88]

AVFoundation Framework: https://developer.apple.com/documentation/avfoundation?language=objc

[89]

AVAssetWriter: https://developer.apple.com/documentation/avfoundation/avassetwriter?language=objc

[90]

canAddInput:: https://developer.apple.com/documentation/avfoundation/avassetwriter/1387863-canaddinput?language=objc

[91]

addInput:: https://developer.apple.com/documentation/avfoundation/avassetwriter/1390389-addinput?language=objc

[92]

startWriting: https://developer.apple.com/documentation/avfoundation/avassetwriter/1386724-startwriting?language=objc

[93]

startSession(atSourceTime:): https://developer.apple.com/documentation/avfoundation/avassetwriter/1389908-startsessionatsourcetime?language=objc

[94]

endSessionAtSourceTime:: https://developer.apple.com/documentation/avfoundation/avassetwriter/1389921-endsessionatsourcetime?language=objc

[95]

finishWritingWithCompletionHandler:: https://developer.apple.com/documentation/avfoundation/avassetwriter/1390432-finishwriting?language=objc

[96]

cancelWriting: https://developer.apple.com/documentation/avfoundation/avassetwriter/1387234-cancelwriting?language=objc

[97]

AVAssetWriterInput: https://developer.apple.com/documentation/avfoundation/avassetwriterinput?language=objc

[98]

expectsMediaDataInRealTime: https://developer.apple.com/documentation/avfoundation/avassetwriterinput/1387827-expectsmediadatainrealtime?language=objc

[99]

readyForMoreMediaData: https://developer.apple.com/documentation/avfoundation/avassetwriterinput/1389084-readyformoremediadata?language=objc

[100]

requestMediaDataWhenReadyOnQueue:usingBlock:: https://developer.apple.com/documentation/avfoundation/avassetwriterinput?language=objc

[101]

appendSampleBuffer:: https://developer.apple.com/documentation/avfoundation/avassetwriterinput/1389566-appendsamplebuffer?language=objc

[102]

markAsFinished: https://developer.apple.com/documentation/avfoundation/avassetwriterinput/1390122-markasfinished?language=objc

[103]

AVAssetReader: https://developer.apple.com/documentation/avfoundation/avassetreader?language=objc

[104]

canAddOutput:: https://developer.apple.com/documentation/avfoundation/avassetreader/1387485-canaddoutput?language=objc

[105]

addOutput:: https://developer.apple.com/documentation/avfoundation/avassetreader/1390110-addoutput?language=objc

[106]

startReading: https://developer.apple.com/documentation/avfoundation/avassetreader/1390286-startreading?language=objc

[107]

cancelReading: https://developer.apple.com/documentation/avfoundation/avassetreader/1390258-cancelreading?language=objc

[108]

AVAssetReaderOutput: https://developer.apple.com/documentation/avfoundation/avassetreaderoutput?language=objc

[109]

AVAssetReaderTrackOutput: https://developer.apple.com/documentation/avfoundation/avassetreadertrackoutput?language=objc

[110]

alwaysCopiesSampleData: https://developer.apple.com/documentation/avfoundation/avassetreaderoutput/1389189-alwayscopiessampledata?language=objc

[111]

copyNextSampleBuffer: https://developer.apple.com/documentation/avfoundation/avassetreaderoutput/1385732-copynextsamplebuffer?language=objc

[112]

AVAudioSession: https://developer.apple.com/documentation/avfaudio/avaudiosession?language=objc

[113]

setCategory:withOptions:error:: https://developer.apple.com/documentation/avfaudio/avaudiosession/1616442-setcategory?language=objc

[114]

setMode:error:: https://developer.apple.com/documentation/avfaudio/avaudiosession/1616614-setmode?language=objc

[115]

setActive:withOptions:error:: https://developer.apple.com/documentation/avfaudio/avaudiosession?language=objc

- 完 -

推荐阅读

《iOS AVDemo（6）：音频渲染》

《iOS AVDemo（5）：音频解码》

《iOS AVDemo（4）：音频解封装》

《iOS AVDemo（3）：音频封装》

《iOS AVDemo（2）：音频编码》

《iOS AVDemo（1）：音频采集》