小米枪战的荒野生存模式(吃鸡),新增了百人团战的实时语音,支持“听声辩位”。具体功能是:
1. 在地图中的两个玩家,走近至一定距离内,说话就自动能被对方听到。走远了,就无法听到。
2. 两个在可听范围内的玩家,随着相对距离远近的变化,说话音量也会变化
3. 玩家的语音具有方位感,能够像游戏内置音效一样,判断出对方与自己的相对方位。
本文将解读,如何实现上述功能。一共分三步:
1.可听范围的设定
2.通过声音体现玩家之间的相对距离
3.通过声音反映玩家间的相对方位
其中,第2点和第3点其实都是声音的空间感,也就是“听声辩位”,下文会合并在一起讲。
一.可听范围的设定
一场吃鸡游戏初始共100个玩家,那么游戏开始时,这100个玩家加入一个语音大频道,默认每个玩家的语音是静音状态。设定可听范围是以玩家为圆心,半径为R的圆形范围。有其它玩家走入这个圆形范围内,两者的语音自动解除静音,此时说话就能互相听到了。
二. 声音的空间感
如果想实现声音的空间感,带来3D音效体验,普遍会利用头部关联传输算法(head-related transfer functions, HRTF)。如果要理解它,我们需要先了解三个声学概念,大脑就是通过他们来判断声音在空间中的位置的。
首先是双耳时差(Interaural time differences, ITD),人耳通过声音到达左右耳的时间差来判断低频声源与人的相对水平距离。声源与双耳的角度,决定了双耳时差大小。
由于通过ITD无法判断高频声源的位置,这时我们可以利用双耳水平差(Interaural level differences, ILD)来进行判断。由于头部带来的声学屏障(acoustic shadow),会让左右耳听到的声音大小与频率产生差别,由此大脑会判断出声源方位。
另外,还有频谱效应(Spectral effects)。声音在到达后会因外耳结构而形成反射,从不同方向来的声音,反射效果也不同,大脑可以根据它来判断声源在垂直方向上的相对方位。
我们可以通过SpaceX猎鹰号发射现场视频,更直观地体会一下声音的空间感。在这个视频里,你能仅通过声音感受到不同方位的人、火箭的距离,甚至由室内到室外的空间变化。一起戴上耳机来感受一下吧。(请点击这里观看视频)
HRTF算法基于以上三种效应对声源进行了处理,通过耳机收听时会有一种错觉,好像声音来自虚拟空间中特定的位置。很多游戏都通过HRTF来为玩家提供3D音效。那么放到吃鸡的虚拟环境中,应该怎样实现呢?
在吃鸡的百人地图中,每个玩家要有自己的ID,每个ID的实时坐标需要被记录。
见上图,通过两个玩家在游戏地图中的坐标,可以建立坐标系,来计算两个玩家之间的距离。为了叙述便利,我们以绿色玩家为原点,建立直角坐标系,可以得到红色玩家的坐标是(-1,1)。
根据坐标,判断音效方位。如图红色玩家的坐标是(-1, 1),在第二象限,可以据此设定音效。
根据坐标,计算两个玩家的相对距离。假设听力范围的半径为2,而现在两者距离约1.4,那么音量可设定为最大音量的30%左右。
通过判断队友之间所在的坐标来控制左右声道的音量和声音延时,就可以令玩家产生方位感了。
三. 一个API实现该功能
Agora AMG 游戏实时语音SDK,提供了SetRemoteVoicePosition的接口(设置远端用户的语音位置 ),用户只需要指定想要的声像位置和增益大小,就能利用SDK的HRTF算法,实现听声辨位的功能。
intSetRemoteVoicePosition(uintuid,doublepan,doublegain);
在这个方法中有三个参数:
- uid代表了远端用户的UID。
- pan则用于设置是否改变音效的空间位置,取值范围为[-1, 1]。值为0表示该音效出现在正前方,-1表示该音效出现在左边,1则表示该音效出现在右边。
- gain设置是否改变单个音效的音量。取值范围为 [0.0, 100.0],默认值为100.0。取值越小,音效的音量越低。
通过API,我们可以利用pan基于用户的空间位置来设定音效位置,再通过gain来改变单个音效的音量,利用音效方位与音量变化,就可以轻松实现听声辩位了。