1.本发明涉及空间音频生成领域，空间尤其是音频一种空间音频生成方法、装置及可读存储介质。生成
背景技术：
[0002]“空间音频”是装置质流指经过精心设计的具有3d质量的音频。目前，读存空间音频越来越被人们所喜爱，储介程与传统立体声相比，空间它提供了更强的音频深度、宽度甚至高度感，生成但是装置质流当前表示出来的空间音频还是不够丰富和清晰。
技术实现要素：
[0003]
有鉴于此，读存本发明实施例提供一种空间音频生成方法、储介程装置及可读存储介质，空间以提高空间音频的音频丰富度和清晰度。
[0004]
本发明的生成第一方面提供了一种空间音频生成方法，包括：通过目标端发送第一音频信号到不同的音频采集端，其中，所述音频采集端至少有两个；通过所述音频采集端分别接收所述第一音频信号；获取所述音频采集端分别接收到的所述第一音频信号作为第二音频信号；通过所述音频采集端分别发送所述第二音频信号到所述目标端；根据头部预设值、信号到达角度信息、第一距离信息和所述第二音频信号对应的第二音频信息进行计算得到空间音频数据，其中，所述头部预设值表征用户头部与音频信号的关联信息，所述信号到达角度信息表征所述第二音频信号到达所述目标端形成的角度，所述第一距离信息表征所述目标端和所述音频采集端的距离。
[0005]
根据本发明的一些实施例所述第一距离信息的获取方法包括以下步骤：获取所述音频采集端的发送功率；获取所述目标端的接收功率；根据所述发送功率和所述接收功率进行计算得到耗损功率；根据所述耗损功率和载波频率进行计算得到第一距离信息；其中，所述第一距离信息的计算公式为：其中，d1为所述第一距离信息，pr为耗损功率，f为载波频率。
[0006]
根据本发明的一些实施例所述信号到达角度信息的获取方法包括以下步骤：通过所述音频采集端的第一天线分别发送所述第二音频信号到所述目标端的天线阵列；根据所述第二音频信号到达天线阵列中不同的第二天线的相位差、所述第二音频信号的波长以及所述第二天线之间的第二距离信息进行计算得到所述信号到达角度信息，其中，所述信号到达角度信息的计算公式为：其中，angel为所述信号到达角度信息，ψ为相位差，λ为所述第二音频信号的波长，d2为所述第二天线的所述第二距离信息。
[0007]
根据本发明的一些实施例，所述根据头部预设值、信号到达角度信息、第一距离信息和所述第二音频信号对应的第二音频信息进行计算得到空间音频数据包括：
[0008]
根据信号到达角度信息和头部预设值进行计算得到头相关传输函数，其中，所述头相关传输函数包括左耳传输函数和右耳传输函数，所述左耳传输函数的计算公式为：
所述右耳传输函数的计算公式为：其中，其中，分别是左耳传输函数和右耳传输函数，θ为所述信号到达信息中声源中的水平方位角、为所述信号到达信息中声源中的仰角、r为所述头部预设值中声源到头中心的距离、α为所述头部预设值中头部的尺寸、ω为所述头部预设值中声波的角频率，分别是简谐点声源在用户左、右耳产生的复数声压；p0(r,ω)是人头不存在时，头中心位置处的复数声压；其中，通过将左耳对应的头部预设值、信号到达角度信息、第一距离信息和所述第二音频信号对应的第二音频信息输入到仿真平台，得到通过将右耳对应的头部预设值、信号到达角度信息、第一距离信息和所述第二音频信号对应的第二音频信息输入到仿真平台，得到通过将头中心对应的所述头部预设值中声源到头中心的距离和所述头部预设值中头部的尺寸输入到仿真平台，得到p0(r,ω)。
[0009]
根据本发明的一些实施例所述根据头部预设值、信号到达角度信息、第一距离信息和所述第二音频信号对应的第二音频信息进行计算得到空间音频数据的计算公式为：息和所述第二音频信号对应的第二音频信息进行计算得到空间音频数据的计算公式为：其中，al为左耳对应的空间音频数据，ar为右耳对应的空间音频数据，data为所述第二音频信息，分别是左耳传输函数和右耳传输函数，θ为所述信号到达信息中声源的水平方位角、为所述信号到达信息中声源的仰角、r为声源到头中心的距离、ω为声波的角频率，distance为第一距离信息，distance_min为所有distance中最小的距离值。
[0010]
本发明的另一方面提供了一种空间音频生成装置，包括：第一模块，用于通过目标端发送第一音频信号到不同的音频采集端，其中，所述音频采集端至少有；第二模块，用于通过所述音频采集端分别接收所述第一音频信号；第三模块，用于获取所述音频采集端分别接收到的所述第一音频信号作为第二音频信号；第四模块，用于通过所述音频采集端分别发送所述第二音频信号到所述目标端；第五模块，用于根据头部预设值、信号到达角度信息、第一距离信息和所述第二音频信号对应的第二音频信息进行计算得到空间音频数据，其中，所述头部预设值表征用户头部与音频信号的关联信息，所述信号到达角度信息表征所述第二音频信号到达所述目标端形成的角度，所述第一距离信息表征所述目标端和所述音频采集端的距离。
[0011]
本发明的另一方面提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如上所述的任一项所述的空间音频生成方法。
[0012]
根据本发明实施例的电子设备，至少具有与上述的空间音频生成方法同样的有益效果。
[0013]
本发明的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如上所述的任一项所述的空间音频生成方法方法。
[0014]
根据本发明实施例的计算机可读存储介质，至少具有与上述的空间音频生成方法同样的有益效果。
[0015]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0016]
本发明的实施例在通过目标端发送第一音频信号到不同的音频采集端，其中，音频采集端至少有两个；通过音频采集端分别接收第一音频信号；获取音频采集端分别接收到的第一音频信号作为第二音频信号；通过音频采集端分别发送第二音频信号到目标端；从而使得利用多个音频采集装置发送第二音频信息使得音频更加清晰；根据头部预设值、信号到达角度信息、第一距离信息和第二音频信号对应的第二音频信息进行计算得到空间音频数据，其中，头部预设值表征用户头部与音频信号的关联信息，信号到达角度信息表征第二音频信号到达目标端形成的角度，第一距离信息表征目标端和音频采集端的距离。从而利用信号角度信息的三维性质，使得最终合成的空间音频更加丰富。
附图说明
[0017]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]
图1为本发明实施例提供的空间音频生成方法的流程图；
[0019]
图2为本发明实施例提供的音频发射端中的天线与目标端中的天线阵列的示意图；
[0020]
图3为本发明实施例提供的目标端天线阵列接收信号的示意图；
[0021]
图4为本发明实施例提供的空间音频生成装置的示意图。
具体实施方式
[0022]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0023]“空间音频”是指经过精心设计的具有3d质量的音频。这意味着与传统立体声相比，它提供了更强的深度、宽度甚至高度感，现在流行的空间音频技术，就是将环绕声道精准置于合适的方位，使用户转动头部或者移动设备就能感受到身临其境的环绕声体验。这种模拟不仅仅只是传统环绕声效果，而是将用户手中的设备模拟为空间中固定位置的音响设备。
[0024]
空间音频技术将会把正在播放的设备设为声音的绝对方向。当用户扭头，转头或者设备的位置发生改变时，会导致耳朵与音源的相对位置发生改变，而空间音频技术将会模拟出这种声音强弱变化。举一个例子：在你前方有一把吉他正在演奏，如果你转向右边，吉他的声音就会相对的变到你的左边。另一个例子是比如舞台左侧有一把吉他，右侧有一
支萨克斯，当你移动到舞台的侧面，吉他与萨克斯的声音会重合到一起，来自同一个方向。除了优于传统立体声的音效外，空间音频技术还将会运用于vr设备之中，从而实现沉浸式的音频体验。
[0025]
而目前的空间音频主要表现为通过一定的算法模拟出耳朵与音源的相对位置发生改变的空间效果。以至于使得表现出了的空间音频的丰富度和清晰度还是稍有欠缺。因此，提出了一种空间音频生成方法、装置及可读存储介质。
[0026]
参考图1，图1为本发明实施例提供的空间音频生成方法的流程图，包括步骤s110-步骤s150：
[0027]
步骤s110，通过目标端发送第一音频信号到不同的音频采集端，其中，音频采集端至少有两个。
[0028]
步骤s120，通过音频采集端分别接收第一音频信号。
[0029]
步骤s130，获取音频采集端分别接收到的第一音频信号作为第二音频信号。
[0030]
步骤s140，通过音频采集端分别发送第二音频信号到目标端。
[0031]
具体地，目标端可以是带有蓝牙的手机等设备，音频采集端可以是无线麦克风等设备，通过目标端发送第一音频信号，通过音频采集端接收第一音频信号，音频采集端至少有两个，也就是说，采集到的第一音频信号的音频采集端至少有两个。将音频采集端接收到的第一音频信号作为第二音频信号，可以理解的是，第一音频信号在传输的过程中会产生一定的损耗，因此，第二音频信号具体为音频接收端接收到的音频信号而非直接等同于目标端发送那一刻的音频信号。音频采集端分别发送第二音频信号到目标端，通过多音频采集端来采集信号，从而使得采集到的音频信息更加清晰。
[0032]
步骤s150，根据头部预设值、信号到达角度信息、第一距离信息和第二音频信号对应的第二音频信息进行计算得到空间音频数据，其中，头部预设值表征用户头部与音频信号的关联信息，信号到达角度信息表征第二音频信号到达目标端形成的角度，第一距离信息表征目标端和音频采集端的距离。
[0033]
进一步地，获取第一距离信息的方法包括以下步骤：获取音频采集端的发送功率；获取目标端的接收功率；根据发送功率和接收功率进行计算得到耗损功率；根据耗损功率和载波频率进行计算得到第一距离信息。
[0034]
具体地，基于ble新的标准，根据在扩展广播和ll control pdu中的ll_power_control_req、ll_power_control_rsp控制包中增加的发送功率tx power字段获取音频采集端的发送功率，并获取目标端的接收功率，对于接收端，也就是目标端而言，获取得到天线接收到的信号强度作为接收功率。即在ble系统当中，相关协议支持获取接收端的接收功率以及获取目标设备发送给接收端的发送功率，根据发送功率和接收功率进行计算：发送功率-接收功率＝耗损功率。并根据耗损功率和载波频率进行计算得到第一距离信息，具体公式为：其中，d1为第一距离信息，pr为耗损功率，f为载波频率。载波频率即为空中无线信号工作所在的频段，在蓝牙技术领域，接收端和目标设备进行通信过程中，空中无线信号通常工作在2.4ghz这一频段当中。2.4ghz无线技术，是一种短距离无线传输技术，供开源使用。2.4ghz所指的是一个工作频段，2.4ghz ism(industry science medicine)是全世界公开通用使用的无线频段，在2.4ghz频段下工作可以获得更大的使用
范围和更强的抗干扰能力。
[0035]
进一步地，信号到达角度信息的获取方法包括以下步骤：通过音频采集端的第一天线分别发送第二音频信号到目标端的天线阵列；根据第二音频信号到达天线阵列中不同的第二天线的相位差、第二音频信号的波长以及第二天线之间的第二距离信息进行计算得到信号到达角度信息。
[0036]
具体地，信号到达角度信息的计算公式为：其中，angel为信号到达角度信息，ψ为相位差，λ为第二音频信号的波长，d2为第二天线的第二距离信息。其中，波长通过信号的载波频率计算得到，相位差根据不同天线收到的信号的相位相减计算得到。
[0037]
参考图2，图2为本发明实施例提供的音频发射端中的天线与目标端中的天线阵列的示意图，图中左侧为source侧，即为目标端，右侧为sink侧，即为音频采集端。音频采集端包括有一根天线，目标端包括有天线阵列。右侧的虚线为音频采集端发送的信号，到达目标端的天线阵列时候，信号与天线之间形成了一个角度。参考图3，图3为本发明实施例提供的目标端天线阵列接收信号的示意图，图中右上方的虚线代表第二音频信号，右侧的箭头代表第二音频信号的发送方向，图中列举出包括有两个第二天线的天线阵列，其中两个第二天线的第二距离信息为d，信号到达左侧的第二天线形成的水平方位角为θ。相位差为音频采集端发送信号分别到达两个天线时的相位差值。目标端在空中x，y，z三个方向都有天线阵列，可以计算出各音频采集端的方位angel为{ 水平方位角θ，仰角}。也就是说，信号到达角度信息中包括有三维的水平方位角和仰角信息。能理解的是，图中只是提供了一个音频采集端发射信号，但为了保证空间音频清晰，实际中要求不少于两个音频采集端。要说明的是，要同步记录每个音频采集端对应的的空间信息，用于后续利用信号到达角度进行计算的时候，能够同时结合多个音频采集端，用于丰富空间音频。
[0038]
更进一步地，步骤s150还包括以下步骤：根据信号到达角度信息和头部预设值进行计算得到头相关传输函数。
[0039]
具体地，头相关传输函数包括左耳传输函数和右耳传输函数，左耳传输函数和右耳传输函数的计算公式为：
[0040][0041]
其中，分别是左耳传输函数和右耳传输函数，θ为信号到达信息中声源中的水平方位角、为信号到达信息中声源中的仰角、r为头部预设值中声源到头中心的距离、α为头部预设值中头部的尺寸、ω为头部预设值中声波的角频率，分别是简谐点声源在用户左、右耳产生的复数声压；p0(r,ω)是人头不存在时，头中心位置处的复数声压。头部预设值表征用户头部与音频信号的关联信息，包括有用户头部的尺寸α，可以根据每个用户的特征测量获取得到；还包括声波的角频率ω以及声源到头中心的距离r，r采用预设值，如1米。水平方位角θ和仰角由声音数据的信号到达角度angle提供。其中，复数声压的获取方式为通过将参数输入到仿真平台上进行计算获取得到，仿真平台包括但不限于comsol multiphysics模型。根据输入的参数的不同，对应性地获取得到左耳对应的复数声压、右耳
获取到的复数声压和头中心位置的复数声压。更具体地，通过将左耳对应的头部预设值、信号到达角度信息、第一距离信息和第二音频信号对应的第二音频信息输入到仿真平台，得到通过将右耳对应的头部预设值、信号到达角度信息、第一距离信息和第二音频信号对应的第二音频信息输入到仿真平台，得到通过将头中心对应的头部预设值中声源到头中心的距离和头部预设值中头部的尺寸输入到仿真平台，得到p0(r,ω)。
[0042]
更进一步地，步骤s150中根据音频采集端与目标端的信号到达角度信息、第一距离信息和第二音频信息进行计算得到空间音频数据的计算公式具体为：
[0043][0044][0045]
其中，al为左耳对应的空间音频数据，ar为右耳对应的空间音频数据，data为第二音频信息，分别是左耳传输函数和右耳传输函数，θ为信号到达信息中声源的水平方位角、为信号到达信息中声源的仰角、r为声源到头中心的距离、ω为声波的角频率，其中ω通过声音的频率f计算而来：ω＝2πf。因为声音有频率范围，实际计算中可以采用其中某个典型值。distance为第一距离信息，distance_min为所有distance中最小的距离值。各音频采集端的声音路径增益则与第一距离信息distance有关，球面波传播距离每增加一倍，声压降低6db。其中distance_min为所有distance中最小的距离值。也就是说，通过将各个音频采集端对应的第二音频信息数据data、信号到达角信息angle，第一距离distance信息一起存储，获得了信息更丰富的空间音频数据源{ [data,angel,distance]_1,[data,angel,distance]_2,[data,angel,distance]_3,
…
}。然后利用不同音频采集端对应的不同的空间音频数据源进行计算得到了头相关传输函数，利用头相关传输函数以及第一距离信息与声压的关系对第二音频信息进行合成后得到空间音频数据。
[0046]
通过采用多个音频采集装置的来采集第一音频信号，利用多个音频采集装置的再播放保证采集到音频信息更清晰。同步记录每个音频采集端的空间信息，获取得到多个音频采集端的信号在三维层面的信号到达角，通过三维层面的信号到达角，结合多个音频采集端得到的第二音频数据进行处理合成在用户左右耳对应的空间音频，提升了在空间层面上空间音频的丰富度效果。
[0047]
参考图4，图4为本发明实施例提供的空间音频生成装置的示意图，包括第一模块210、第二模块220、第三模块230、第四模块240和第五模块250：
[0048]
第一模块210，用于通过目标端发送第一音频信号到不同的音频采集端，其中，音频采集端至少有；
[0049]
第二模块220，用于通过音频采集端分别接收第一音频信号；
[0050]
第三模块230，用于获取音频采集端分别接收到的第一音频信号作为第二音频信号；
[0051]
第四模块240，用于通过音频采集端分别发送第二音频信号到目标端；
[0052]
第五模块250，用于根据头部预设值、信号到达角度信息、第一距离信息和第二音
频信号对应的第二音频信息进行计算得到空间音频数据，其中，头部预设值表征用户头部与音频信号的关联信息，信号到达角度信息表征第二音频信号到达目标端形成的角度，第一距离信息表征目标端和音频采集端的距离。
[0053]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0054]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0055]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0056]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0057]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0058]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存
储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0059]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0060]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0061]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0062]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。