未来广播中的音频检索技术

　　作者：陈姗姗 江苏广电集团

【摘要】文中提出了一种可应用于未来广播中的基于示例查询的音频检索方法，包括音频特征提取、相似音频检索及音频分类。
　　【关键词】音频检索特征提取音频分类

　　当今广播已步入数字化与网络化时代，音频信息作为广播的内容资源通过网络实现了海量的传输和共享，基于文本的检索方法已不能满足数字化音频信息检索的需要，基于内容的音频检索技术应运而生。

　　由于原始音频数据除了含有采样频率、量化精度、编码方法等有限的注册信息外，本身仅仅是一种非语义符号表示和非结构化的二进制流，缺乏内容语义的描述和结构化的组织，因而音频检索受到极大的限制。相对于日益成熟的图像与视频检索，音频检索相对滞后。因此，基于内容的音频检索已成为多媒体检索技术的研究热点。

　　基于内容的音频检索技术可应用于未来广播的制作、监控等多个环节。通过音频检索算法对所需音频段内容进行比对，能够快速便捷的从浩如烟海的音频数据库中找出需要的音频信息。另外，随着广播的监控方式趋向智能化，音频检索算法能够实现对播出链路上的音频内容进行实时监控比对。较目前人工巡听的广播内容监控手段，智能化音频检索监控手段能够增强对播出内容的监管力度，有效阻截不良、非法言论等可疑信号的播出。

　　一．基于内容的音频检索技术定义

　　所谓基于内容的音频检索，是指通过音频特征分析，对不同音频数据赋予不同的语义，使具有相同语义的音频在听觉上保持相似。

　　二．音频检索的基本方法

　　音频检索第一步是建立数据库，对音频数据进行特征提取，并通过特征对数据聚类。音频检索主要采用示例查询方式（Querybyexample），用户通过查询界面选择一个查询例子，并设定属性值，然后提交查询。系统对用户选择的示例提取特征，结合属性值确定查询特征矢量，并对特征矢量进行模糊聚类，然后检索引擎对特征矢量与聚类参数集匹配，按相关性排序后通过查询接口返回给用户。

　　三．音频特征提取方法

　　特征提取是指寻找原始音频信号表达形式，提取能代表原始信号的数据。音频特征提取有两种不同的技术线路：一种是从叠加音频帧中提取特征，其原因在于音频信号是短时平稳的，所以在短时提取的特征较稳定；二是从音频片段中提取，因为任何语义都有时间延续性，在长时间刻度内提取音频特征可以更好反映音频所蕴涵的语义信息，一般是提取音频帧的统计特征作为音频片段特征。

　　首先，对音频数据进行加窗处理形成帧，加窗大小在几到几十微秒，相邻帧之间一般有30%～50%的叠加。然后，对每一帧作离散傅立叶变换(DFT)，实际上常用快速傅立叶变换(FFT)，得到傅立叶系数??和频域能量?，其中?，为采样频率。最后应用不同算法计算相应的帧特征，再计算帧特征的标准偏差、数学期望值和方差，把帧特征推广成片段特征。

　　1.短时平均能量指在一个短时音频窗口内采样点信号所聚集的平均能量。

　　假定每个短时帧大小假定为N，?为用Nyquist频率采样后的离散音频信号。对于第m个短时帧，短时平均能量可以使用下面的公式计算短时平均能量可以直接应用到静音检测（Silencedetection）。

　　2．过零率指在一个短时帧内，离散采样信号值由正到负和由负到正变化的次数。,
当??时，；否则。过零率可用来区分语音和音乐两种不同音频信号?。

　　3.频率中心是度量声音亮度(brightness)的指标，计算公式为

　　4．带宽是衡量音频频域范围的指标，其定义为

　　其中FC(Frequencycentroid)为频率中心。一般地，语音的带宽范围为0.3-3.4kHz，而音乐的带宽范围比较宽，可以在22.05kHz左右?。

　　5.Mel对数倒谱系数MFCCMFCC在语音领域中得到广泛的应用。它是音频数据经Z变换和对数处理后得出的结果，一般每段数据取12个系数，可以较好地表现每段的特征?。