8 TTS系统架构之特征提取模块

查看大图

文生语音要把文字、发音、语气和听感连起来看，不能只关心能不能发声。阅读时可以按「特征提取模块概述 -> 常用声学特征 -> 特征提取的步骤 -> Python实现示例」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「特征提取模块概述」，再查「常用声学特征」。

在上一篇中，我们介绍了TTS系统的输入处理模块，该模块主要负责将文本输入转化为适合进行声学模型训练和合成的格式。接下来，我们将深入探讨特征提取模块，这是TTS系统中一个至关重要的组成部分，负责从输入数据中提取有用的声学特征。

特征提取模块概述

特征提取模块的主要任务是将输入的音频信号转化为表示该音频的声学特征。这些特征将作为后续合成过程的输入，因此其准确性和有效性对生成高质量的语音至关重要。常用的声学特征包括梅尔频谱、线谱对、音调和能量等。

查看大图

学习 TTS 特征提取时，先看文本特征、音素序列、韵律信息和声学参数如何进入后续模型。

常用声学特征

1. 梅尔频谱（Mel-Spectrogram）： 梅尔频谱是通过对信号进行短时傅里叶变换（STFT）后，再通过梅尔滤波器组进行处理得到的。其特点是更符合人耳的听觉特性。

   计算公式为：

   $$S[t, f] = \sum_{n=0}^{N-1} x[n] w[n-t] e^{-j2\pi fn/N}$$

   其中，$w[n]$ 是窗函数，$x[n]$ 是输入信号。

线谱对（Linear Spectral Pairs, LSP）： LSP用于表示滤波器的参数，能有效压缩模型并减少编码量。LSP通过对线性预测系数（LPC）进行变换获得。

音调（F0）： 音调是指声音的基本频率，对于语音合成中的情感和语调变化至关重要。音调可以通过自相关法或频谱峰值检测等方法估算。

能量（Energy）： 描述音频信号的强度，通常通过信号平方的平均值来计算。

特征提取的步骤

特征提取可以分为以下几个步骤：

1. 预处理：对输入音频进行去噪、去静音和标准化处理。
2. 分帧：将音频信号分为多个短时帧，以便对每一帧计算声学特征。
3. 傅里叶变换：对每一帧进行快速傅里叶变换（FFT）。
4. 滤波：应用梅尔滤波器组，将FFT结果转换为梅尔频谱。
5. 提取特征：进一步从梅尔频谱中提取所需的声学特征，如能量、音调等。

Python实现示例

以下是使用Python及Librosa库进行梅尔频谱提取的示例代码：

import librosa
import numpy as np

# 读取音频文件
y, sr = librosa.load('audio.wav', sr=None)

# 提取梅尔频谱
mel_spectrogram = librosa.feature.melspectrogram(y=y, sr=sr, n_mels=128)

# 转换为对数梅尔频谱
log_mel_spectrogram = librosa.power_to_db(mel_spectrogram, ref=np.max)

# 打印特征的形状
print(f'Mel Spectrogram Shape: {log_mel_spectrogram.shape}')

在这段代码中，我们首先使用librosa.load读取音频文件，然后提取梅尔频谱并转化为对数形式。最后打印特征的形状，以了解特征数据的维度。

查看大图

读到这里，可以把《TTS系统架构之特征提取模块》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

查看大图

读完《TTS系统架构之特征提取模块》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

关键点总结

• 特征提取模块在TTS系统中充当桥梁，将原始音频信号转换为可供合成模块使用的声学特征。
• 常用的声学特征包括梅尔频谱、线谱对、音调和能量等，每种特征都对合成效果有着不同的影响。
• 实现特征提取的关键步骤包括预处理、分帧、傅里叶变换、滤波和特征提取。

查看大图

看完《TTS系统架构之特征提取模块》后，建议用一分钟复盘：关键概念是否分清、练习步骤是否可复现、结论能不能换成自己的话。

以上就是特征提取模块的详细介绍。特征提取是TTS系统的基础，决定了后续合成模块能够生成多么自然的语音。在下一篇中，我们将继续介绍合成模块的内容，探讨如何利用已提取的声学特征生成流畅的语音。