tf.keras.layers.MelSpectrogram

Слой предварительной обработки для преобразования исходных аудиосигналов в мел-спектрограммы.

Наследуется от: Layer, Operation

tf.keras.layers.MelSpectrogram(
    fft_length=2048,
    sequence_stride=512,
    sequence_length=None,
    window='hann',
    sampling_rate=16000,
    num_mel_bins=128,
    min_freq=20.0,
    max_freq=None,
    power_to_db=True,
    top_db=80.0,
    mag_exp=2.0,
    min_power=1e-10,
    ref_power=1.0,
    **kwargs
)

Этот слой принимает в качестве входных данных одиночный или пакетный аудиосигнал float32/float64 и вычисляет мел-спектрограмму с помощью кратковременного преобразования Фурье и мел-шкалирования. Входные данные должны представлять собой тензор размерности 1 (без пакетной обработки) или 2 (с пакетной обработкой), содержащий аудиосигналы. Результатом будет тензор размерности 2 или 3, содержащий мел-спектрограммы.

Спектрограмма — это похожее на изображение представление, показывающее частотный спектр сигнала во времени. Ось x отображает время, ось y — частоту, а каждый пиксель — интенсивность. Мел-спектрограммы — это особый тип спектрограмм, в которых используется мел-шкала, приближенно моделирующая восприятие звука человеком. Они широко применяются в задачах обработки речи и музыки, таких как распознавание речи, идентификация говорящего и классификация музыкальных жанров.

Ссылки:

• Спектрограмма,
• Мел-шкала.

Примеры:

Аудиосигнал без пакетной обработки

layer = keras.layers.MelSpectrogram(num_mel_bins=64,
                                    sampling_rate=8000,
                                    sequence_stride=256,
                                    fft_length=2048)
layer(keras.random.uniform(shape=(16000,))).shape
(64, 63)

Пакетный аудиосигнал

layer = keras.layers.MelSpectrogram(num_mel_bins=80,
                                    sampling_rate=8000,
                                    sequence_stride=128,
                                    fft_length=2048)
layer(keras.random.uniform(shape=(2, 16000))).shape
(2, 80, 125)

Методы

from_config

Посмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт слой из его конфигурации.

Этот метод является обратным к get_config и позволяет создать тот же слой из словаря конфигурации. Он не обрабатывает связи между слоями (это делает Network) и веса (это делает set_weights).

linear_to_mel_weight_matrix

Посмотреть исходный код

linear_to_mel_weight_matrix(
    num_mel_bins=20,
    num_spectrogram_bins=129,
    sampling_rate=8000,
    lower_edge_hertz=125.0,
    upper_edge_hertz=3800.0,
    dtype='float32'
)

Возвращает матрицу для преобразования спектрограмм из линейной шкалы в мел-шкалу.

Возвращает матрицу весов, которую можно использовать для повторного взвешивания тензора, содержащего num_spectrogram_bins линейно расположенных частотных данных из [0, sampling_rate / 2], в num_mel_bins частотных данных из [lower_edge_hertz, upper_edge_hertz], представленных в мел-шкале.

Эта функция следует соглашению инструментария скрытых марковских моделей (HTK), определяя мел-шкалу через частоту в герцах по следующей формуле:

mel(f) = 2595 * log10( 1 + f/700)

В возвращаемой матрице все треугольные фильтры (банки фильтров) имеют пиковое значение 1.0.

Например, возвращаемую матрицу A можно использовать для умножения справа спектрограммы S формы [frames, num_spectrogram_bins] со значениями спектра в линейной шкале (например, амплитудами STFT), чтобы получить «мел-спектрограмму» M формы [frames, num_mel_bins].

# `S` has shape [frames, num_spectrogram_bins]
# `M` has shape [frames, num_mel_bins]
M = keras.ops.matmul(S, A)

Матрицу можно использовать с keras.ops.tensordot, чтобы преобразовать спектральные полосы линейной шкалы произвольного ранга Tensor в мел-шкалу.

# S has shape [..., num_spectrogram_bins].
# M has shape [..., num_mel_bins].
M = keras.ops.tensordot(S, A, 1)

Ссылки:

• Мел-шкала (Википедия)

symbolic_call

Посмотреть исходный код

symbolic_call(
    *args, **kwargs
)