tf.signal.linear_to_mel_weight_matrix

Возвращает матрицу для преобразования спектрограмм с линейной шкалой в мел-шкалу.

tf.signal.linear_to_mel_weight_matrix(
    num_mel_bins=20,
    num_spectrogram_bins=129,
    sample_rate=8000,
    lower_edge_hertz=125.0,
    upper_edge_hertz=3800.0,
    dtype=tf.dtypes.float32,
    name=None
)

Возвращает матрицу весов, которую можно использовать для перевзвешивания Tensor, содержащего num_spectrogram_bins линейно дискретизированных частотных данных из [0, sample_rate / 2], в num_mel_bins частотных данных из [lower_edge_hertz, upper_edge_hertz] в мел-шкале.

Эта функция следует соглашению Hidden Markov Model Toolkit (HTK), определяя мел-шкалу через частоту в герцах согласно следующей формуле:

$$\textrm{mel}(f) = 2595 * \textrm{log}_{10}(1 + \frac{f}{700})$$

В возвращаемой матрице все треугольники (банки фильтров) имеют пиковое значение 1.0.

Например, возвращаемую матрицу A можно умножить справа на спектрограмму S формы [frames, num_spectrogram_bins] со значениями спектра в линейной шкале (например, амплитудами STFT), чтобы получить «мел-спектрограмму» M формы [frames, num_mel_bins].

# `S` has shape [frames, num_spectrogram_bins]
# `M` has shape [frames, num_mel_bins]
M = tf.matmul(S, A)

Матрицу можно использовать с tf.tensordot, чтобы преобразовать тензор произвольного ранга Tensor с частотными отсчётами в линейной шкале в мел-шкалу.

# S has shape [..., num_spectrogram_bins].
# M has shape [..., num_mel_bins].
M = tf.tensordot(S, A, 1)