tf.raw_ops.AudioSpectrogram

Создаёт визуализацию аудиоданных во времени.

tf.raw_ops.AudioSpectrogram(
    input, window_size, stride, magnitude_squared=False, name=None
)

Спектрограммы — стандартный способ представления аудиоинформации как серии срезов частотной информации, по одному срезу для каждого временного окна. Объединение их в последовательность формирует отличительный отпечаток звука во времени.

Этот оператор ожидает входные аудиоданные, хранящиеся в виде чисел с плавающей запятой в диапазоне от -1 до 1, вместе с шириной окна в выборках и шагом, определяющим, насколько далеко необходимо смещать окно между срезами. На основе этого он генерирует трехмерный выход. Первое измерение относится к каналам входных данных, поэтому, например, стерео аудио вход будет иметь два канала. Второе измерение — время, с последовательными частотными срезами. Третье измерение содержит значение амплитуды для каждой частоты в течение данного временного среза.

Это означает, что расположение при преобразовании и сохранении в виде изображения поворачивается на 90 градусов по часовой стрелке по сравнению со стандартной спектрограммой. Время идёт по оси Y сверху вниз, а частота уменьшается слева направо.

Каждое значение в результате представляет собой квадратный корень из суммы вещественной и мнимой частей преобразования Фурье для текущего окна выборок. Таким образом, наименьшее измерение представляет собой мощность каждой частоты в текущем окне, а соседние окна конкатенируются в следующем измерении.

Чтобы получить более интуитивное и визуальное представление о работе этой операции, можно запустить tensorflow/examples/wav_to_spectrogram для чтения аудиофайла и сохранения получившейся спектрограммы в формате PNG-изображения.