tf.raw_ops.AudioSpectrogram

Создаёт визуализацию аудиоданных во времени.

tf.raw_ops.AudioSpectrogram(
    input, window_size, stride, magnitude_squared=False, name=None
)

Спектрограммы — это стандартный способ представления аудиоинформации в виде серии срезов частотной информации, по одному срезу для каждого временного окна. Объединяя эти срезы в последовательность, они образуют отличительный отпечаток звука во времени.

Этот оператор ожидает в качестве входных данных аудиоданные, представленные в виде чисел с плавающей запятой в диапазоне от -1 до 1, вместе с шириной окна в выборках и шагом, определяющим расстояние перемещения окна между срезами. На основе этого он генерирует трёхмерный результат. Первое измерение соответствует каналам на входе, например, стерео аудио вход имеет здесь два канала. Второе измерение — время, с последовательными частотными срезами. Третье измерение содержит значение амплитуды для каждой частоты в течение этого временного среза.

Это означает, что при преобразовании и сохранении в виде изображения макет вращается на 90 градусов по часовой стрелке по сравнению с типичной спектрограммой. Время уменьшается по оси Y, а частота уменьшается слева направо.

Каждое значение в результате представляет собой квадратный корень из суммы действительной и мнимой частей преобразования Фурье для текущего окна выборок. Таким образом, наименьшее измерение представляет собой мощность каждой частоты в текущем окне, а смежные окна конкатенируются в следующем измерении.

Чтобы получить более наглядное и визуальное представление об этом операторе, можно запустить tensorflow/examples/wav_to_spectrogram, чтобы прочитать файл аудио и сохранить полученную спектрограмму в виде изображения PNG.