tf.raw_ops.AudioSpectrogram

Создает визуализацию аудиоданных во времени.

tf.raw_ops.AudioSpectrogram(
    input, window_size, stride, magnitude_squared=False, name=None
)

Спектрограммы — это стандартный способ представления аудиоинформации в виде последовательности срезов частотной информации, по одному срезу для каждого временного интервала. Объединенные в последовательность, они образуют характерный отпечаток звука во времени.

Эта операция принимает на вход аудиоданные в виде чисел с плавающей запятой в диапазоне от -1 до 1, а также ширину окна в отсчетах и шаг, указывающий, насколько нужно сдвигать окно между срезами. На основе этих данных формируется трехмерный результат. Первое измерение соответствует каналам входных данных: например, для стереозвука здесь будет два канала. Второе измерение соответствует времени и содержит последовательные частотные срезы. Третье измерение содержит значение амплитуды для каждой частоты в соответствующем временном срезе.

Это означает, что при преобразовании и сохранении в виде изображения результат повернут на 90 градусов по часовой стрелке относительно типичной спектрограммы. Время убывает по оси Y, а частота уменьшается слева направо.

Каждое значение результата представляет собой квадратный корень из суммы квадратов действительной и мнимой частей БПФ для текущего окна отсчетов. Таким образом, самое нижнее измерение представляет мощность каждой частоты в текущем окне, а соседние окна объединяются в следующем измерении.

Чтобы нагляднее и интуитивнее увидеть, что делает эта операция, можно запустить tensorflow/examples/wav_to_spectrogram, прочитать аудиофайл и сохранить полученную спектрограмму в виде изображения PNG.