tf.nn.atrous_conv2d

Атрусная свёртка (также называемая свёрткой с отверстиями или дилатированной свёрткой).

tf.nn.atrous_conv2d(
    value, filters, rate, padding, name=None
)

Эта функция представляет собой более простую оболочку для более универсальной функции tf.nn.convolution и существует только для обратной совместимости. Вы можете использовать tf.nn.convolution для выполнения атрусной свёртки размерности 1, 2 или 3.

Вычисляет двумерную атрусную свёртку, также известную как свёртка с отверстиями или дилатированная свёртка, для тензоров value и filters размерности 4. Если параметр rate равен единице, выполняется обычная двумерная свёртка. Если параметр rate больше единицы, выполняется свёртка с отверстиями, при которой входные значения выбираются через каждые rate пикселей по измерениям height и width. Это эквивалентно свёртке входных данных с набором увеличенных фильтров, полученных вставкой rate - 1 нулей между соседними значениями фильтров по измерениям height и width, отсюда и название «атрусная свёртка» или «свёртка с отверстиями» (французское слово trous означает «отверстия»).

Точнее:

output[batch, height, width, out_channel] =
    sum_{dheight, dwidth, in_channel} (
        filters[dheight, dwidth, in_channel, out_channel] *
        value[batch, height + rate*dheight, width + rate*dwidth, in_channel]
    )

Атрусная свёртка позволяет явно управлять плотностью вычисления откликов признаков в полностью свёрточных сетях. В сочетании с билинейной интерполяцией она предлагает альтернативу conv2d_transpose в задачах плотного предсказания, таких как семантическая сегментация изображений, вычисление оптического потока или оценка глубины. Она также позволяет эффективно увеличивать поле зрения фильтров без увеличения числа параметров или объёма вычислений.

Описание атрусной свёртки и её применения для плотного извлечения признаков см. в работе (Chen et al., 2015). Эта же операция подробнее исследуется в работе (Yu et al., 2016). Среди других более ранних работ, в которых атрусная свёртка эффективно применяется различными способами, — (Sermanet et al., 2014) и (Giusti et al., 2013). Атрусная свёртка также тесно связана с так называемыми тождествами Нобла в многоскоростной обработке сигналов.

Существует множество способов реализации атрусной свёртки (см. приведённые выше ссылки). Приведённая здесь реализация сводит

atrous_conv2d(value, filters, rate, padding=padding)

к следующим трём операциям:

paddings = ...
net = space_to_batch(value, paddings, block_size=rate)
net = conv2d(net, filters, strides=[1, 1, 1, 1], padding="VALID")
crops = ...
net = batch_to_space(net, crops, block_size=rate)

Расширенное использование. Обратите внимание на следующую оптимизацию: последовательность операций atrous_conv2d с одинаковыми параметрами rate, дополнением 'SAME' padding и фильтрами нечётной высоты/ширины:

net = atrous_conv2d(net, filters1, rate, padding="SAME")
net = atrous_conv2d(net, filters2, rate, padding="SAME")
...
net = atrous_conv2d(net, filtersK, rate, padding="SAME")

можно эквивалентно выполнить с меньшими затратами вычислений и памяти следующим образом:

pad = ...  # padding so that the input dims are multiples of rate
net = space_to_batch(net, paddings=pad, block_size=rate)
net = conv2d(net, filters1, strides=[1, 1, 1, 1], padding="SAME")
net = conv2d(net, filters2, strides=[1, 1, 1, 1], padding="SAME")
...
net = conv2d(net, filtersK, strides=[1, 1, 1, 1], padding="SAME")
net = batch_to_space(net, crops=pad, block_size=rate)

поскольку пара последовательных операций space_to_batch и batch_to_space с одинаковым block_size взаимно сокращается, если их входные данные paddings и crops идентичны.

[batch, height - rate * (filter_width - 1),
 width - rate * (filter_height - 1), out_channels].

[batch, height, width, out_channels].