tf.nn.conv2d

Вычисляет 2-мерную свёртку, учитывая input и 4-мерные filters тензоры.

tf.nn.conv2d(
    input,
    filters,
    strides,
    padding,
    data_format='NHWC',
    dilations=None,
    name=None
)

Тензор input может иметь ранг 4 или выше, где размерности формы [:-3] считаются размерностями пакета (batch_shape).

Учитывая входной тензор формы batch_shape + [in_height, in_width, in_channels] и тензор фильтра/ядра формы [filter_height, filter_width, in_channels, out_channels], этот оператор выполняет следующее:

1. Сжимает фильтр в 2-мерную матрицу с формой [filter_height * filter_width * in_channels, output_channels].
2. Извлекает фрагменты изображения из входного тензора, чтобы сформировать виртуальный тензор формы [batch, out_height, out_width, filter_height * filter_width * in_channels].
3. Для каждого фрагмента выполняет правое умножение матрицы фильтра и вектора фрагмента изображения.

Подробно, с форматом NHWC по умолчанию,

output[b, i, j, k] =
    sum_{di, dj, q} input[b, strides[1] * i + di, strides[2] * j + dj, q] *
                    filter[di, dj, q, k]

Должно выполняться strides[0] = strides[3] = 1. Для наиболее распространённого случая одинаковых горизонтальных и вертикальных шагов, strides = [1, stride, stride, 1].

Пример использования:

x_in = np.array([[
  [[2], [1], [2], [0], [1]],
  [[1], [3], [2], [2], [3]],
  [[1], [1], [3], [3], [0]],
  [[2], [2], [0], [1], [1]],
  [[0], [0], [3], [1], [2]], ]])
kernel_in = np.array([
 [ [[2, 0.1]], [[3, 0.2]] ],
 [ [[0, 0.3]], [[1, 0.4]] ], ])
x = tf.constant(x_in, dtype=tf.float32)
kernel = tf.constant(kernel_in, dtype=tf.float32)
tf.nn.conv2d(x, kernel, strides=[1, 1, 1, 1], padding='VALID')
<tf.Tensor: shape=(1, 4, 4, 2), dtype=float32, numpy=..., dtype=float32)>