tf.nn.conv2d

Вычисляет двумерную свёртку для тензоров input и filters ранга 4.

tf.nn.conv2d(
    input,
    filters,
    strides,
    padding,
    data_format='NHWC',
    dilations=None,
    name=None
)

Тензор input может иметь ранг 4 или выше; размерности формы [:-3] считаются размерностями пакета (batch_shape).

Для входного тензора формы batch_shape + [in_height, in_width, in_channels] и тензора фильтра / ядра формы [filter_height, filter_width, in_channels, out_channels] эта операция выполняет следующие действия:

1. Преобразует фильтр в двумерную матрицу формы [filter_height * filter_width * in_channels, output_channels].
2. Извлекает из входного тензора фрагменты изображения, формируя виртуальный тензор формы [batch, out_height, out_width, filter_height * filter_width * in_channels].
3. Для каждого фрагмента перемножает матрицу фильтра и вектор фрагмента изображения, умножая матрицу справа.

Подробно, для формата NHWC по умолчанию:

output[b, i, j, k] =
    sum_{di, dj, q} input[b, strides[1] * i + di, strides[2] * j + dj, q] *
                    filter[di, dj, q, k]

Значение должно соответствовать strides[0] = strides[3] = 1. Для наиболее распространённого случая одинаковых горизонтального и вертикального шагов: strides = [1, stride, stride, 1].

Пример использования:

x_in = np.array([[
  [[2], [1], [2], [0], [1]],
  [[1], [3], [2], [2], [3]],
  [[1], [1], [3], [3], [0]],
  [[2], [2], [0], [1], [1]],
  [[0], [0], [3], [1], [2]], ]])
kernel_in = np.array([
 [ [[2, 0.1]], [[3, 0.2]] ],
 [ [[0, 0.3]], [[1, 0.4]] ], ])
x = tf.constant(x_in, dtype=tf.float32)
kernel = tf.constant(kernel_in, dtype=tf.float32)
tf.nn.conv2d(x, kernel, strides=[1, 1, 1, 1], padding='VALID')
<tf.Tensor: shape=(1, 4, 4, 2), dtype=float32, numpy=..., dtype=float32)>