tf.image.stateless_sample_distorted_bounding_box

Детерминированно генерирует случайно деформированную ограничивающую рамку (bounding box) для изображения.

tf.image.stateless_sample_distorted_bounding_box(
    image_size,
    bounding_boxes,
    seed,
    min_object_covered=0.1,
    aspect_ratio_range=None,
    area_range=None,
    max_attempts=None,
    use_image_if_no_bounding_boxes=None,
    name=None
)

Аннотации в виде ограничивающих рамок часто предоставляются в дополнение к истинным меткам (ground-truth) в задачах распознавания изображений или локализации объектов. Распространенным методом обучения таких систем является случайное искажение изображения с сохранением его содержимого, то есть аугментация данных. Данная операция (Op) при одном и том же seed детерминированно возвращает случайно искаженную локализацию объекта, то есть ограничивающую рамку, на основе переданных image_size, bounding_boxes и ряда ограничений.

Результатом этой операции является одна ограничивающая рамка, которая может использоваться для обрезки исходного изображения. Результат возвращается в виде трех тензоров: begin, size и bboxes. Первые два тензора можно передать напрямую в tf.slice для обрезки изображения. Последний можно передать в tf.image.draw_bounding_boxes для визуализации того, как выглядит ограничивающая рамка.

Ограничивающие рамки передаются и возвращаются как [y_min, x_min, y_max, x_max]. Координаты ограничивающей рамки представляют собой числа с плавающей точкой в диапазоне [0.0, 1.0] относительно ширины и высоты исходного изображения.

Гарантируется, что выходные данные этой операции будут одинаковыми при одинаковом значении seed, и не зависят от того, сколько раз вызывается функция, а также от глобальных настроек сида (например, tf.random.set_seed).

Пример использования:

image = np.array([[[1], [2], [3]], [[4], [5], [6]], [[7], [8], [9]]])
bbox = tf.constant(
  [0.0, 0.0, 1.0, 1.0], dtype=tf.float32, shape=[1, 1, 4])
seed = (1, 2)
# Generate a single distorted bounding box.
bbox_begin, bbox_size, bbox_draw = (
  tf.image.stateless_sample_distorted_bounding_box(
    tf.shape(image), bounding_boxes=bbox, seed=seed))
# Employ the bounding box to distort the image.
tf.slice(image, bbox_begin, bbox_size)
<tf.Tensor: shape=(2, 2, 1), dtype=int64, numpy=
array([[[1],
        [2]],
       [[4],
        [5]]])>
# Draw the bounding box in an image summary.
colors = np.array([[1.0, 0.0, 0.0], [0.0, 0.0, 1.0]])
tf.image.draw_bounding_boxes(
  tf.expand_dims(tf.cast(image, tf.float32),0), bbox_draw, colors)
<tf.Tensor: shape=(1, 3, 3, 1), dtype=float32, numpy=
array([[[[1.],
         [1.],
         [3.]],
        [[1.],
         [1.],
         [6.]],
        [[7.],
         [8.],
         [9.]]]], dtype=float32)>

Обратите внимание, что если информация об ограничивающих рамках отсутствует, установка параметра use_image_if_no_bounding_boxes = true приведет к предположению, что существует одна неявная ограничивающая рамка, покрывающая все изображение. Если параметр use_image_if_no_bounding_boxes равен false и ограничивающие рамки не переданы, возникает ошибка.