tf.keras.preprocessing.image.ImageDataGenerator

Генерирует пакеты тензорных изображений с реальной динамической аугментацией данных.

tf.keras.preprocessing.image.ImageDataGenerator(
    featurewise_center=False,
    samplewise_center=False,
    featurewise_std_normalization=False,
    samplewise_std_normalization=False,
    zca_whitening=False,
    zca_epsilon=1e-06,
    rotation_range=0,
    width_shift_range=0.0,
    height_shift_range=0.0,
    brightness_range=None,
    shear_range=0.0,
    zoom_range=0.0,
    channel_shift_range=0.0,
    fill_mode='nearest',
    cval=0.0,
    horizontal_flip=False,
    vertical_flip=False,
    rescale=None,
    preprocessing_function=None,
    data_format=None,
    validation_split=0.0,
    interpolation_order=1,
    dtype=None
)

Данные будут циклически обрабатываться (по пакетам).

Примеры:

Пример использования .flow(x, y):

(x_train, y_train), (x_test, y_test) = cifar10.load_data()
y_train = utils.to_categorical(y_train, num_classes)
y_test = utils.to_categorical(y_test, num_classes)
datagen = ImageDataGenerator(
    featurewise_center=True,
    featurewise_std_normalization=True,
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2,
    horizontal_flip=True,
    validation_split=0.2)
# compute quantities required for featurewise normalization
# (std, mean, and principal components if ZCA whitening is applied)
datagen.fit(x_train)
# fits the model on batches with real-time data augmentation:
model.fit(datagen.flow(x_train, y_train, batch_size=32,
         subset='training'),
         validation_data=datagen.flow(x_train, y_train,
         batch_size=8, subset='validation'),
         steps_per_epoch=len(x_train) / 32, epochs=epochs)
# here's a more "manual" example
for e in range(epochs):
    print('Epoch', e)
    batches = 0
    for x_batch, y_batch in datagen.flow(x_train, y_train, batch_size=32):
        model.fit(x_batch, y_batch)
        batches += 1
        if batches >= len(x_train) / 32:
            # we need to break the loop by hand because
            # the generator loops indefinitely
            break

Пример использования .flow_from_directory(directory):

train_datagen = ImageDataGenerator(
        rescale=1./255,
        shear_range=0.2,
        zoom_range=0.2,
        horizontal_flip=True)
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
        'data/train',
        target_size=(150, 150),
        batch_size=32,
        class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
        'data/validation',
        target_size=(150, 150),
        batch_size=32,
        class_mode='binary')
model.fit(
        train_generator,
        steps_per_epoch=2000,
        epochs=50,
        validation_data=validation_generator,
        validation_steps=800)

Пример преобразования изображений и масок вместе.

# we create two instances with the same arguments
data_gen_args = dict(featurewise_center=True,
                     featurewise_std_normalization=True,
                     rotation_range=90,
                     width_shift_range=0.1,
                     height_shift_range=0.1,
                     zoom_range=0.2)
image_datagen = ImageDataGenerator(**data_gen_args)
mask_datagen = ImageDataGenerator(**data_gen_args)
# Provide the same seed and keyword arguments to the fit and flow methods
seed = 1
image_datagen.fit(images, augment=True, seed=seed)
mask_datagen.fit(masks, augment=True, seed=seed)
image_generator = image_datagen.flow_from_directory(
    'data/images',
    class_mode=None,
    seed=seed)
mask_generator = mask_datagen.flow_from_directory(
    'data/masks',
    class_mode=None,
    seed=seed)
# combine generators into one which yields image and masks
train_generator = zip(image_generator, mask_generator)
model.fit(
    train_generator,
    steps_per_epoch=2000,
    epochs=50)

Методы

apply_transform

Просмотреть исходный код

apply_transform(
    x, transform_parameters
)

Применяет преобразование к изображению в соответствии с заданными параметрами.

fit

Просмотреть исходный код

fit(
    x, augment=False, rounds=1, seed=None
)

Подстраивает генератор данных к некоторым образцам данных.

Это вычисляет внутренние статистические данные, связанные с преобразованиями, зависящими от данных, на основе массива образцов данных.

Требуется только если featurewise_center или featurewise_std_normalization или zca_whitening установлены в True.

Когда rescale установлено в значение, масштабирование применяется к образцам данных перед вычислением внутренних статистических данных.

flow

Просмотреть исходный код

flow(
    x,
    y=None,
    batch_size=32,
    shuffle=True,
    sample_weight=None,
    seed=None,
    save_to_dir=None,
    save_prefix='',
    save_format='png',
    ignore_class_split=False,
    subset=None
)

Принимает массивы данных и меток, генерирует пакеты увеличенных данных.

flow_from_dataframe

Просмотреть исходный код

flow_from_dataframe(
    dataframe,
    directory=None,
    x_col='filename',
    y_col='class',
    weight_col=None,
    target_size=(256, 256),
    color_mode='rgb',
    classes=None,
    class_mode='categorical',
    batch_size=32,
    shuffle=True,
    seed=None,
    save_to_dir=None,
    save_prefix='',
    save_format='png',
    subset=None,
    interpolation='nearest',
    validate_filenames=True,
    **kwargs
)

Принимает фрейм данных и путь к директории + генерирует пакеты.

Сгенерированные пакеты содержат изменённые/нормализованные данные.

**Простой учебник можно найти** здесь.

flow_from_directory

Просмотреть исходный код

flow_from_directory(
    directory,
    target_size=(256, 256),
    color_mode='rgb',
    classes=None,
    class_mode='categorical',
    batch_size=32,
    shuffle=True,
    seed=None,
    save_to_dir=None,
    save_prefix='',
    save_format='png',
    follow_links=False,
    subset=None,
    interpolation='nearest',
    keep_aspect_ratio=False
)

Принимает путь к директории и генерирует пакеты изменённых данных.

get_random_transform

Просмотреть исходный код

get_random_transform(
    img_shape, seed=None
)

Генерирует случайные параметры для преобразования.

random_transform

Просмотреть исходный код

random_transform(
    x, seed=None
)

Применяет случайное преобразование к изображению.

standardize

Просмотреть исходный код

standardize(
    x
)

Применяет конфигурацию нормализации непосредственно к пакету входных данных.

x изменяется непосредственно, так как функция в основном используется внутри для нормализации изображений и подачи их в вашу сеть. Если вместо этого будет создана копия x, это приведет к значительному снижению производительности. Если вы хотите применить этот метод без изменения входных данных на месте, вы можете вызвать метод, создав копию перед этим:

standardize(np.copy(x))