tf.keras.preprocessing.image.ImageDataGenerator

Генерирует пакеты тензорных изображений с реальной динамической аугментацией данных.

tf.keras.preprocessing.image.ImageDataGenerator(
    featurewise_center=False, samplewise_center=False,
    featurewise_std_normalization=False, samplewise_std_normalization=False,
    zca_whitening=False, zca_epsilon=1e-06, rotation_range=0, width_shift_range=0.0,
    height_shift_range=0.0, brightness_range=None, shear_range=0.0, zoom_range=0.0,
    channel_shift_range=0.0, fill_mode='nearest', cval=0.0,
    horizontal_flip=False, vertical_flip=False, rescale=None,
    preprocessing_function=None, data_format=None, validation_split=0.0, dtype=None
)

Данные будут циклически обрабатываться (по пакетам).

Примеры:

Пример использования .flow(x, y):

(x_train, y_train), (x_test, y_test) = cifar10.load_data()
y_train = np_utils.to_categorical(y_train, num_classes)
y_test = np_utils.to_categorical(y_test, num_classes)
datagen = ImageDataGenerator(
    featurewise_center=True,
    featurewise_std_normalization=True,
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2,
    horizontal_flip=True)
# compute quantities required for featurewise normalization
# (std, mean, and principal components if ZCA whitening is applied)
datagen.fit(x_train)
# fits the model on batches with real-time data augmentation:
model.fit(datagen.flow(x_train, y_train, batch_size=32),
          steps_per_epoch=len(x_train) / 32, epochs=epochs)
# here's a more "manual" example
for e in range(epochs):
    print('Epoch', e)
    batches = 0
    for x_batch, y_batch in datagen.flow(x_train, y_train, batch_size=32):
        model.fit(x_batch, y_batch)
        batches += 1
        if batches >= len(x_train) / 32:
            # we need to break the loop by hand because
            # the generator loops indefinitely
            break

Пример использования .flow_from_directory(directory):

train_datagen = ImageDataGenerator(
        rescale=1./255,
        shear_range=0.2,
        zoom_range=0.2,
        horizontal_flip=True)
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
        'data/train',
        target_size=(150, 150),
        batch_size=32,
        class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
        'data/validation',
        target_size=(150, 150),
        batch_size=32,
        class_mode='binary')
model.fit(
        train_generator,
        steps_per_epoch=2000,
        epochs=50,
        validation_data=validation_generator,
        validation_steps=800)

Пример преобразования изображений и масок вместе.

# we create two instances with the same arguments
data_gen_args = dict(featurewise_center=True,
                     featurewise_std_normalization=True,
                     rotation_range=90,
                     width_shift_range=0.1,
                     height_shift_range=0.1,
                     zoom_range=0.2)
image_datagen = ImageDataGenerator(**data_gen_args)
mask_datagen = ImageDataGenerator(**data_gen_args)
# Provide the same seed and keyword arguments to the fit and flow methods
seed = 1
image_datagen.fit(images, augment=True, seed=seed)
mask_datagen.fit(masks, augment=True, seed=seed)
image_generator = image_datagen.flow_from_directory(
    'data/images',
    class_mode=None,
    seed=seed)
mask_generator = mask_datagen.flow_from_directory(
    'data/masks',
    class_mode=None,
    seed=seed)
# combine generators into one which yields image and masks
train_generator = zip(image_generator, mask_generator)
model.fit(
    train_generator,
    steps_per_epoch=2000,
    epochs=50)

Методы

apply_transform

Просмотреть исходный код

apply_transform(
    x, transform_parameters
)

Применяет преобразование к изображению в соответствии с заданными параметрами.

fit

Просмотреть исходный код

fit(
    x, augment=False, rounds=1, seed=None
)

Подбирает генератор данных к некоторым образцам данных.

Это вычисляет внутренние статистические данные, связанные с преобразованиями, зависящими от данных, на основе массива данных образцов.

Требуется только если featurewise_center или featurewise_std_normalization или zca_whitening установлены в True.

Когда rescale установлено в значение, масштабирование применяется к образцам данных перед вычислением внутренних статистических данных.

flow

Просмотреть исходный код

flow(
    x, y=None, batch_size=32, shuffle=True, sample_weight=None, seed=None,
    save_to_dir=None, save_prefix='', save_format='png',
    subset=None
)

Принимает массивы данных и меток, генерирует пакеты аугментированных данных.

flow_from_dataframe

Просмотреть исходный код

flow_from_dataframe(
    dataframe, directory=None, x_col='filename', y_col='class',
    weight_col=None, target_size=(256, 256), color_mode='rgb',
    classes=None, class_mode='categorical', batch_size=32, shuffle=True,
    seed=None, save_to_dir=None, save_prefix='',
    save_format='png', subset=None, interpolation='nearest',
    validate_filenames=True, **kwargs
)

Принимает датафрейм и путь к каталогу + генерирует пакеты.

Сгенерированные пакеты содержат данные, дополненные/нормализованные.

**Простой учебник можно найти **здесь.

flow_from_directory

Просмотреть исходный код

flow_from_directory(
    directory, target_size=(256, 256), color_mode='rgb', classes=None,
    class_mode='categorical', batch_size=32, shuffle=True, seed=None,
    save_to_dir=None, save_prefix='', save_format='png',
    follow_links=False, subset=None, interpolation='nearest'
)

Принимает путь к каталогу и генерирует пакеты дополненных данных.

get_random_transform

Просмотреть исходный код

get_random_transform(
    img_shape, seed=None
)

Генерирует случайные параметры для преобразования.

random_transform

Посмотреть исходный код

random_transform(
    x, seed=None
)

Применяет случайное преобразование к изображению.

standardize

Посмотреть исходный код

standardize(
    x
)

Применяет конфигурацию нормализации непосредственно к набору входных данных.

x изменяется непосредственно, так как функция в основном используется внутри для нормализации изображений и подачи их в вашу сеть. Если бы вместо этого была создана копия x, это повлекло бы значительные затраты производительности. Если вы хотите применить этот метод без изменения входных данных непосредственно, вы можете вызвать метод, создавая копию до:

standardize(np.copy(x))