tf.keras.Sequential

Sequential объединяет линейную стопку слоёв в tf.keras.Model.

tf.keras.Sequential(
    layers=None, name=None
)

Sequential предоставляет функции обучения и вывода для этой модели.

Примеры:

# Optionally, the first layer can receive an `input_shape` argument:
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(8, input_shape=(16,)))
# Afterwards, we do automatic shape inference:
model.add(tf.keras.layers.Dense(4))

# This is identical to the following:
model = tf.keras.Sequential()
model.add(tf.keras.Input(shape=(16,)))
model.add(tf.keras.layers.Dense(8))

# Note that you can also omit the `input_shape` argument.
# In that case the model doesn't have any weights until the first call
# to a training/evaluation method (since it isn't yet built):
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(8))
model.add(tf.keras.layers.Dense(4))
# model.weights not created yet

# Whereas if you specify the input shape, the model gets built
# continuously as you are adding layers:
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(8, input_shape=(16,)))
model.add(tf.keras.layers.Dense(4))
len(model.weights)
4

# When using the delayed-build pattern (no input shape specified), you can
# choose to manually build your model by calling
# `build(batch_input_shape)`:
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(8))
model.add(tf.keras.layers.Dense(4))
model.build((None, 16))
len(model.weights)
4

# Note that when using the delayed-build pattern (no input shape specified),
# the model gets built the first time you call `fit`, `eval`, or `predict`,
# or the first time you call the model on some input data.
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(8))
model.add(tf.keras.layers.Dense(1))
model.compile(optimizer='sgd', loss='mse')
# This builds the model for the first time:
model.fit(x, y, batch_size=32, epochs=10)

inputs = tf.keras.layers.Input(shape=(3,))
outputs = tf.keras.layers.Dense(2)(inputs)
model = tf.keras.models.Model(inputs=inputs, outputs=outputs)
model.compile(optimizer="Adam", loss="mse", metrics=["mae"])
model.metrics_names
[]

x = np.random.random((2, 3))
y = np.random.randint(0, 2, (2, 2))
model.fit(x, y)
model.metrics_names
['loss', 'mae']

inputs = tf.keras.layers.Input(shape=(3,))
d = tf.keras.layers.Dense(2, name='out')
output_1 = d(inputs)
output_2 = d(inputs)
model = tf.keras.models.Model(
   inputs=inputs, outputs=[output_1, output_2])
model.compile(optimizer="Adam", loss="mse", metrics=["mae", "acc"])
model.fit(x, (y, y))
model.metrics_names
['loss', 'out_loss', 'out_1_loss', 'out_mae', 'out_acc', 'out_1_mae',
'out_1_acc']

Методы

add

Просмотреть исходный код

add(
    layer
)

Добавляет экземпляр слоя поверх стека слоёв.

compile

Просмотреть исходный код

compile(
    optimizer='rmsprop', loss=None, metrics=None, loss_weights=None,
    weighted_metrics=None, run_eagerly=None, **kwargs
)

Настраивает модель для обучения.

evaluate

Просмотреть исходный код

evaluate(
    x=None, y=None, batch_size=None, verbose=1, sample_weight=None, steps=None,
    callbacks=None, max_queue_size=10, workers=1, use_multiprocessing=False,
    return_dict=False
)

Возвращает значение потерь и значения метрик для модели в режиме тестирования.

Вычисление выполняется партиями (см. аргумент batch_size).

См. обсуждение Unpacking behavior for iterator-like inputs для Model.fit.

evaluate_generator

Просмотреть исходный код

evaluate_generator(
    generator, steps=None, callbacks=None, max_queue_size=10, workers=1,
    use_multiprocessing=False, verbose=0
)

Выполняет оценку модели на генераторе данных. (устаревший)

УСТАРЕЛО:

Model.evaluate теперь поддерживает генераторы, поэтому больше нет необходимости использовать этот метод.

fit

Просмотреть исходный код

fit(
    x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None,
    validation_split=0.0, validation_data=None, shuffle=True, class_weight=None,
    sample_weight=None, initial_epoch=0, steps_per_epoch=None,
    validation_steps=None, validation_batch_size=None, validation_freq=1,
    max_queue_size=10, workers=1, use_multiprocessing=False
)

Обучает модель для фиксированного числа эпох (итераций по набору данных).

Поведение распаковки для итераторных входных данных: Общая практика — передавать tf.data.Dataset, генератор или tf.keras.utils.Sequence в аргумент x метода fit, который фактически возвращает не только признаки (x), но также, необязательно, целевые значения (y) и веса образцов. Keras требует, чтобы вывод таких итераторов был однозначным. Итератор должен возвращать кортеж длиной 1, 2 или 3, где необязательные второй и третий элементы будут использоваться для y и sample_weight соответственно. Любой другой тип будет обернут в кортеж длиной 1, эффективно рассматривая все как 'x'. При передаче словарей они должны соответствовать структуре кортежа верхнего уровня. Например, ({"x0": x0, "x1": x1}, y). Keras не будет пытаться разделять признаки, целевые значения и веса из ключей одного словаря. Заметным недопустимым типом данных является namedtuple. Причина в том, что он ведёт себя как упорядоченный тип данных (кортеж) и как тип данных сопоставления (словарь). Таким образом, с учётом namedtuple вида: namedtuple("example_tuple", ["y", "x"]) неясно, следует ли изменять порядок элементов при интерпретации значения. Ещё хуже кортеж вида: namedtuple("other_tuple", ["x", "y", "z"]), где неясно, предназначался ли кортеж для распаковки в x, y и sample_weight или для передачи в качестве одного элемента в x. В результате код обработки данных просто выведет ValueError, если он столкнётся с namedtuple. (Вместе с инструкциями по устранению проблемы.)

fit_generator

Просмотреть исходный код

fit_generator(
    generator, steps_per_epoch=None, epochs=1, verbose=1, callbacks=None,
    validation_data=None, validation_steps=None, validation_freq=1,
    class_weight=None, max_queue_size=10, workers=1, use_multiprocessing=False,
    shuffle=True, initial_epoch=0
)

Обучает модель на данных, сгенерированных по частям с помощью Python-генератора. (устарело)

УСТАРЕЛО:

Model.fit теперь поддерживает генераторы, поэтому больше нет необходимости использовать этот метод.

get_layer

Просмотреть исходный код

get_layer(
    name=None, index=None
)

Возвращает слой на основе имени (уникального) или индекса.

Если name и index оба заданы, index будет иметь приоритет. Индексы основаны на порядке горизонтального обхода графа (сверху вниз).

load_weights

Просмотреть исходный код

load_weights(
    filepath, by_name=False, skip_mismatch=False, options=None
)

Загружает все веса слоя из файла весов TensorFlow или HDF5.

Если by_name равно False, веса загружаются на основе топологии сети. Это означает, что архитектура должна быть такой же, как при сохранении весов. Обратите внимание, что слои, у которых нет весов, не учитываются в топологической сортировке, поэтому добавление или удаление слоёв допустимо, если у них нет весов.

Если by_name равно True, веса загружаются в слои только в случае совпадения имен. Это полезно для дообучения или трансферного обучения моделей, где некоторые слои изменились.

Только топологическая загрузка (by_name=False) поддерживается при загрузке весов из формата TensorFlow. Обратите внимание, что топологическая загрузка немного отличается между форматами TensorFlow и HDF5 для пользовательских классов, наследующих от tf.keras.Model: HDF5 загружает на основе сплющенного списка весов, в то время как формат TensorFlow загружает на основе локальных имен атрибутов, которым присвоены слои в конструкторе Model.

make_predict_function

Просмотреть исходный код

make_predict_function()

Создаёт функцию, выполняющую один шаг вывода.

Этот метод можно переопределить для поддержки пользовательской логики вывода. Этот метод вызывается Model.predict и Model.predict_on_batch.

Обычно этот метод напрямую управляет tf.function и tf.distribute.Strategy настройками и делегирует фактическую логику оценки Model.predict_step.

Эта функция кэшируется при первом вызове Model.predict или Model.predict_on_batch. Кэш очищается при каждом вызове Model.compile.

make_test_function

Просмотреть исходный код

make_test_function()

Создаёт функцию, выполняющую один шаг оценки.

Этот метод можно переопределить для поддержки пользовательской логики оценки. Этот метод вызывается Model.evaluate и Model.test_on_batch.

Обычно этот метод напрямую управляет tf.function и tf.distribute.Strategy настройками и делегирует фактическую логику оценки Model.test_step.

Эта функция кэшируется при первом вызове Model.evaluate или Model.test_on_batch. Кэш очищается при каждом вызове Model.compile.

make_train_function

Просмотреть исходный код

make_train_function()

Создаёт функцию, выполняющую один шаг обучения.

Этот метод можно переопределить для поддержки пользовательской логики обучения. Этот метод вызывается Model.fit и Model.train_on_batch.

Обычно этот метод напрямую управляет tf.function и tf.distribute.Strategy настройками и делегирует фактическую логику обучения Model.train_step.

Эта функция кэшируется при первом вызове Model.fit или Model.train_on_batch. Кэш очищается при каждом вызове Model.compile.

pop

Просмотреть исходный код

pop()

Удаляет последний слой в модели.

predict

Просмотреть исходный код

predict(
    x, batch_size=None, verbose=0, steps=None, callbacks=None, max_queue_size=10,
    workers=1, use_multiprocessing=False
)

Генерирует предсказания вывода для входных выборок.

Вычисление выполняется по частям. Этот метод разработан для производительности с большими входными данными. Для небольших входных данных, которые помещаются в одну партию, рекомендуется использовать напрямую __call__ для более быстрого выполнения, например, model(x), или model(x, training=False) если у вас есть слои, такие как tf.keras.layers.BatchNormalization, которые ведут себя по-разному во время вывода. Также обратите внимание на то, что тестовая потеря не зависит от регуляризующих слоёв, таких как шум и дропаут.

См. обсуждение Unpacking behavior for iterator-like inputs для Model.fit. Обратите внимание, что Model.predict использует те же правила интерпретации, что и Model.fit и Model.evaluate, поэтому входные данные должны быть однозначными для всех трех методов.

predict_classes

Просмотреть исходный код

predict_classes(
    x, batch_size=32, verbose=0
)

Генерирует прогнозы класса для входных образцов. (устарело)

Входящие образцы обрабатываются по частям.

predict_generator

Просмотреть исходный код

predict_generator(
    generator, steps=None, callbacks=None, max_queue_size=10, workers=1,
    use_multiprocessing=False, verbose=0
)

Генерирует прогнозы для входных образцов из генератора данных. (устарело)

УСТАРЕЛО:

Model.predict теперь поддерживает генераторы, поэтому больше нет необходимости использовать этот метод.

predict_on_batch

Просмотреть исходный код

predict_on_batch(
    x
)

Возвращает прогнозы для одной пачки образцов.

predict_proba

Просмотреть исходный код

predict_proba(
    x, batch_size=32, verbose=0
)

Генерирует прогнозы вероятностей класса для входных образцов. (устарело)

Входные образцы обрабатываются по частям.

predict_step

Просмотреть исходный код

predict_step(
    data
)

Логика для одного шага вывода.

Этот метод можно переопределить для поддержки пользовательской логики вывода. Этот метод вызывается методом Model.make_predict_function.

Этот метод должен содержать математическую логику для одного шага вывода. Это обычно включает прямой проход.

Детали конфигурации, касающиеся того, *как* выполняется эта логика (например, параметры tf.function и tf.distribute.Strategy), должны оставляться методу Model.make_predict_function, который также можно переопределить.

reset_metrics

Просмотреть исходный код

reset_metrics()

Сбрасывает состояние всех метрик в модели.

Примеры:

inputs = tf.keras.layers.Input(shape=(3,))
outputs = tf.keras.layers.Dense(2)(inputs)
model = tf.keras.models.Model(inputs=inputs, outputs=outputs)
model.compile(optimizer="Adam", loss="mse", metrics=["mae"])

x = np.random.random((2, 3))
y = np.random.randint(0, 2, (2, 2))
_ = model.fit(x, y, verbose=0)
assert all(float(m.result()) for m in model.metrics)

model.reset_metrics()
assert all(float(m.result()) == 0 for m in model.metrics)

reset_states

Просмотреть исходный код

reset_states()

save

Просмотреть исходный код

save(
    filepath, overwrite=True, include_optimizer=True, save_format=None,
    signatures=None, options=None
)

Сохраняет модель в формате Tensorflow SavedModel или в единственный файл HDF5.

Файл сохранения включает:

• Архитектуру модели, позволяющую повторно создать модель.
• Веса модели.
• Состояние оптимизатора, позволяющее возобновить обучение точно с того места, где вы остановились.

Это позволяет сохранить все состояние модели в одном файле.

Сохраненные модели можно повторно инициализировать с помощью keras.models.load_model. Модель, возвращаемая load_model, — это скомпилированная модель, готовая к использованию (если только сохраненная модель не была скомпилирована в первый раз).

Модели, созданные с помощью API Sequential и Functional, можно сохранить в форматах HDF5 и SavedModel. Модели, созданные с помощью подклассов, можно сохранять только в формате SavedModel.

Обратите внимание, что имена весов модели могут иметь разные области видимости после загрузки. Имена областей видимости включают имена модели/слоя, такие как "dense_1/kernel:0". Рекомендуется использовать свойства слоя для доступа к определенным переменным, например, model.get_layer("dense_1").kernel.

Пример:

from keras.models import load_model

model.save('my_model.h5')  # creates a HDF5 file 'my_model.h5'
del model  # deletes the existing model

# returns a compiled model
# identical to the previous one
model = load_model('my_model.h5')

save_weights

Просмотреть исходный код

save_weights(
    filepath, overwrite=True, save_format=None, options=None
)

Сохраняет все веса слоёв.

Сохранение происходит в формате HDF5 или TensorFlow в зависимости от аргумента save_format.

При сохранении в формате HDF5 файл весов содержит:

• layer_names (атрибут), список строк (упорядоченные имена слоёв модели).
• Для каждого слоя, group с именем layer.name
  • Для каждой такой группы слоёв, атрибут группы weight_names, список строк (упорядоченные имена векторов весов слоя).
  • Для каждого веса в слое, набор данных, хранящий значение веса, с именем, соответствующим вектору веса.

При сохранении в формате TensorFlow все объекты, на которые ссылается сеть, сохраняются в том же формате, что и tf.train.Checkpoint, включая любые экземпляры Layer или экземпляры Optimizer присваиваемые атрибутам объектов. Для сетей, построенных из входов и выходов с помощью tf.keras.Model(inputs, outputs), экземпляры Layer используемые сетью, отслеживаются/сохраняются автоматически. Для пользовательских классов, которые наследуются от tf.keras.Model, экземпляры Layer должны быть присвоены атрибутам объектов, обычно в конструкторе. Подробности см. в документации tf.train.Checkpoint и tf.keras.Model.

Хотя форматы одинаковы, не смешивайте save_weights и tf.train.Checkpoint. Точки восстановления, сохраненные с помощью Model.save_weights, должны загружаться с помощью Model.load_weights. Точки восстановления, сохраненные с использованием tf.train.Checkpoint.save, должны восстанавливаться с помощью соответствующей tf.train.Checkpoint.restore. Предпочтительнее использовать tf.train.Checkpoint по сравнению с save_weights для точек восстановления обучения.

Формат TensorFlow сопоставляет объекты и переменные, начиная с корневого объекта, self для save_weights, и жадно сопоставляет имена атрибутов. Для Model.save это Model, а для Checkpoint.save это Checkpoint, даже если у Checkpoint прикреплена модель. Это означает, что сохранение tf.keras.Model с помощью save_weights и загрузка в tf.train.Checkpoint с прикрепленной Model (или наоборот) не будут соответствовать переменным Model. Подробности о формате TensorFlow см. в руководстве по контрольным точкам обучения.

summary

Просмотреть исходный код

summary(
    line_length=None, positions=None, print_fn=None
)

Выводит текстовое описание сети.

test_on_batch

Просмотреть исходный код

test_on_batch(
    x, y=None, sample_weight=None, reset_metrics=True, return_dict=False
)

Проверяет модель на одном батче образцов.

test_step

Просмотреть исходный код

test_step(
    data
)

Логика одного шага оценки.

Этот метод может быть переопределён для поддержки пользовательской логики оценки. Этот метод вызывается Model.make_test_function.

Эта функция должна содержать математическую логику для одного шага оценки. Обычно она включает прямой проход, вычисление потерь и обновление метрик.

Подробности конфигурации того, как выполняется эта логика (например, настройки tf.function и tf.distribute.Strategy), должны быть оставлены Model.make_test_function, которая также может быть переопределена.

to_json

Просмотр исходного кода

to_json(
    **kwargs
)

Возвращает JSON-строку, содержащую конфигурацию сети.

Чтобы загрузить сеть из сохранённого JSON-файла, используйте keras.models.model_from_json(json_string, custom_objects={}).

to_yaml

Просмотр исходного кода

to_yaml(
    **kwargs
)

Возвращает yaml-строку, содержащую конфигурацию сети.

Чтобы загрузить сеть из сохранённого yaml-файла, используйте keras.models.model_from_yaml(yaml_string, custom_objects={}).

custom_objects должна быть словарем, сопоставляющим имена пользовательских функций потерь/слоёв и т.д. с соответствующими функциями/классами.

train_on_batch

Просмотр исходного кода

train_on_batch(
    x, y=None, sample_weight=None, class_weight=None, reset_metrics=True,
    return_dict=False
)

Выполняет одно обновление градиента на одном батче данных.

train_step

Просмотр исходного кода

train_step(
    data
)

Логика для одного шага обучения.

Этот метод можно переопределить, чтобы поддержать пользовательскую логику обучения. Этот метод вызывается Model.make_train_function.

Этот метод должен содержать математическую логику для одного шага обучения. Это обычно включает прямой проход, вычисление потерь, обратное распространение и обновление метрик.

Детали конфигурации того, *как* выполняется эта логика (например, tf.function и tf.distribute.Strategy настройки), должны быть оставлены Model.make_train_function, который также можно переопределить.