tf.estimator.train_and_evaluate

Обучить и оценить estimator.

tf.estimator.train_and_evaluate(
    estimator, train_spec, eval_spec
)

Эта утилитарная функция обучает, оценивает и (по желанию) экспортирует модель, используя заданные estimator. Все спецификации, относящиеся к обучению, хранятся в train_spec, включая параметры обучения input_fn и максимальное количество шагов обучения и т. д. Все спецификации, относящиеся к оценке и экспорту, хранятся в eval_spec, включая параметры оценки input_fn, шаги и т. д.

Эта утилитарная функция обеспечивает согласованное поведение как для локальных (не распределенных), так и для распределенных конфигураций. По умолчанию используется распределенная конфигурация на основе серверов параметров с репликацией между графами. Для других типов распределенных конфигураций, таких как обучение с помощью all-reduce, используйте DistributionStrategies.

Переобучение: Для предотвращения переобучения рекомендуется настроить обучение input_fn для надлежащего перемешивания обучающих данных.

Условие остановки: Для надежной поддержки как распределенной, так и не распределенной конфигурации поддерживается только условие остановки train_spec.max_steps для обучения модели. Если train_spec.max_steps равно None, модель обучается бесконечно. Используйте с осторожностью, если условие остановки модели отличается. Например, предположим, что модель должна быть обучена с одной эпохой обучающих данных, и обучение input_fn настроено на выброс OutOfRangeError после прохождения одной эпохи, что останавливает Estimator.train. Для распределенной конфигурации с тремя рабочими узлами обучения каждый рабочий узел обучения, вероятно, пройдет через всю эпоху независимо. Таким образом, модель будет обучена с тремя эпохами обучающих данных вместо одной эпохи.

Пример локального (не распределенного) обучения:

# Set up feature columns.
categorial_feature_a = categorial_column_with_hash_bucket(...)
categorial_feature_a_emb = embedding_column(
    categorical_column=categorial_feature_a, ...)
...  # other feature columns

estimator = DNNClassifier(
    feature_columns=[categorial_feature_a_emb, ...],
    hidden_units=[1024, 512, 256])

# Or set up the model directory
#   estimator = DNNClassifier(
#       config=tf.estimator.RunConfig(
#           model_dir='/my_model', save_summary_steps=100),
#       feature_columns=[categorial_feature_a_emb, ...],
#       hidden_units=[1024, 512, 256])

# Input pipeline for train and evaluate.
def train_input_fn(): # returns x, y
  # please shuffle the data.
  pass
def eval_input_fn(): # returns x, y
  pass

train_spec = tf.estimator.TrainSpec(input_fn=train_input_fn, max_steps=1000)
eval_spec = tf.estimator.EvalSpec(input_fn=eval_input_fn)

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)

Обратите внимание, что в текущей реализации estimator.evaluate будет вызываться несколько раз. Это означает, что граф оценки (включая eval_input_fn) будет пересоздан для каждого вызова evaluate. estimator.train будет вызываться только один раз.

Пример распределенного обучения:

Что касается примера распределенного обучения, приведенный выше код можно использовать без изменений (пожалуйста, убедитесь, что RunConfig.model_dir для всех рабочих узлов установлен в один и тот же каталог, т. е. общую файловую систему, доступную для чтения и записи всем рабочим узлам). Единственная дополнительная работа — правильная установка переменной среды TF_CONFIG для каждого рабочего узла соответственно.

См. также Распределенный TensorFlow.

Настройка переменной среды зависит от платформы. Например, в Linux это можно сделать следующим образом ($ — приглашение командной строки):

$ TF_CONFIG='<replace_with_real_content>' python train_model.py

Для содержимого в TF_CONFIG, предположим, что спецификация кластера обучения выглядит следующим образом:

cluster = {"chief": ["host0:2222"],
           "worker": ["host1:2222", "host2:2222", "host3:2222"],
           "ps": ["host4:2222", "host5:2222"]}

Пример TF_CONFIG для главного рабочего узла обучения (должен быть один и только один):

# This should be a JSON string, which is set as environment variable. Usually
# the cluster manager handles that.
TF_CONFIG='{
    "cluster": {
        "chief": ["host0:2222"],
        "worker": ["host1:2222", "host2:2222", "host3:2222"],
        "ps": ["host4:2222", "host5:2222"]
    },
    "task": {"type": "chief", "index": 0}
}'

Обратите внимание, что главный рабочий узел также выполняет задачу обучения модели, аналогично другим рабочим узлам обучения (см. следующий абзац). Помимо обучения модели, он выполняет дополнительные задачи, такие как сохранение и восстановление контрольных точек, запись сводок и т. д.

Пример TF_CONFIG для рабочего узла обучения, не являющегося главным (необязательно, может быть несколько):

# This should be a JSON string, which is set as environment variable. Usually
# the cluster manager handles that.
TF_CONFIG='{
    "cluster": {
        "chief": ["host0:2222"],
        "worker": ["host1:2222", "host2:2222", "host3:2222"],
        "ps": ["host4:2222", "host5:2222"]
    },
    "task": {"type": "worker", "index": 0}
}'

где task.index должно быть установлено как 0, 1, 2 соответственно для рабочих узлов обучения, не являющихся главными.

Пример TF_CONFIG для сервера параметров, также известного как ps (может быть несколько):

# This should be a JSON string, which is set as environment variable. Usually
# the cluster manager handles that.
TF_CONFIG='{
    "cluster": {
        "chief": ["host0:2222"],
        "worker": ["host1:2222", "host2:2222", "host3:2222"],
        "ps": ["host4:2222", "host5:2222"]
    },
    "task": {"type": "ps", "index": 0}
}'

где task.index должно быть установлено как 0 и 1 соответственно для серверов параметров.

Пример TF_CONFIG для задачи оценщика. Оценщик — это специальная задача, которая не является частью кластера обучения. Может быть только одна. Используется для оценки модели.

# This should be a JSON string, which is set as environment variable. Usually
# the cluster manager handles that.
TF_CONFIG='{
    "cluster": {
        "chief": ["host0:2222"],
        "worker": ["host1:2222", "host2:2222", "host3:2222"],
        "ps": ["host4:2222", "host5:2222"]
    },
    "task": {"type": "evaluator", "index": 0}
}'

При установке distribute или experimental_distribute.train_distribute и experimental_distribute.remote_cluster этот метод запустит клиент, работающий на текущем хосте, который подключается к remote_cluster для обучения и оценки.