tf.estimator.train_and_evaluate

Обучить и оценить estimator.

tf.estimator.train_and_evaluate(
    estimator, train_spec, eval_spec
)

Эта служебная функция обучает, оценивает и (необязательно) экспортирует модель, используя заданный estimator. Все спецификации, связанные с обучением, хранятся в train_spec, включая параметры обучения input_fn и максимальное количество шагов обучения и т. д. Все спецификации, связанные с оценкой и экспортом, хранятся в eval_spec, включая оценку input_fn, количество шагов и т. д.

Эта служебная функция обеспечивает согласованное поведение как для локальных (не распределенных), так и для распределенных конфигураций. По умолчанию используется конфигурация распределения на основе серверов параметров — репликация между графами. Для других типов конфигураций распределения, таких как обучение с помощью all-reduce, используйте DistributionStrategies.

Переобучение: Для предотвращения переобучения рекомендуется настроить обучение input_fn для надлежащего перемешивания обучающих данных.

Условие остановки: Для надёжной поддержки как распределенных, так и не распределенных конфигураций, единственным поддерживаемым условием остановки обучения модели является train_spec.max_steps. Если train_spec.max_steps установлено значение None, модель будет обучаться бесконечно. Используйте с осторожностью, если условие остановки модели отличается. Например, предположим, что ожидается обучение модели с одной эпохой обучающих данных, и обучение input_fn настроено на сброс OutOfRangeError после прохождения одной эпохи, что останавливает Estimator.train. В распределенной конфигурации с тремя рабочими узлами обучения каждый рабочий узел обучения, вероятно, пройдёт всю эпоху независимо. Таким образом, модель будет обучена с тремя эпохами обучающих данных вместо одной.

Пример локального (не распределенного) обучения:

# Set up feature columns.
categorial_feature_a = categorial_column_with_hash_bucket(...)
categorial_feature_a_emb = embedding_column(
    categorical_column=categorial_feature_a, ...)
...  # other feature columns

estimator = DNNClassifier(
    feature_columns=[categorial_feature_a_emb, ...],
    hidden_units=[1024, 512, 256])

# Or set up the model directory
#   estimator = DNNClassifier(
#       config=tf.estimator.RunConfig(
#           model_dir='/my_model', save_summary_steps=100),
#       feature_columns=[categorial_feature_a_emb, ...],
#       hidden_units=[1024, 512, 256])

# Input pipeline for train and evaluate.
def train_input_fn(): # returns x, y
  # please shuffle the data.
  pass
def eval_input_fn(): # returns x, y
  pass

train_spec = tf.estimator.TrainSpec(input_fn=train_input_fn, max_steps=1000)
eval_spec = tf.estimator.EvalSpec(input_fn=eval_input_fn)

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)

Обратите внимание, что в текущей реализации estimator.evaluate будет вызываться несколько раз. Это означает, что граф оценки (включая eval_input_fn) будет пересоздан для каждого вызова evaluate. estimator.train будет вызван только один раз.

Пример распределенного обучения:

Что касается примера распределенного обучения, приведенный код можно использовать без изменений (Пожалуйста, убедитесь, что RunConfig.model_dir для всех рабочих узлов установлен в один и тот же каталог, т. е. общий файловый ресурс, к которому могут обращаться и писать все рабочие узлы). Единственная дополнительная задача — правильное назначение переменной среды TF_CONFIG для каждого рабочего узла соответственно.

Также см. Распределенный TensorFlow.

Установка переменной среды зависит от платформы. Например, в Linux это можно сделать следующим образом ($ — это командная строка оболочки):

$ TF_CONFIG='<replace_with_real_content>' python train_model.py

Для содержимого TF_CONFIG, предположим, что спецификация кластера обучения выглядит следующим образом:

cluster = {"chief": ["host0:2222"],
           "worker": ["host1:2222", "host2:2222", "host3:2222"],
           "ps": ["host4:2222", "host5:2222"]}

Пример TF_CONFIG для главного узла обучения (должен быть один и только один):

# This should be a JSON string, which is set as environment variable. Usually
# the cluster manager handles that.
TF_CONFIG='{
    "cluster": {
        "chief": ["host0:2222"],
        "worker": ["host1:2222", "host2:2222", "host3:2222"],
        "ps": ["host4:2222", "host5:2222"]
    },
    "task": {"type": "chief", "index": 0}
}'

Обратите внимание, что главный узел также выполняет задачу обучения модели, аналогично другим рабочим узлам обучения (см. следующий абзац). Помимо обучения модели, он выполняет некоторые дополнительные задачи, например, сохранение и восстановление контрольных точек, запись сводок и т. д.

Пример TF_CONFIG для рабочих узлов обучения, не являющихся главными (необязательно, может быть несколько):

# This should be a JSON string, which is set as environment variable. Usually
# the cluster manager handles that.
TF_CONFIG='{
    "cluster": {
        "chief": ["host0:2222"],
        "worker": ["host1:2222", "host2:2222", "host3:2222"],
        "ps": ["host4:2222", "host5:2222"]
    },
    "task": {"type": "worker", "index": 0}
}'

где task.index должно быть установлено как 0, 1, 2 соответственно для рабочих узлов обучения, не являющихся главными.

Пример TF_CONFIG для сервера параметров, также известного как ps (может быть несколько):

# This should be a JSON string, which is set as environment variable. Usually
# the cluster manager handles that.
TF_CONFIG='{
    "cluster": {
        "chief": ["host0:2222"],
        "worker": ["host1:2222", "host2:2222", "host3:2222"],
        "ps": ["host4:2222", "host5:2222"]
    },
    "task": {"type": "ps", "index": 0}
}'

где task.index должно быть установлено как 0 и 1 соответственно для серверов параметров.

Пример TF_CONFIG для задачи оценивания. Задача оценивания — это специальная задача, которая не является частью кластера обучения. Она может быть только одна. Она используется для оценки модели.

# This should be a JSON string, which is set as environment variable. Usually
# the cluster manager handles that.
TF_CONFIG='{
    "cluster": {
        "chief": ["host0:2222"],
        "worker": ["host1:2222", "host2:2222", "host3:2222"],
        "ps": ["host4:2222", "host5:2222"]
    },
    "task": {"type": "evaluator", "index": 0}
}'

При установке distribute или experimental_distribute.train_distribute и experimental_distribute.remote_cluster, этот метод запустит клиента на текущем хосте, который подключится к remote_cluster для обучения и оценки.