tf.contrib.estimator.RNNEstimator

Оценщик для моделей TensorFlow RNN с заданным пользователем заголовком.

Наследуется от: Estimator

tf.contrib.estimator.RNNEstimator(
    head, sequence_feature_columns, context_feature_columns=None, num_units=None,
    cell_type=USE_DEFAULT, rnn_cell_fn=None, return_sequences=False, model_dir=None,
    optimizer='Adagrad', input_layer_partitioner=None, config=None
)

Пример:

token_sequence = sequence_categorical_column_with_hash_bucket(...)
token_emb = embedding_column(categorical_column=token_sequence, ...)

estimator = RNNEstimator(
    head=tf.estimator.RegressionHead(),
    sequence_feature_columns=[token_emb],
    num_units=[32, 16], cell_type='lstm')

# Or with custom RNN cell:
def rnn_cell_fn(mode):
  cells = [ tf.contrib.rnn.LSTMCell(size) for size in [32, 16] ]
  if mode == tf.estimator.ModeKeys.TRAIN:
    cells = [ tf.contrib.rnn.DropoutWrapper(cell, input_keep_prob=0.5)
                  for cell in cells ]
  return tf.contrib.rnn.MultiRNNCell(cells)

estimator = RNNEstimator(
    head=tf.estimator.RegressionHead(),
    sequence_feature_columns=[token_emb],
    rnn_cell_fn=rnn_cell_fn)

# Input builders
def input_fn_train: # returns x, y
  pass
estimator.train(input_fn=input_fn_train, steps=100)

def input_fn_eval: # returns x, y
  pass
metrics = estimator.evaluate(input_fn=input_fn_eval, steps=10)
def input_fn_predict: # returns x, None
  pass
predictions = estimator.predict(input_fn=input_fn_predict)

Вход train и evaluate должен иметь следующие атрибуты, в противном случае будет ошибка KeyError:

• если заголовок weight_column не None, атрибут с key=weight_column, значение которого — Tensor.
• для каждого column в sequence_feature_columns:
  • атрибут с key=column.name, value которого — SparseTensor.
• для каждого column в context_feature_columns:
  • если column — _CategoricalColumn, атрибут с key=column.name, value которого — SparseTensor.
  • если column — _WeightedCategoricalColumn, два атрибута: первый с key именем столбца, второй с key именем столбца весов. value обоих атрибутов должен быть SparseTensor.
  • если column — _DenseColumn, атрибут с key=column.name, value которого — Tensor.

Функция потерь и предсказанный вывод определяются заданным заголовком.

Совместимость с Eager

Оценщики несовместимы с выполнением eager.

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда сохраняются метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Процесс оценки продолжается до:

• обработки steps партий, или
• input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую диаграмму, вызывая input_receiver_fn для получения атрибутов и меток Tensor . Затем этот метод вызывает Estimator метод model_fn в переданном режиме, чтобы сгенерировать граф модели на основе этих атрибутов и меток, и восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, временная директория экспорта ниже export_dir_base, и в неё запишется SavedModel содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого методом model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована при запросе без указания конкретной сигнатуры. Выходы для каждой сигнатуры предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда являются получателями входных данных, предоставляемых serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение — полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

export_saved_model

Посмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в заданный каталог.

Для подробного руководства см. Использование SavedModel с Estimators.

Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав метод Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, самую последнюю) в этом графике в новой сессии. Наконец, он создаёт временную директорию экспорта ниже заданного export_dir_base, и записывает в неё SavedModel содержащий одну tf.MetaGraphDef, сохранённую из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована при запросе без указания конкретной сигнатуры. Выходы для каждой сигнатуры предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда являются получателями входных данных, предоставляемых serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение — полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельного графика обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полного документации.

export_savedmodel

Посмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует график вывода как SavedModel в заданный каталог. (устарело)

Для подробного руководства см. Использование SavedModel с Estimators.

Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав метод Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, самую последнюю) в этом графике в новой сессии. Наконец, он создаёт временную директорию экспорта ниже заданного export_dir_base, и записывает в неё SavedModel содержащий одну tf.MetaGraphDef, сохранённую из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована при запросе без указания конкретной сигнатуры. Выходы для каждой сигнатуры предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда являются получателями входных данных, предоставляемых serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение — полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной по имени.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходов predict не работает. См.: вопрос/20506

Возвращает:

Вычисленные значения тензоров predictions.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель на заданных обучающих данных input_fn.