tf.compat.v2.estimator.experimental.RNNEstimator

Оценщик для моделей TensorFlow RNN с заданным пользователем заголовком.

Наследуется от: Estimator

tf.compat.v2.estimator.experimental.RNNEstimator(
    head, sequence_feature_columns, context_feature_columns=None, units=None,
    cell_type=USE_DEFAULT, rnn_cell_fn=None, return_sequences=False, model_dir=None,
    optimizer='Adagrad', config=None
)

Пример:

token_sequence = sequence_categorical_column_with_hash_bucket(...)
token_emb = embedding_column(categorical_column=token_sequence, ...)

estimator = RNNEstimator(
    head=tf.estimator.RegressionHead(),
    sequence_feature_columns=[token_emb],
    units=[32, 16], cell_type='lstm')

# Or with custom RNN cell:
def rnn_cell_fn(_):
  cells = [ tf.keras.layers.LSTMCell(size) for size in [32, 16] ]
  return tf.keras.layers.StackedRNNCells(cells)

estimator = RNNEstimator(
    head=tf.estimator.RegressionHead(),
    sequence_feature_columns=[token_emb],
    rnn_cell_fn=rnn_cell_fn)

# Input builders
def input_fn_train: # returns x, y
  pass
estimator.train(input_fn=input_fn_train, steps=100)

def input_fn_eval: # returns x, y
  pass
metrics = estimator.evaluate(input_fn=input_fn_eval, steps=10)
def input_fn_predict: # returns x, None
  pass
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны иметь следующие атрибуты, в противном случае возникнет KeyError:

• если заголовок weight_column не None, атрибут с key=weight_column, значение которого является Tensor.
• для каждого column в sequence_feature_columns:
  • атрибут с key=column.name, значение которого является SparseTensor.
• для каждого column в context_feature_columns:
  • если column является CategoricalColumn, атрибут с key=column.name, значение которого является SparseTensor.
  • если column является WeightedCategoricalColumn, два атрибута: первый с именем столбца key, второй с именем столбца key. Значения обоих атрибутов должны быть SparseTensor.
  • если column является DenseColumn, атрибут с key=column.name, значение которого является Tensor.

Функция потерь и выходные данные определяются заданным заголовком.

Совместимость с Eager

Оценщики несовместимы с eager выполнением.

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя директории, куда выгружаются метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Оценка выполняется до тех пор, пока:

• steps партий обработаны, или
• input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую графу, вызывая input_receiver_fn для получения атрибутов и меток Tensor . Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графа модели на основе этих атрибутов и меток и восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одной группой переменных в одной директории экспорта SavedModel.

Для переменных и tf.MetaGraphDefs создаётся временная директория экспорта ниже export_dir_base и записывается SavedModel в неё, содержащая tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для прогнозирования экспортируемое MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться при отсутствии указания в запросе. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются приемниками входных данных, предоставляемых serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потеря, метрики и прогнозы включаются в SignatureDef для соответствующего режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует граф вывода в формате SavedModel в указанную директорию.

Для подробного руководства см. Использование SavedModel с Estimators.

Этот метод создаёт новую граф, сначала вызывая serving_input_receiver_fn для получения признаков Tensors, а затем вызывая Estimator's model_fn для создания графа модели на основе этих признаков. Он восстанавливает указанную контрольную точку (или, в противном случае, последнюю контрольную точку) в эту граф в новой сессии. Наконец, он создаёт поддиректорию с отметкой времени в указанной export_dir_base, и записывает в неё SavedModel содержащую один сохранённый из этой сессии tf.MetaGraphDef.

Экспортируемый MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться при отсутствии указания в запросе. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются приемниками входных данных, предоставляемых serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта одного графа обучения/оценки/прогнозирования как SavedModel. См. experimental_export_all_saved_models для полной документации.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует граф вывода в формате SavedModel в указанную директорию. (устаревшая функция)

Для подробного руководства см. Использование SavedModel с Estimators.

Этот метод создаёт новую граф, сначала вызывая serving_input_receiver_fn для получения признаков Tensors, а затем вызывая Estimator's model_fn для создания графа модели на основе этих признаков. Он восстанавливает указанную контрольную точку (или, в противном случае, последнюю контрольную точку) в эту граф в новой сессии. Наконец, он создаёт поддиректорию с отметкой времени в указанной export_dir_base, и записывает в неё SavedModel содержащую один сохранённый из этой сессии tf.MetaGraphDef.

Экспортируемый MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться при отсутствии указания в запросе. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются приемниками входных данных, предоставляемых serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной по имени.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого контрольного пункта в model_dir.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Выполняет предсказания для заданных признаков.

Обратите внимание, что интерливирование двух выходных данных predict не работает. Смотрите: issue/20506

Возвращает:

Оценённые значения тензоров predictions.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель на основе обучающих данных input_fn.