tf.estimator.DNNLinearCombinedRegressor

Эстиматор для соединённых линейных и DNN-моделей TensorFlow для регрессии.

Наследуется от: Estimator, Estimator

tf.estimator.DNNLinearCombinedRegressor(
    model_dir=None, linear_feature_columns=None, linear_optimizer='Ftrl',
    dnn_feature_columns=None, dnn_optimizer='Adagrad',
    dnn_hidden_units=None, dnn_activation_fn=tf.nn.relu, dnn_dropout=None,
    label_dimension=1, weight_column=None, config=None, warm_start_from=None,
    loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE, batch_norm=False,
    linear_sparse_combiner='sum'
)

Примечание: Этот эстиматор также известен как wide-n-deep.

Пример:

numeric_feature = numeric_column(...)
categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)
categorical_feature_a_emb = embedding_column(
    categorical_column=categorical_feature_a, ...)
categorical_feature_b_emb = embedding_column(
    categorical_column=categorical_feature_b, ...)

estimator = tf.estimator.DNNLinearCombinedRegressor(
    # wide settings
    linear_feature_columns=[categorical_feature_a_x_categorical_feature_b],
    linear_optimizer=tf.keras.optimizers.Ftrl(...),
    # deep settings
    dnn_feature_columns=[
        categorical_feature_a_emb, categorical_feature_b_emb,
        numeric_feature],
    dnn_hidden_units=[1000, 500, 100],
    dnn_optimizer=tf.keras.optimizers.Adagrad(...),
    # warm-start settings
    warm_start_from="/path/to/checkpoint/dir")

# To apply L1 and L2 regularization, you can set dnn_optimizer to:
tf.compat.v1.train.ProximalAdagradOptimizer(
    learning_rate=0.1,
    l1_regularization_strength=0.001,
    l2_regularization_strength=0.001)
# To apply learning rate decay, you can set dnn_optimizer to a callable:
lambda: tf.keras.optimizers.Adam(
    learning_rate=tf.compat.v1.train.exponential_decay(
        learning_rate=0.1,
        global_step=tf.compat.v1.train.get_global_step(),
        decay_steps=10000,
        decay_rate=0.96)
# It is the same for linear_optimizer.

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train, steps=100)
metrics = estimator.evaluate(input_fn=input_fn_eval, steps=10)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны содержать следующие признаки, в противном случае произойдёт KeyError:

• для каждого column в dnn_feature_columns + linear_feature_columns:
  • если column является CategoricalColumn, признак с key=column.name, значение которого value - SparseTensor.
  • если column является WeightedCategoricalColumn, два признака: первый с key именем столбца идентификатора, второй с key именем столбца весов. Оба значения признаков value должны быть SparseTensor.
  • если column является DenseColumn, признак с key=column.name, значение которого value - Tensor.

Функция потерь рассчитывается с помощью среднеквадратичной ошибки.

Совместимость с Eager

Эстиматоры могут использоваться при включенном режиме eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графа и eager.

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя каталога, куда сохраняются метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

Для каждого шага вызывается input_fn, которая возвращает один пакет данных. Оценивает до:

• steps пакетов обработаны, или
• input_fn возникает исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration).

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создает новую графу, вызывая input_receiver_fn для получения функций и меток Tensor. Затем этот метод вызывает Estimator в переданном режиме, чтобы сгенерировать графу модели на основе этих функций и меток, и восстанавливает заданный контрольный пункт (или, если его нет, самый недавний контрольный пункт) в графу. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трех tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, каталог экспорта с отметкой времени ниже export_dir_base, и записывает SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, с именами, используемыми те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, когда запрос об обслуживании не указывает её. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются получателями ввода, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу вывода как SavedModel в указанный каталог.

Для подробного руководства см. SavedModel от Estimators.

Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn для получения функций Tensor, а затем вызвав Estimator для генерации графы модели на основе этих функций. Он восстанавливает заданный контрольный пункт (или, если его нет, самый недавний контрольный пункт) в эту графу в новой сессии. Наконец, он создает каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef , сохраненную из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, с именами, используемыми те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, когда запрос об обслуживании не указывает её. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются получателями ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта одной графы обучения/оценки/предсказания в виде SavedModel. См. experimental_export_all_saved_models для полной документации.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной по имени.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого контрольного пункта в model_dir.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает прогнозы для заданных функций.

Обратите внимание, что переплетение двух результатов predict не работает. См.: проблему/20506

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.