tf.compat.v1.estimator.DNNLinearCombinedClassifier

Оценщик для моделей классификации TensorFlow Linear и DNN, объединённых в одну модель.

Наследуется от: Estimator

tf.compat.v1.estimator.DNNLinearCombinedClassifier(
    model_dir=None, linear_feature_columns=None, linear_optimizer='Ftrl',
    dnn_feature_columns=None, dnn_optimizer='Adagrad', dnn_hidden_units=None,
    dnn_activation_fn=tf.nn.relu, dnn_dropout=None, n_classes=2, weight_column=None,
    label_vocabulary=None, input_layer_partitioner=None, config=None,
    warm_start_from=None, loss_reduction=tf.compat.v1.losses.Reduction.SUM,
    batch_norm=False, linear_sparse_combiner='sum'
)

Примечание: Этот оценщик также известен как wide-n-deep.

Пример:

numeric_feature = numeric_column(...)
categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)
categorical_feature_a_emb = embedding_column(
    categorical_column=categorical_feature_a, ...)
categorical_feature_b_emb = embedding_column(
    categorical_id_column=categorical_feature_b, ...)

estimator = tf.estimator.DNNLinearCombinedClassifier(
    # wide settings
    linear_feature_columns=[categorical_feature_a_x_categorical_feature_b],
    linear_optimizer=tf.keras.optimizers.Ftrl(...),
    # deep settings
    dnn_feature_columns=[
        categorical_feature_a_emb, categorical_feature_b_emb,
        numeric_feature],
    dnn_hidden_units=[1000, 500, 100],
    dnn_optimizer=tf.keras.optimizers.Adagrad(...),
    # warm-start settings
    warm_start_from="/path/to/checkpoint/dir")

# To apply L1 and L2 regularization, you can set dnn_optimizer to:
tf.compat.v1.train.ProximalAdagradOptimizer(
    learning_rate=0.1,
    l1_regularization_strength=0.001,
    l2_regularization_strength=0.001)
# To apply learning rate decay, you can set dnn_optimizer to a callable:
lambda: tf.keras.optimizers.Adam(
    learning_rate=tf.compat.v1.train.exponential_decay(
        learning_rate=0.1,
        global_step=tf.compat.v1.train.get_global_step(),
        decay_steps=10000,
        decay_rate=0.96)
# It is the same for linear_optimizer.

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train, steps=100)
metrics = estimator.evaluate(input_fn=input_fn_eval, steps=10)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны содержать следующие признаки, в противном случае возникнет KeyError:

• для каждого column в dnn_feature_columns + linear_feature_columns:
  • если column является CategoricalColumn, признак с key=column.name, значение которого value является SparseTensor.
  • если column является WeightedCategoricalColumn, два признака: первый с key именем столбца ID, второй с key именем столбца весов. Значение обоих признаков должно быть SparseTensor.
  • если column является DenseColumn, признак с key=column.name, значение которого value является Tensor.

Функция потерь рассчитывается с помощью перекрёстной энтропии софтмакса.

Совместимость с Eager

Оценщики могут использоваться при включенном режиме Eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графика, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графика. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графика и Eager.

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя каталога, куда сохраняются метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Продолжает оценку до:

• обработки steps партий, или
• input_fn генерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создает новую график, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графика модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в графике. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трех tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создается временной каталог ниже export_dir_base, и в него записывается SavedModel содержащий tf.MetaGraphDef для данного режима и его связанных подписей.

Для прогнозирования экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, когда запрос на предоставление услуг не указывает подпись. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются приемниками входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и прогнозы включены в SignatureDef для данного режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который необходимо скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

export_saved_model

Просмотр исходного кода

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в указанный каталог.

Подробное руководство см. на странице SavedModel from Estimators.

Этот метод строит новую график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, самый последний контрольный пункт) в эту график в новой сессии. Наконец, он создает временной каталог ниже указанного export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохраненную из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращенного model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, когда запрос на предоставление услуг не указывает подпись. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются приемниками входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта одного графика обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полной документации.

export_savedmodel

Просмотр исходного кода

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует график вывода как SavedModel в указанный каталог. (устарело)

Подробное руководство см. на странице SavedModel from Estimators.

Этот метод строит новую график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, самый последний контрольный пункт) в эту график в новой сессии. Наконец, он создает временной каталог ниже указанного export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохраненную из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращенного model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, когда запрос на предоставление услуг не указывает подпись. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются приемниками входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной по имени.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Выдает прогнозы для заданных признаков.

Обратите внимание, что интерливирование двух выходов predict не работает. См.: issue/20506

data-text="Выдает:" id="yields" tabindex="0">Выдает

Оценённые значения тензоров predictions.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.