tf.estimator.DNNLinearCombinedEstimator

Эстиматор для соединённых моделей TensorFlow Linear и DNN с настраиваемой частью.

Наследует от: Estimator, Estimator

tf.estimator.DNNLinearCombinedEstimator(
    head,
    model_dir=None,
    linear_feature_columns=None,
    linear_optimizer='Ftrl',
    dnn_feature_columns=None,
    dnn_optimizer='Adagrad',
    dnn_hidden_units=None,
    dnn_activation_fn=tf.nn.relu,
    dnn_dropout=None,
    config=None,
    batch_norm=False,
    linear_sparse_combiner='sum'
)

Примечание: Этот эстиматор также известен как wide-n-deep.

Пример:

numeric_feature = numeric_column(...)
categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)
categorical_feature_a_emb = embedding_column(
    categorical_column=categorical_feature_a, ...)
categorical_feature_b_emb = embedding_column(
    categorical_column=categorical_feature_b, ...)

estimator = tf.estimator.DNNLinearCombinedEstimator(
    head=tf.estimator.MultiLabelHead(n_classes=3),
    # wide settings
    linear_feature_columns=[categorical_feature_a_x_categorical_feature_b],
    linear_optimizer=tf.keras.optimizers.Ftrl(...),
    # deep settings
    dnn_feature_columns=[
        categorical_feature_a_emb, categorical_feature_b_emb,
        numeric_feature],
    dnn_hidden_units=[1000, 500, 100],
    dnn_optimizer=tf.keras.optimizers.Adagrad(...))

# To apply L1 and L2 regularization, you can set dnn_optimizer to:
tf.compat.v1.train.ProximalAdagradOptimizer(
    learning_rate=0.1,
    l1_regularization_strength=0.001,
    l2_regularization_strength=0.001)
# To apply learning rate decay, you can set dnn_optimizer to a callable:
lambda: tf.keras.optimizers.Adam(
    learning_rate=tf.compat.v1.train.exponential_decay(
        learning_rate=0.1,
        global_step=tf.compat.v1.train.get_global_step(),
        decay_steps=10000,
        decay_rate=0.96)
# It is the same for linear_optimizer.

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train, steps=100)
metrics = estimator.evaluate(input_fn=input_fn_eval, steps=10)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:

• для каждого column в dnn_feature_columns + linear_feature_columns:
  • если column является CategoricalColumn, признак с key=column.name, значение которого является SparseTensor.
  • если column является WeightedCategoricalColumn, два признака: первый с именем столбца key, второй с именем столбца key. Значения обоих признаков должны быть SparseTensor.
  • если column является DenseColumn, признак с key=column.name, значение которого является Tensor.

Функция потерь вычисляется с помощью среднеквадратичной ошибки.

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя директории, куда выгружаются метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

Для каждого шага вызывается input_fn, что возвращает одну партию данных. Оценка выполняется до:

• обработки steps партий, или
• input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного в input_receiver_fn_map, этот метод строит новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator's model_fn в переданном режиме для создания графа модели на основе этих признаков и меток и восстанавливает заданную контрольную точку (или, при отсутствии, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с набором переменных в одной директории SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся временной каталог экспорта ниже export_dir_base, и в нём записывается SavedModel содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы — всегда приёмниками входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потери, метрики и предсказания включаются в SignatureDef для соответствующего режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Он должен быть словарем, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простейший случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует график отслеживания как SavedModel в указанный каталог.

Для подробного руководства по SavedModel см. Использование формата SavedModel.

Этот метод создаёт новый график, сначала вызывая serving_input_receiver_fn для получения функций Tensor, а затем вызывая Estimator's model_fn для генерации графика модели на основе этих функций. Он восстанавливает указанный контрольный пункт (или, в случае отсутствия, последний контрольный пункт) в этот график в новой сессии. Наконец, он создаёт временный каталог экспорта ниже заданного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращенного model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы — всегда приёмниками входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Он должен быть словарем, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта одного графика обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полного описания.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого контрольного пункта в model_dir.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух результатов предсказания не работает. См.: вопрос/20506

train

Посмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Оценщики могут использоваться при включенном eager режиме. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому их необходимо написать для совместимости с графовым режимом. Обратите внимание, что код input_fn с использованием tf.data обычно работает в обоих режимах — графе и eager.