tf.estimator.LinearEstimator

Оценщик для линейных моделей TensorFlow с заданным пользователем заголовком.

Наследуется от: Estimator, Estimator

tf.estimator.LinearEstimator(
    head, feature_columns, model_dir=None, optimizer='Ftrl', config=None,
    sparse_combiner='sum', warm_start_from=None
)

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = tf.estimator.LinearEstimator(
    head=tf.estimator.MultiLabelHead(n_classes=3),
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using an optimizer with a learning rate decay.
estimator = tf.estimator.LinearEstimator(
    head=tf.estimator.MultiLabelHead(n_classes=3),
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.compat.v1.train.exponential_decay(
            learning_rate=0.1,
            global_step=tf.compat.v1.train.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator using the FTRL optimizer with regularization.
estimator = tf.estimator.LinearEstimator(
    head=tf.estimator.MultiLabelHead(n_classes=3),
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])
    optimizer=tf.keras.optimizers.Ftrl(
        learning_rate=0.1,
        l1_regularization_strength=0.001
    ))

def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train, steps=100)
metrics = estimator.evaluate(input_fn=input_fn_eval, steps=10)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае произойдёт KeyError:

• если weight_column не None, признак с именем key=weight_column, значение которого — Tensor.
• для каждого column в feature_columns:
  • если column является CategoricalColumn, признак с именем key=column.name, значение которого — SparseTensor.
  • если column является WeightedCategoricalColumn, два признака: первый с именем столбца key, второй — с именем столбца key. Значения обоих признаков должны быть SparseTensor.
  • если column является DenseColumn, признак с именем key=column.name, значение которого — Tensor.

Функция потерь и предсказанный вывод определяются заданным заголовком.

Совместимость с Eager

Оценщики могут использоваться при включённом режиме eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны с учётом совместимости с режимом graph. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает как в режиме graph, так и в режиме eager.

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда выгружаются метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Выполняет оценку модели на данных оценки input_fn.

На каждом шаге вызывает input_fn, который возвращает одну партию данных. Продолжает оценку, пока:

• steps партий обработаны, или
• input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новый граф, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator в заданном режиме для создания графа модели на основе этих признаков и меток, а затем восстанавливает заданную контрольную точку (или, если таковой нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одной группой переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs создаётся каталог экспорта с отметкой времени под export_dir_base, и в него записывается SavedModel , содержащий tf.MetaGraphDef для заданного режима и его соответствующих подписей.

Для предсказания экспортированный MetaGraphDef будет предоставлять один SignatureDef для каждого элемента в словаре export_outputs , возвращённом model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими объектами tf.estimator.export.ExportOutput, а входные данные всегда — получателями входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Он должен быть словарем, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует граф вывода как SavedModel в указанный каталог.

Подробное руководство см. в SavedModel от Estimators.

Этот метод создает новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator метод model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в эту графу в новой сессии. В заключение, он создаёт каталог экспорта с отметкой времени в заданном export_dir_base, и записывает в него SavedModel с одной сохранённой tf.MetaGraphDef из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого из model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, когда в запросе обслуживания не указана. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда — получателями входных данных, предоставляемыми serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Он должен быть словарем, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта графа обучения/валидации/предсказания как SavedModel. Смотрите experimental_export_all_saved_models для полного руководства.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что интерлейвинг двух выходов предсказания не работает. См.: issue/20506

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.