Spec-Zone.ru › TensorFlow 2.3

tf.estimator.LinearClassifier

Просмотреть исходный код на GitHub

Модель линейного классификатора.

Наследуется от: Estimator

tf.estimator.LinearClassifier(
    feature_columns, model_dir=None, n_classes=2, weight_column=None,
    label_vocabulary=None, optimizer='Ftrl', config=None, warm_start_from=None,
    loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE,
    sparse_combiner='sum'
)

Обучает линейную модель для классификации примеров в один из нескольких возможных классов. При количестве возможных классов 2, это бинарная классификация.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = tf.estimator.LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = tf.estimator.LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = tf.estimator.LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.exponential_decay(
            learning_rate=0.1,
            global_step=tf.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = tf.estimator.LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column не является None, признак с именем key=weight_column, значение которого является Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с именем key=column.name, значение которого является SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с именем столбца key, второй с именем столбца key. Значения обоих признаков должны быть SparseTensor.
    • если column является RealValuedColumn, признак с именем key=column.name, значение которого является Tensor.

Функция потерь вычисляется с помощью софтмакс-перекрестной энтропии.

Аргументы
feature_columns Итерируемый объект, содержащий все столбцы признаков, используемые моделью. Все элементы набора должны быть экземплярами классов, производных от FeatureColumn.
model_dir Директория для сохранения параметров модели, графа и т. д. Также может быть использована для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохранённой модели.
n_classes Количество классов меток. По умолчанию — бинарная классификация. Обратите внимание, что метки классов — это целые числа, представляющие индекс класса (т. е. значения от 0 до n_classes-1). Для произвольных значений меток (например, строковых меток) сначала преобразуйте их в индексы классов.
weight_column Строка или объект _NumericColumn, созданный с помощью tf.feature_column.numeric_column, определяющий столбец признака, представляющий веса. Используется для уменьшения или увеличения веса примеров во время обучения. Будет умножаться на потерю примера. Если это строка, используется в качестве ключа для извлечения тензора весов из features. Если это объект _NumericColumn, сырой тензор извлекается по ключу weight_column.key, затем функция нормализации weight_column применяется к нему для получения тензора весов.
label_vocabulary Список строк, представляющих возможные значения меток. Если задано, метки должны быть строкового типа и иметь любое значение из label_vocabulary. Если не задано, это означает, что метки уже закодированы как целые или вещественные числа в интервале [0, 1] для n_classes=2 и как целочисленные значения в {0, 1,..., n_classes-1} для n_classes>2. Также будут ошибки, если словарь не предоставлен, а метки являются строками.
optimizer Экземпляр tf.keras.optimizers.* или tf.estimator.experimental.LinearSDCA, используемый для обучения модели. Также может быть строкой (одной из 'Adagrad', 'Adam', 'Ftrl', 'RMSProp', 'SGD') или вызываемым объектом. По умолчанию используется оптимизатор FTRL.
config Объект RunConfig для настройки параметров выполнения.
warm_start_from Путь к файлу контрольной точки для теплого старта, или объект WarmStartSettings для полной настройки теплого старта. Если указан строковый путь к файлу вместо объекта WarmStartSettings, то все веса и смещения инициализируются из контрольной точки, и предполагается, что словари и имена тензоров не изменялись.
loss_reduction Один из tf.losses.Reduction за исключением NONE. Описывает, как уменьшить потери обучения по пакету. По умолчанию SUM_OVER_BATCH_SIZE.
sparse_combiner Строка, определяющая способ уменьшения, если категориальный столбец многозначный. Один из "mean", "sqrtn" и "sum" — это эффективные способы выполнения нормализации на уровне примеров, что может быть полезно для признаков «мешок слов». Для получения дополнительной информации см. tf.feature_column.linear_model.
Возможные исключения
ValueError если n_classes < 2.

Совместимость с Eager Execution

Оценщики могут использоваться при включенном режиме Eager Execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графа и Eager Execution.

Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя директории, в которую сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Строка, представляющая путь к директории, содержащей метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

На каждом шаге вызывает input_fn, который возвращает одну партию данных. Оценивает до:

  • steps партий будут обработаны, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая строит входные данные для оценки. См. Premade Estimators для получения дополнительной информации. Функция должна строить и возвращать одно из следующего:
  • Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — тензор tf.Tensor или словарь имен признаков в строковом формате в Tensor, и labels — тензор Tensor или словарь имен меток в строковом формате в Tensor. И features, и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если контрольных точек в model_dir нет, оценка выполняется с новыми, инициализированными Variables вместо тех, что восстановлены из контрольной точки.
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn с именами в качестве ключей, а также запись global_step , содержащая значение глобального шага, для которого была выполнена эта оценка. Для готовых оценщиков словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean.
Возможные исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих признаков и меток, и восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и в нём записывается SavedModel содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для прогнозирования экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в словаре export_outputs, возвращённом model_fn, с именами, соответствующими ключам. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использоваться, когда запрос обслуживания не указывает её. Для каждой подписи выводы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая каталог, в котором нужно создать подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь сопоставлений tf.estimator.ModeKeys к input_receiver_fns, где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
Returns
Путь к каталогу экспорта в виде объекта байтов.
Raises
ValueError если любой input_receiver_fn является None, не предоставлены export_outputs или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу вывода в виде SavedModel в заданный каталог.

Для получения подробного руководства см. SavedModel от Estimators.

Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel содержащий единственный tf.MetaGraphDef сохранённый из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого model_fn, с именами, соответствующими ключам. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использоваться, когда запрос обслуживания не указывает её. Для каждой подписи выводы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельной графы обучения/оценки/прогнозирования в виде SavedModel. См. experimental_export_all_saved_models для полной документации.

Args
export_dir_base Строка, содержащая каталог, в котором нужно создать подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии эксперимента.
Returns
Путь к каталогу экспорта в виде объекта байтов.
Raises
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден контрольный пункт.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Returns
Список имён.
Raises
ValueError Если Estimator ещё не создал контрольный пункт.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной именем.

Args
name Строка или список строк, имя тензора.
Returns
Массив NumPy — значение тензора.
Raises
ValueError Если Estimator ещё не создал контрольный пункт.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла самого последнего сохранённого контрольного пункта в model_dir.

Returns
Полный путь к последнему контрольному пункту или None если контрольный пункт не был найден.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает прогнозы для заданных признаков.

Обратите внимание, что чередование двух выводов predict не работает. См.: issue/20506

Аргументы
input_fn Функция, которая создаёт признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). Дополнительную информацию см. в разделе Предопределённые оценщики. Функция должна создать и вернуть одно из следующих:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать ограничениям, указанным ниже.
  • features — tf.Tensor или словарь, сопоставляющий имя признака (строка) и Tensor. Признаки потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае первый элемент извлекается как признаки.
predict_keys Список str, имен ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, то остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретному контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если контрольных пунктов в model_dir нет, предсказание выполняется с вновь инициализированным Variables вместо восстановленных из контрольного пункта.
yield_single_examples Если False, возвращает всю партию, как возвращается model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, у которых первая размерность не равна размеру партии.

Возвращает:

Вычисленные значения тензоров predictions.

Исключения
ValueError Если длина партии предсказаний не совпадает, и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, предоставляющая обучающие данные в виде мини-пакетов. Дополнительную информацию см. в разделе Предопределённые оценщики. Функция должна создать и вернуть одно из следующих:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь, сопоставляющий имя признака (строка) и Tensor, а labels — Tensor или словарь, сопоставляющий имя метки (строка) и Tensor. И features, и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов обучения модели. Если None, обучение будет продолжаться бесконечно или до тех пор, пока tf.errors.OutOfRange не сгенерирует ошибку input_fn или исключение StopIteration . steps работает инкрементально. Если вы дважды вызываете train(steps=10), то обучение произойдет в общей сложности за 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо него. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, обучение будет продолжаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration . Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит итераций, так как первый вызов выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, выполняемых непосредственно перед или после сохранения контрольного пункта.
Возвращает
self, для цепочки вызовов.
Исключения
ValueError Если steps и max_steps не являются None.
ValueError Если steps или max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/LinearClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API