Spec-Zone.ru › TensorFlow 1.15

tf.compat.v2.estimator.LinearClassifier

Модель линейного классификатора.

Наследуется от: Estimator

tf.compat.v2.estimator.LinearClassifier(
    feature_columns, model_dir=None, n_classes=2, weight_column=None,
    label_vocabulary=None, optimizer='Ftrl', config=None, warm_start_from=None,
    loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE,
    sparse_combiner='sum'
)

Обучает линейную модель для классификации экземпляров в один из нескольких возможных классов. При количестве возможных классов 2, это бинарная классификация.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.exponential_decay(
            learning_rate=0.1,
            global_step=tf.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column не равно None, признак с именем key=weight_column, значение которого является Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с именем key=column.name, значение которого является SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с именем столбца key, второй с именем столбца key. Значения обоих признаков должны быть SparseTensor.
    • если column является RealValuedColumn, признак с именем key=column.name, значение которого является Tensor.

Потеря рассчитывается с помощью перекрестной энтропии софтмакса.

Аргументы
feature_columns Итерируемый объект, содержащий все используемые моделью столбцы признаков. Все элементы множества должны быть экземплярами классов, производных от FeatureColumn.
model_dir Директория для сохранения параметров модели, графа и т.д. Также может быть использована для загрузки контрольных точек из директории в оценочный модуль для продолжения обучения ранее сохраненной модели.
n_classes Количество классов меток. По умолчанию — бинарная классификация. Обратите внимание, что метки классов — это целые числа, представляющие индекс класса (т.е. значения от 0 до n_classes-1). Для произвольных значений меток (например, строковых меток) сначала преобразуйте их в индексы классов.
weight_column Строка или объект _NumericColumn, созданный с помощью tf.feature_column.numeric_column, определяющий столбец признаков, представляющий веса. Используется для уменьшения или увеличения весов примеров во время обучения. Он будет умножаться на потерю примера. Если это строка, она используется как ключ для извлечения тензора весов из features. Если это объект _NumericColumn, исходный тензор извлекается по ключу weight_column.key, а затем функция weight_column.normalizer_fn применяется к нему для получения тензора весов.
label_vocabulary Список строк, представляющих возможные значения меток. Если задано, метки должны быть строкового типа и иметь любое значение из label_vocabulary. Если не задано, это означает, что метки уже закодированы как целые или вещественные числа в диапазоне [0, 1] для n_classes=2 и как целые значения в {0, 1,..., n_classes-1} для n_classes>2. Также будут ошибки, если словарь не предоставлен, а метки являются строками.
optimizer Экземпляр tf.Optimizer или tf.estimator.experimental.LinearSDCA, используемый для обучения модели. Также может быть строкой ('Adagrad', 'Adam', 'Ftrl', 'RMSProp', 'SGD') или вызываемым объектом. По умолчанию используется оптимизатор FTRL.
config Объект RunConfig для настройки параметров выполнения.
warm_start_from Путь к файлу с контрольной точкой для начальной загрузки, или объект WarmStartSettings для полной настройки начальной загрузки. Если предоставлен путь к файлу вместо объекта WarmStartSettings, все веса и смещения загружаются, и предполагается, что словари и имена тензоров не изменены.
loss_reduction Один из tf.losses.Reduction, кроме NONE. Описывает, как уменьшать обучающую потерю по пакету. По умолчанию SUM_OVER_BATCH_SIZE.
sparse_combiner Строка, определяющая способ уменьшения, если категориальный столбец является многозначным. Одно из "mean", "sqrtn", "sum" — это эффективные способы выполнения нормализации примеров, что может быть полезно для признаков «мешок слов». Для получения более подробной информации см. tf.feature_column.linear_model.
Возможные исключения
ValueError если n_classes < 2.

Совместимость с Eager

Оценочные модули могут использоваться при включенном режиме Eager. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает как в режиме графа, так и в режиме Eager.

Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, связанный с self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя директории, куда сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемые значения
Строка, представляющая путь к директории, содержащей метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

На каждом шаге вызывается input_fn, которая возвращает один пакет данных. Оценка выполняется до тех пор:

  • steps пакетов обработано, или
  • input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, строящая входные данные для оценки. См. Premade Estimators для получения дополнительной информации. Функция должна создать и вернуть один из следующих объектов: * Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже. * Кортеж (features, labels): где features является tf.Tensor или словарем с именем признака в виде строки до Tensor, и labels является Tensor или словарем с именем метки в виде строки до Tensor. Оба features и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество шагов для оценки модели. Если None, оценка выполняется до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов во время вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированными Variables вместо тех, которые восстановлены из контрольной точки.
name Имя оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемые значения
Словарь, содержащий метрики оценки, указанные в model_fn с именами в качестве ключей, а также запись global_step, содержащую значение глобального шага, для которого была выполнена эта оценка. Для готовых оценочных модулей словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean.
Возможные исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения функций и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих функций и меток и восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и в него записывается SavedModel с tf.MetaGraphDef для данного режима и его соответствующих подписей.

Для предсказания, экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, если в запросе об обслуживании не указана подпись. Для каждой подписи, выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются входными приемниками, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.

Дополнительные активы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь сопоставлений tf.estimator.ModeKeys с input_receiver_fn, где input_receiver_fn — функция, не принимающая аргументы и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные активы не нужны.
as_text нужно ли записать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний найденный контрольный пункт в каталоге модели.
Возвращаемое значение
Строковый путь к экспортированному каталогу.
Исключения
ValueError если какой-либо input_receiver_fn равен None, нет export_outputs, или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график предсказания как SavedModel в заданный каталог.

Для подробного руководства, см. Использование SavedModel с Estimators.

Этот метод строит новую графу, сначала вызывая serving_input_receiver_fn для получения функций Tensor, а затем вызывая Estimator's model_fn для генерации графы модели на основе этих функций. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в эту графу в свежей сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel с одной tf.MetaGraphDef, сохранённой из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, что указывает, какая подпись будет использоваться, если в запросе об обслуживании не указана подпись. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные — всегда входными приемниками, предоставленными serving_input_receiver_fn.

Дополнительные активы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к копируемому исходному файлу. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельной графы обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полной документации.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные активы не нужны.
as_text нужно ли записать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний найденный контрольный пункт в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее режим для экспорта. Обратите внимание, что эта функция экспериментальная.
Возвращаемое значение
Строковый путь к экспортированному каталогу.
Исключения
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs, или не найден контрольный пункт.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если модель ещё не создала контрольный пункт.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy — значение тензора.
Исключения
ValueError Если модель ещё не создала контрольный пункт.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого контрольного пункта в model_dir.

Возвращаемое значение
Полный путь к последнему контрольному пункту или None если контрольный пункт не был найден.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных функций.

Обратите внимание, что чередование двух выходов predict не работает. См.: вопрос/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не поднимет исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). Дополнительную информацию см. в разделе Предопределенные оценщики. Функция должна создать и вернуть одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны соответствовать ограничениям, указанным ниже.
  • признаки: тензор tf.Tensor или словарь с именем признака типа строка и значением Tensor. Признаки потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае в качестве признаков извлекается первый элемент.
predict_keys Список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретному контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если контрольных пунктов в model_dir нет, предсказание выполняется с вновь инициализированными Variables вместо восстановленных из контрольного пункта.
yield_single_examples Если False, выдает весь пакет, как возвращается model_fn, вместо разбиения пакета на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру пакета.

Возвращает:

Вычисленные значения тензоров predictions.

Исключения
ValueError Если длина пакета предсказаний не совпадает, и yield_single_examples имеет значение True.
ValueError Если возникает конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет обучающие данные в виде мини-пакетов. Дополнительную информацию см. в разделе Предопределенные оценщики. Функция должна создать и вернуть одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features - тензор tf.Tensor или словарь с именем признака типа строка и значением Tensor, а labels - метка Tensor или словарь с именем метки типа строка и значением Tensor. И features, и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, тренировка продолжается бесконечно или до тех пор, пока tf.errors.OutOfRange не сгенерирует ошибку input_fn или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдут в середине, обучение остановится до 20 шагов. Если вы не хотите иметь инкрементальное поведение, пожалуйста, установите max_steps. Если задано, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, тренировка продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
Возвращает
self, для цепочки.
Исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0 произошли.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/compat/v2/estimator/LinearClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API