Spec-Zone.ru › TensorFlow 1.15

tf.estimator.LinearClassifier

Просмотреть исходный код на GitHub

Модель линейного классификатора.

Наследуется от: Estimator

Просмотреть псевдонимы

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.estimator.LinearClassifier

tf.estimator.LinearClassifier(
    feature_columns, model_dir=None, n_classes=2, weight_column=None,
    label_vocabulary=None, optimizer='Ftrl', config=None, partitioner=None,
    warm_start_from=None, loss_reduction=losses.Reduction.SUM, sparse_combiner='sum'
)

Обучите линейную модель для классификации экземпляров в один из нескольких возможных классов. При количестве возможных классов 2 это бинарная классификация.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.exponential_decay(
            learning_rate=0.1,
            global_step=tf.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Ввод train и evaluate должен иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column не None, признак с key=weight_column, значение которого является Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с key=column.name, значение которого является SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с key именем столбца id, второй с key именем столбца weight. Значения обоих признаков должны быть SparseTensor.
    • если column является RealValuedColumn, признак с key=column.name, значение которого является Tensor.

Функция потерь вычисляется с помощью перекрестной энтропии softmax.

Аргументы
model_fn Функция модели. Следует структуре:
  • Аргументы:

  • features: Это первый элемент, возвращаемый input_fn , переданной в train, evaluate, и predict. Это должен быть единственный tf.Tensor или dict того же типа.

  • labels: Это второй элемент, возвращаемый input_fn , переданной в train, evaluate, и predict. Это должен быть единственный tf.Tensor или dict того же типа (для моделей с несколькими головками). Если режим — tf.estimator.ModeKeys.PREDICT, будет передан labels=None. Если сигнатура model_fn не принимает mode, model_fn все равно должна уметь обрабатывать labels=None.

  • mode: Необязательно. Указывает, является ли это обучение, оценка или предсказание. См. tf.estimator.ModeKeys.

  • params: Необязательные dict гиперпараметров. Получает то, что передано в Estimator в параметре params. Это позволяет настраивать Estimator из гиперпараметров.

  • config: Необязательный объект estimator.RunConfig. Получает то, что передано в Estimator как его параметр config, или значение по умолчанию. Позволяет настраивать вещи в вашей model_fn на основе конфигурации, такой как num_ps_replicas, или model_dir.

  • Возвращает: tf.estimator.EstimatorSpec

model_dir Директория для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из директории в оценщик, чтобы продолжить обучение ранее сохранённой модели. Если PathLike объект, путь будет решён. Если None, модель_dir в config будет использован, если задан. Если оба заданы, они должны быть одинаковыми. Если оба None, будет использована временная директория.
config Объект конфигурации estimator.RunConfig.
params Набор гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для запуска с предварительной загрузкой, или объект tf.estimator.WarmStartSettings для полной настройки предварительной загрузки.

Если None, предварительно загружаются только переменные TRAINABLE.

Если указан строковый путь вместо объекта tf.estimator.WarmStartSettings, то все переменные предварительно загружаются, и предполагается, что словари и имена tf.Tensor не изменены.

Исключения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызывается через подкласс и если этот подкласс переопределяет член Estimator.

Совместимость с Eager Execution

Оценщики могут использоваться при включенном eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что код input_fn , использующий tf.data, обычно работает в режимах графа и eager.

Атрибуты
config
model_dir
model_fn Возвращает model_fn , привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя директории, в которую сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Строка, представляющая путь к директории, содержащей метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Оценка выполняется до:

  • обработки steps партий, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая строит входные данные для оценки. См. Предопределённые оценщики для получения дополнительной информации. Функция должна строить и возвращать один из следующих объектов: * Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже. * Кортеж (features, labels): Где features является tf.Tensor или словарем с именем признака типа строка до Tensor и labels является Tensor или словарем с именем метки типа строка до Tensor. Оба features и labels используются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
steps Количество шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратного вызова во время вызова оценки.
checkpoint_path Путь к определённой контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если в model_dir нет контрольных точек, оценка выполняется с новоинициализированными Variables вместо восстановленных из контрольной точки.
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step , которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценщиков словарь содержит loss (среднее значение потери за мини-пакет) и average_loss (среднее значение потери за образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean .
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения Tensor признаков и меток. Затем этот метод вызывает Estimator в указанном режиме для генерации графы модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, в случае его отсутствия, самый последний) в графу. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и в него записывается SavedModel содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, когда запрос на предоставление не указывает её. Для каждой подписи выводы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда являются получателями ввода, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потеря, метрики и прогнозы включаются в SignatureDef для данного режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ даёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который будет скопирован. Например, простейший случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут создаваться подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь отображений от tf.estimator.ModeKeys к input_receiver_fn, где input_receiver_fn — функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не требуются.
as_text нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None, выбирается последний контрольный пункт, найденный в каталоге модели.
Возвращает
Путь к экспортированному каталогу.
Исключения
ValueError если какой-либо input_receiver_fn является None, предоставлены не все export_outputs, или контрольный пункт не найден.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу вывода как SavedModel в указанный каталог.

Для подробного руководства см. Использование SavedModel с Estimators.

Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения Tensor признаков, а затем вызвав Estimator для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, самый последний контрольный пункт) в эту графу в новом сеансе. Наконец, он создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает в него SavedModel содержащий единственную tf.MetaGraphDef, сохранённую из этого сеанса.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, когда запрос на предоставление не указывает её. Для каждой подписи выводы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда являются получателями ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ даёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который будет скопирован. Например, простейший случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта единственной графы train/eval/predict в виде SavedModel. См. experimental_export_all_saved_models для полной документации.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут создаваться подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не требуются.
as_text нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None, выбирается последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция является экспериментальной.
Возвращает
Путь к экспортированному каталогу.
Исключения
ValueError если предоставлен не serving_input_receiver_fn, не export_outputs, или контрольный пункт не найден.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует графу вывода как SavedModel в указанный каталог. (устарело)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: переименуйте эту функцию, используйте export_saved_model вместо неё.

Для подробного руководства см. Использование SavedModel с Estimators.

Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения Tensor признаков, а затем вызвав Estimator для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, самый последний контрольный пункт) в эту графу в новом сеансе. Наконец, он создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает в него SavedModel содержащий единственную tf.MetaGraphDef, сохранённую из этого сеанса.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, когда запрос на предоставление не указывает её. Для каждой подписи выводы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда являются получателями ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ даёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который будет скопирован. Например, простейший случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут создаваться подкаталоги с отметками времени, содержащие экспортированные SavedModel.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированной SavedModel, или None если дополнительные ресурсы не нужны.
as_text Флаг, указывающий, необходимо ли записать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDef. Для подробного руководства см. Удаление атрибутов со значениями по умолчанию.
Возвращает
Путь к экспортированному каталогу.
Возможные исключения
ValueError если не задана serving_input_receiver_fn, не заданы export_outputs или контрольная точка не найдена.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращает
Список имён.
Возможные исключения
ValueError Если у Estimator ещё нет контрольной точки.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращает
Массив NumPy - значение тензора.
Возможные исключения
ValueError Если у Estimator ещё нет контрольной точки.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращает
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходов predict не работает. См.: issue/20506

Аргументы
input_fn Функция, которая строит признаки. Прогнозирование продолжается до тех пор, пока input_fn не вызовет исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предопределённые оценщики для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
  • Объект tf.data.Dataset: выходы объекта Dataset должны соответствовать ограничениям, указанным ниже.
  • признаки: tf.Tensor или словарь имён признаков типа строка к Tensor. Признаки потребляются model_fn. Они должны удовлетворять ожиданию model_fn от входных данных.
  • Кортеж, в этом случае извлекается первый элемент как признаки.
predict_keys Список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальные предсказания будут отфильтрованы из словаря. Если None, возвращаются все.
hooks Список подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к определённой контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, предсказание выполняется с только что инициализированными Variables вместо тех, которые восстановлены из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.

Возвращает:

Вычисленные значения тензоров predictions.

Возможные исключения
ValueError Если длина партии предсказаний не одинакова и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не None но tf.estimator.EstimatorSpec.predictions не dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, предоставляющая входные данные для обучения в виде мини-пакетов. См. Предопределённые оценщики для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
  • Объект tf.data.Dataset: выходы объекта Dataset должны быть кортежем (features, labels) с ограничениями, аналогичными ограничениям ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем строк имён признаков к Tensor, и labels является Tensor или словарем строк имён меток к Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданию model_fn от входных данных.
hooks Список подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов, на которых обучается модель. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает поэтапно. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите иметь поэтапное поведение, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит итераций, так как первый выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольной точки.
Возвращает
self, для цепочки вызовов.
Возникают исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/estimator/LinearClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API