Spec-Zone.ru › TensorFlow 2.9

tf.compat.v1.estimator.LinearClassifier

Модель линейного классификатора.

Предупреждение: Эстиматоры не рекомендуются для нового кода. Эстиматоры используют код в стиле v1.Session, который сложнее написать правильно и может вести себя непредсказуемо, особенно при совместном использовании с кодом TF 2. Эстиматоры подпадают под наши гарантии совместимости, но не будут получать исправлений, кроме исправлений уязвимостей безопасности. Подробнее см. в руководстве по миграции.

Наследуется от: Estimator

tf.compat.v1.estimator.LinearClassifier(
    feature_columns,
    model_dir=None,
    n_classes=2,
    weight_column=None,
    label_vocabulary=None,
    optimizer='Ftrl',
    config=None,
    partitioner=None,
    warm_start_from=None,
    loss_reduction=tf.compat.v1.losses.Reduction.SUM,
    sparse_combiner='sum'
)

Обучает линейную модель для классификации экземпляров в один из нескольких возможных классов. При количестве возможных классов 2 это бинарная классификация.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = tf.estimator.LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = tf.estimator.LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = tf.estimator.LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.exponential_decay(
            learning_rate=0.1,
            global_step=tf.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = tf.estimator.LinearClassifier(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Ввод данных train и evaluate должен содержать следующие признаки, в противном случае возникнет ошибка KeyError.

  • если weight_column не является None, признак с именем key=weight_column, значение которого является Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с именем key=column.name, значение которого является SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с именем столбца key, второй с именем столбца key. Значение обоих признаков должно быть SparseTensor.
    • если column является RealValuedColumn, признак с именем key=column.name, значение которого является Tensor.

Потеря вычисляется с помощью перекрестной энтропии softmax.

Аргументы
model_fn Функция модели. Следует подписи:
  • features — это первый элемент, возвращаемый из input_fn , переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа.
  • labels — это второй элемент, возвращаемый из input_fn , переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа (для моделей с несколькими головками). Если режим равен tf.estimator.ModeKeys.PREDICT, labels=None будет передано. Если у model_fn нет подписи, принимающей mode, то model_fn должен уметь обрабатывать labels=None.
  • mode — необязательно. Указывает, обучается, оценивается или предсказывается ли модель. См. tf.estimator.ModeKeys. params — необязательные dict гиперпараметров. Получает то, что передается в Эстиматор в параметре params. Это позволяет настраивать Эстиматоры на основе подбора гиперпараметров.
  • config — необязательный объект estimator.RunConfig. Получает то, что передается в Эстиматор как параметр config, или значение по умолчанию. Позволяет настраивать элементы вашего model_fn на основе конфигурации, например num_ps_replicas, или model_dir.
  • Возвращает — tf.estimator.EstimatorSpec
model_dir Директория для сохранения параметров модели, графа и т. д. Также может использоваться для загрузки контрольных точек из директории в эстиматор для продолжения обучения ранее сохраненной модели. Если объект PathLike, путь будет решен. Если None, модель_dir в config будет использоваться, если задано. Если оба заданы, они должны быть одинаковыми. Если оба None, будет использоваться временная директория.
config Объект конфигурации estimator.RunConfig.
params Список гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный путь к файлу контрольной точки или SavedModel для начала работы с тепловой начальной загрузкой, или объект tf.estimator.WarmStartSettings для полной настройки тепловой начальной загрузки. Если None, только переменные TRAINABLE будут загружены. Если задан строковый путь вместо объекта tf.estimator.WarmStartSettings, все переменные будут загружены, и предполагается, что словари и имена tf.Tensor не изменены.
Возможные исключения
ValueError Параметры model_fn не соответствуют params.
ValueError Если это вызывается через подкласс, и если этот класс переопределяет член Estimator.
Атрибуты
config
model_dir
model_fn Возвращает model_fn , привязанный к self.params.
params

Методы

eval_dir

Посмотреть исходный код

eval_dir(
    name=None
)

Показывает имя директории, куда сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Строка, представляющая путь к директории, содержащей метрики оценки.

evaluate

Посмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием оценочных данных input_fn.

На каждом шаге вызывается input_fn, который возвращает одну партию данных. Оценивание продолжается, пока:

  • steps партий обработаны, или
  • input_fn генерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создает входные данные для оценки. Подробнее см. в Premade Estimators. Функция должна создавать и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем с именем признака строки до Tensor, и labels является Tensor или словарем с именем метки строки до Tensor. И features и labels используются model_fn. Они должны соответствовать ожиданию model_fn от входных данных.
steps Количество шагов для оценки модели. Если None, оценивает, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированными Variables вместо загруженных из контрольной точки.
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с ключом по имени, а также запись global_step , содержащая значение глобального шага, для которого была выполнена эта оценка. Для готовых эстиматоров словарь содержит loss (средняя потеря на мини-парттию) и average_loss (средняя потеря на образец). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean .
Возможные исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Посмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графику, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графика модели на основе этих признаков и меток, и восстанавливает заданный контрольный пункт (или, в случае его отсутствия, самый последний контрольный пункт) в графику. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и в него записывается SavedModel с tf.MetaGraphDef для заданного режима и его связанных подписей.

Для прогнозирования экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет обслуживаться, когда запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели ввода, предоставленные serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, и потери, метрики и прогнозы включаются в SignatureDef для данного режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут создаваться подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь соответствий tf.estimator.ModeKeys к input_receiver_fn отображениям, где input_receiver_fn — функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None в случае отсутствия дополнительных ресурсов.
as_text Необходимо ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
Возвращаемые значения
Путь к экспортированному каталогу в виде объекта типа bytes.
Исключения
ValueError Если какой-либо input_receiver_fn является None, нет export_outputs или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует график для инференции как SavedModel в заданный каталог.

Подробное руководство по SavedModel см. в Использование формата SavedModel.

Этот метод создаёт новую графику, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, в случае его отсутствия, самый последний контрольный пункт) в эту графику в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel с одной tf.MetaGraphDef, сохранённой из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет обслуживаться, если запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели ввода, предоставленные serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта отдельного графика обучения/оценки/прогнозирования в виде SavedModel. См. experimental_export_all_saved_models для полного описания.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут создаваться подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None в случае отсутствия дополнительных ресурсов.
as_text Необходимо ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии эксперимента.
Возвращаемые значения
Путь к экспортированному каталогу в виде объекта типа bytes.
Исключения
ValueError Если не указан serving_input_receiver_fn, нет export_outputs или не найден контрольный пункт.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    strip_default_attrs=False
)

Экспортирует график для инференции как SavedModel в заданный каталог. (устарело)

Устарело: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Эта функция была переименована, используйте export_saved_model вместо неё.

Для подробного руководства см. SavedModel из Estimators..

Этот метод создаёт новую графику, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, в случае его отсутствия, самый последний контрольный пункт) в эту графику в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel с одной tf.MetaGraphDef, сохранённой из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет обслуживаться, если запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели ввода, предоставленные serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут создаваться подкаталоги со временем создания, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не нужны.
as_text Флаг, определяющий, нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
strip_default_attrs Логическое значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Подробное руководство см. в Удалении атрибутов со значениями по умолчанию.
Возвращает
Путь к экспортированному каталогу в виде объекта байтов.
Исключения
ValueError если не указана serving_input_receiver_fn, не указаны export_outputs или контрольная точка не найдена.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращает
Список имён.
Исключения
ValueError Если Estimator ещё не создал контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращает
Массив NumPy — значение тензора.
Исключения
ValueError Если Estimator ещё не создал контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращает
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Возвращает прогнозы для заданных признаков.

Обратите внимание, что чередование двух результатов прогнозирования не работает. См.: вопрос/20506

Аргументы
input_fn Функция, которая строит признаки. Прогнозирование продолжается до тех пор, пока input_fn не сгенерирует исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). Подробнее см. Предопределённые оценщики. Функция должна создать и вернуть одно из следующих:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать тем же ограничениям, что и ниже.
  • признаки — tf.Tensor или словарь из имени признака к Tensor. Признаки потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае извлекается первый элемент в качестве признаков.
predict_keys Список str, имя ключей для прогнозирования. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальные прогнозы будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова прогнозирования.
checkpoint_path Путь к конкретной контрольной точке для прогнозирования. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, прогнозирование выполняется с новыми инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn, вместо декомпозиции партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.
Возвращает
Оцениваемые значения тензоров predictions .
Исключения
ValueError Если длина партии прогнозов не одинакова, а yield_single_examples равно True.
ValueError Если существует конфликт между predict_keys и predictions. Например, если predict_keys не равно None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет входные данные для обучения в виде мини-пакетов. Подробнее см. Предопределённые оценщики. Функция должна создать и вернуть одно из следующих:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь из имени признака к Tensor, а labels — Tensor или словарь из имени метки к Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности за 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите иметь инкрементальное поведение, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит итераций, так как первый вызов выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, выполняемых непосредственно перед или после сохранения контрольной точки.
Возвращаемое значение
self, для цепочки вызовов.
Исключения
ValueError Если оба steps и max_steps не являются None.
ValueError Если либо steps либо max_steps <= 0.

нетерпеливая совместимость

Оценщики могут быть использованы при включенном режиме нетерпеливого выполнения. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что код input_fn с использованием tf.data обычно работает как в режиме графа, так и в режиме нетерпеливого выполнения.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/estimator/LinearClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API