Spec-Zone.ru › TensorFlow 2.9

tf.estimator.BaselineClassifier

Просмотреть исходный код на GitHub

Классификатор, который может установить простую базу.

Предупреждение: Использование Estimator'ов не рекомендуется для нового кода. Estimator'ы используют код в стиле v1.Session, который сложнее написать правильно и может вести себя непредсказуемо, особенно при сочетании с кодом TF 2. Estimator'ы попадают под наши гарантии совместимости, но не будут получать исправлений, кроме исправлений уязвимостей. Подробности см. в руководстве по миграции.

Наследуется от: Estimator, Estimator

tf.estimator.BaselineClassifier(
    model_dir=None,
    n_classes=2,
    weight_column=None,
    label_vocabulary=None,
    optimizer='Ftrl',
    config=None,
    loss_reduction=tf.losses.Reduction.SUM_OVER_BATCH_SIZE
)

Этот классификатор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Для задач с одной меткой это будет предсказывать распределение вероятностей классов, как видно из меток. Для задач с несколькими метками это будет предсказывать долю примеров, которые положительны для каждого класса.

Пример:

# Build BaselineClassifier
classifier = tf.estimator.BaselineClassifier(n_classes=3)

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
classifier.train(input_fn=input_fn_train)

# Evaluate cross entropy between the test and train labels.
loss = classifier.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the probability distribution of the classes as seen in
# training.
predictions = classifier.predict(new_samples)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае будет ошибка KeyError:

  • если weight_column не None, признак с key=weight_column, значение которого является Tensor.
Аргументы
model_dir Каталог для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из каталога в estimator для продолжения обучения ранее сохранённой модели.
n_classes Количество классов меток. По умолчанию — бинарная классификация. Должно быть больше 1. Примечание: метки классов — целые числа, представляющие индекс класса (т. е. значения от 0 до n_classes-1). Для произвольных значений меток (например, строковых меток) сначала преобразуйте их в индексы классов.
weight_column Строка или NumericColumn, созданная с помощью tf.feature_column.numeric_column, определяющая признак столбец, представляющий веса. Он будет умножаться на потерю примера.
label_vocabulary Необязательный список строк размером [n_classes], определяющий словарь меток. Поддерживается только для n_classes > 2.
optimizer Строка, объект tf.keras.optimizers.* или вызываемый объект, который создаёт оптимизатор для обучения. Если не указано, будет использован оптимизатор по умолчанию Ftrl.
config Объект RunConfig для настройки параметров выполнения.
loss_reduction Один из tf.losses.Reduction, за исключением NONE. Описывает, как уменьшить обучающую потерю по пакету. По умолчанию SUM_OVER_BATCH_SIZE.
Исключения
ValueError Если n_classes < 2.
Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, который связан с self.params
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Строка, являющаяся путём каталога, содержащего метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель, используя данные оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Оценивает до:

  • steps пакетов обработаны, или
  • input_fn генерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция для построения входных данных для оценки. См. Предопределённые Estimator'ы для получения дополнительной информации. Функция должна создать и вернуть один из следующих элементов:
  • Объект tf.data.Dataset: Выходные данные Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features — это tf.Tensor или словарь имён признаков в виде строк к Tensor, а labels — это Tensor или словарь имён меток в виде строк к Tensor . И features, и labels потребляются model_fn. Они должны удовлетворять ожиданию model_fn от входных данных.
steps Количество шагов, на которых необходимо оценить модель. Если None, оценивает до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки.
name Имя оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn с ключом по имени, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предопределённых Estimator'ов словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean.
Исключения
ValueError Если steps <= 0

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую схему, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме, чтобы сгенерировать схему модели на основе этих признаков и меток, и восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в схему. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге экспорта SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени под export_dir_base, и в него записывается SavedModel , содержащий tf.MetaGraphDef для данного режима и связанных сигнатур.

Для предсказания экспортированный MetaGraphDef предоставит один SignatureDef для каждого элемента словаря export_outputs , возвращённого из model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приёмниками, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потеря, метрики и предсказания включаются в SignatureDef для соответствующего режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут созданы поддиректории с отметками времени, содержащие экспортированные SavedModel.
input_receiver_fn_map Словарь соответствий между ключами tf.estimator.ModeKeys и input_receiver_fn. При этом input_receiver_fn — функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra внутри экспортированного SavedModel, или None , если дополнительные ресурсы не нужны.
as_text Нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
Возвращаемое значение
Путь к экспортированной директории в виде объекта типа bytes.
Исключения
ValueError если какой-либо input_receiver_fn является None, не предоставлены export_outputs или не найдена контрольная точка.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует граф предсказания как SavedModel в указанную директорию.

Подробное руководство по SavedModel см. в Использование формата SavedModel.

Этот метод создает новую граф, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator в этом model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в эту граф в новой сессии. Наконец, он создает поддиректорию с отметкой времени в указанной директории export_dir_base, и записывает SavedModel в неё, содержащую единственный tf.MetaGraphDef , сохраненный из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs , возвращенного из model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться, если запрос обслуживания не указывает конкретную сигнатуру. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput , а входные данные всегда являются приемниками входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргумент experimental_mode может быть использован для экспорта отдельной обучающей/валидационной/предсказательной графы в качестве SavedModel. Смотрите experimental_export_all_saved_models для полной документации.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут созданы поддиректории с отметками времени, содержащие экспортированные SavedModel.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra внутри экспортированного SavedModel, или None , если дополнительные ресурсы не нужны.
as_text Нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
experimental_mode Значение tf.estimator.ModeKeys , указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится на стадии эксперимента.
Возвращаемое значение
Путь к экспортированной директории в виде объекта типа bytes.
Исключения
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имен переменных в этой модели.

Возвращаемое значение
Список имен.
Исключения
ValueError Если у Estimator еще нет сохраненной контрольной точки.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy — значение тензора.
Исключения
ValueError Если у Estimator еще нет сохраненной контрольной точки.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохраненной контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None , если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что интерливирование двух выходов predict не работает. См.: issue/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не вызовет исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). Смотрите Предопределенные оценщики для получения дополнительной информации. Функция должна создавать и возвращать одно из следующего:
  • tf.data.Dataset объект — Выходы объекта Dataset должны удовлетворять тем же ограничениям, что и ниже.
  • признаки — Тензор tf.Tensor или словарь названий признаков (строка) к Tensor. Признаки используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае первый элемент извлекается как признаки.
predict_keys Список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions — dict. Если используется predict_keys, остальные предсказания будут отфильтрованы из словаря. Если None, возвращаются все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, предсказание выполняется с вновь инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращаются весь пакет, как возвращается model_fn , вместо декомпозиции пакета на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру пакета.
Возвращаемые значения
Оцененные значения тензоров predictions.
Исключения
ValueError Если длина пакета предсказаний не совпадает, и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, предоставляющая входные данные для обучения в виде мини-пакетов. Дополнительную информацию см. в Предопределённых оценщиках. Функция должна создавать и возвращать одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features - tf.Tensor или словарь имен признаков (строка) к Tensor, и labels - Tensor или словарь имён меток (строка) к Tensor. И features, и labels используются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, то общее количество шагов обучения составит 20. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означает 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, поскольку первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
Возвращаемые значения
self, для цепочки вызовов.
Исключения
ValueError Если как steps, так и max_steps не None.
ValueError Если либо steps, либо max_steps <= 0.

Совместимость с режимом eager

Оценка может быть использована при включённом режиме eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, обычно работает как в режиме графа, так и в режиме eager.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/estimator/BaselineClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API