Spec-Zone.ru › TensorFlow 2.9

tf.compat.v1.estimator.BaselineClassifier

Классификатор, который может установить простой базовый уровень.

Предупреждение: Эстиматоры не рекомендуются для нового кода. Эстиматоры выполняют код в стиле v1.Session, который сложнее написать правильно, и может вести себя неожиданно, особенно при сочетании с кодом TF 2. Эстиматоры попадают под наши гарантии совместимости, но не будут получать исправления, кроме уязвимостей безопасности. Подробности см. в руководстве по миграции.

Наследуется от: Estimator

tf.compat.v1.estimator.BaselineClassifier(
    model_dir=None,
    n_classes=2,
    weight_column=None,
    label_vocabulary=None,
    optimizer='Ftrl',
    config=None,
    loss_reduction=tf.compat.v1.losses.Reduction.SUM
)

Этот классификатор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Для задач с одной меткой это будет предсказывать распределение вероятностей по классам, как это видно в метках. Для задач с несколькими метками это будет предсказывать долю примеров, которые являются положительными для каждого класса.

Пример:

# Build BaselineClassifier
classifier = tf.estimator.BaselineClassifier(n_classes=3)

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
classifier.train(input_fn=input_fn_train)

# Evaluate cross entropy between the test and train labels.
loss = classifier.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the probability distribution of the classes as seen in
# training.
predictions = classifier.predict(new_samples)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column не является None, признак с key=weight_column значением которого является Tensor.
Аргументы
model_fn Функция модели. Следует подписи:
  • features -- Это первый элемент, возвращаемый из input_fn , переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа.
  • labels -- Это второй элемент, возвращаемый из input_fn , переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа (для моделей с несколькими головками). Если режим равен tf.estimator.ModeKeys.PREDICT, будет передан labels=None. Если подпись model_fn не принимает mode, model_fn должен по-прежнему уметь обрабатывать labels=None.
  • mode -- Необязательно. Указывает, это обучение, оценка или предсказание. См. tf.estimator.ModeKeys. params -- Необязательные dict гиперпараметров. Получит то, что передано в Estimator в параметре params. Это позволяет настраивать Estimator на основе настройки гиперпараметров.
  • config -- Необязательный объект estimator.RunConfig. Получит то, что передано Estimator в качестве параметра config, или значение по умолчанию. Позволяет настроить параметры вашего model_fn на основе конфигурации, такой как num_ps_replicas, или model_dir.
  • Возвращает -- tf.estimator.EstimatorSpec
model_dir Директория для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохраненной модели. Если PathLike объект, путь будет разрешен. Если None, будет использован model_dir в config если установлен. Если оба установлены, они должны совпадать. Если оба None, будет использоваться временная директория.
config Объект конфигурации estimator.RunConfig.
params dict гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для теплого запуска, или объект tf.estimator.WarmStartSettings для полной настройки теплого запуска. Если None, только TRAINABLE переменные запускаются с теплом. Если предоставлен строковый путь, а не tf.estimator.WarmStartSettings, то все переменные запускаются с теплом, и предполагается, что словари и имена tf.Tensor не изменены.
Возможные исключения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызывается через подкласс и если этот класс переопределяет член Estimator.
Атрибуты
config
model_dir
model_fn Возвращает model_fn , привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, в который сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Строка, являющаяся путем к каталогу, содержащему метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

На каждом шаге вызывается input_fn, который возвращает одну партию данных. Оценивает до:

  • steps партий обрабатываются, или
  • input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая строит входные данные для оценки. См. Премаде Эстиматоры для получения дополнительной информации. Функция должна сконструировать и вернуть один из следующих элементов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features является tf.Tensor или словарем имени признака типа строка к Tensor, а labels является Tensor или словарем имени метки типа строка к Tensor. Оба features и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество шагов, на которых оценивается модель. Если None, оценивается до input_fn вызывает исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к определенной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированным Variables вместо восстановленных из контрольной точки.
name Имя оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step , которая содержит значение глобального шага, для которого была выполнена эта оценка. Для готовых эстиматоров словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean.
Возможные исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую граф, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графа модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, в случае его отсутствия, последний контрольный пункт) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и записывается SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого функцией model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая подпись будет использована, когда запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput и входы всегда являются приемниками ввода, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op сохраняется в дополнительной коллекции, а потери, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который необходимо скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь соответствий tf.estimator.ModeKeys к input_receiver_fn, где input_receiver_fn — функция без аргументов, возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None, если дополнительные ресурсы не требуются.
as_text Нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
Возвращает
Путь к каталогу экспорта в виде объекта байтов.
Возбуждает
ValueError если какой-либо input_receiver_fn является None, не предоставлены export_outputs или контрольный пункт не найден.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует граф вывода в формате SavedModel в указанный каталог.

Подробное руководство по SavedModel см. в Использование формата SavedModel.

Этот метод строит новую граф, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в эту граф в новой сессии. В заключение, он создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, что указывает на то, какая подпись будет использоваться, когда запрос на обслуживание её не указывает. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда являются приемниками ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла для копирования. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта одной графы обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полного описания.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальна.
Возвращает
Путь к каталогу экспорта в виде объекта байтов.
Возбуждает
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или контрольный пункт не найден.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    strip_default_attrs=False
)

Экспортирует граф вывода в формате SavedModel в указанный каталог. (устарело)

Устарело: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: переименуйте функцию, используйте export_saved_model вместо неё.

Подробное руководство см. в SavedModel из Estimators.

Этот метод строит новую граф, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, в случае отсутствия, последний контрольный пункт) в эту граф в новой сессии. В заключение, он создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, что указывает на то, какая подпись будет использоваться, когда запрос на обслуживание её не указывает. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда являются приемниками ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла для копирования. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая путь к каталогу, в котором будут созданы подкаталоги с отметками времени, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не нужны.
as_text Флаг, указывающий, нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя найденная контрольная точка в каталоге модели.
strip_default_attrs Логическое значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefов. Подробное руководство см. в Удалении атрибутов с значениями по умолчанию.
Возвращаемое значение
Путь к экспортированному каталогу в виде объекта байтов.
Исключения
ValueError если не указана serving_input_receiver_fn, не указаны export_outputs, или контрольная точка не найдена.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если модель ещё не создала контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy - значение тензора.
Исключения
ValueError Если модель ещё не создала контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Выдает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходов predict не работает. См.: вопрос/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается, пока input_fn не вызовет исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предопределенные оценщики для получения дополнительной информации. Функция должна сконструировать и вернуть одно из следующего:
  • tf.data.Dataset объект — Выходы Dataset объекта должны удовлетворять тем же ограничениям, что и ниже.
  • features — tf.Tensor или словарь с именем признака в виде строки и его Tensor. Признаки используются model_fn. Они должны соответствовать ожидаемому формату model_fn входных данных.
  • Кортеж, в таком случае извлекается первый элемент в качестве признаков.
predict_keys Список str имён, имен ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используются predict_keys, остальные предсказания отфильтруются из словаря. Если None, возвращаются все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, предсказание выполняется с недавно инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как она возвращается model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру партии.
Выдает
Вычисленные значения тензоров predictions .
Исключения
ValueError Если длина партии предсказаний не совпадает и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, предоставляющая обучающие данные в виде мини-пакетов. См. Предопределенные оценщики для получения дополнительной информации. Функция должна сконструировать и вернуть одно из следующего:
  • Объект tf.data.Dataset: Выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features является tf.Tensor или словарем со строковым именем признака и Tensor, а labels — Tensor или словарем со строковым именем метки и Tensor. Оба features и labels потребляются model_fn. Они должны соответствовать ожидаемому формату model_fn входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызовете train(steps=10) дважды, обучение произойдёт в общей сложности за 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо этого. Если задано, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если задано, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольной точки.
Возвращаемое значение
self, для цепочки вызовов.
Исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

жадная совместимость

Оцениватели могут использоваться при включённом жадном выполнении. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графа и жадного выполнения.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/estimator/BaselineClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API