Spec-Zone.ru › TensorFlow 2.9

tf.compat.v1.estimator.BaselineEstimator

Модель оценки, которая может установить простую базу.

Предупреждение: Модели оценки не рекомендуются для нового кода. Модели оценки выполняют код в стиле v1.Session, что сложнее писать правильно, и могут вести себя непредсказуемо, особенно при сочетании с кодом TF 2. Модели оценки попадают под наши гарантии совместимости, но не будут получать исправлений, кроме уязвимостей безопасности. Подробности см. в руководстве по миграции.

Наследуется от: Estimator

tf.compat.v1.estimator.BaselineEstimator(
    head, model_dir=None, optimizer='Ftrl', config=None
)

Модель оценки использует заданную пользователем головку.

Эта модель оценки игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Например, для задач классификации с одной меткой это будет предсказывать распределение вероятностей классов, как видно в метках. Для задач классификации с несколькими метками это будет предсказывать отношение примеров, содержащих каждый класс.

Пример:

# Build baseline multi-label classifier.
estimator = tf.estimator.BaselineEstimator(
    head=tf.estimator.MultiLabelHead(n_classes=3))

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
estimator.train(input_fn=input_fn_train)

# Evaluates cross entropy between the test and train labels.
loss = estimator.evaluate(input_fn=input_fn_eval)["loss"]

# For each class, predicts the ratio of training examples that contain the
# class.
predictions = estimator.predict(new_samples)

Вход train и evaluate должен иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column указано в конструкторе head (и не равно None) для головки, переданной в конструктор BaselineEstimator, признак с key=weight_column, значение которого является Tensor.
Аргументы
model_fn Функция модели. Следует подписи:
  • features -- Это первый элемент, возвращаемый из input_fn, переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа.
  • labels -- Это второй элемент, возвращаемый из input_fn, переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа (для моделей с несколькими головками). Если режим tf.estimator.ModeKeys.PREDICT, будет передан labels=None. Если подпись model_fn не принимает mode, то model_fn все равно должен уметь обрабатывать labels=None.
  • mode -- Необязательно. Указывает, является ли это обучением, оценкой или предсказанием. См. tf.estimator.ModeKeys. params -- Необязательные dict гиперпараметров. Получит то, что передано в Estimator в параметре params. Это позволяет настроить Estimators с помощью гиперпараметров.
  • config -- Необязательный объект estimator.RunConfig. Получит то, что передано в Estimator как параметр config, или значение по умолчанию. Позволяет настраивать вещи в вашей model_fn на основе конфигурации, такой как num_ps_replicas, или model_dir.
  • Возвращает -- tf.estimator.EstimatorSpec
model_dir Директория для сохранения параметров модели, графика и т. д. Это также можно использовать для загрузки контрольных точек из каталога в модель оценки для продолжения обучения ранее сохраненной модели. Если объект PathLike, путь будет разрешен. Если None, model_dir в config будет использоваться, если установлен. Если оба установлены, они должны быть одинаковыми. Если оба None, будет использоваться временная директория.
config Объект конфигурации estimator.RunConfig.
params dict гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для начального обучения, или объект tf.estimator.WarmStartSettings для полной настройки начального обучения. Если None, обучаются только переменные TRAINABLE. Если предоставлен строковый путь вместо объекта tf.estimator.WarmStartSettings, то все переменные обучаются, и предполагается, что словари и имена tf.Tensor не изменены.
Исключения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызывается через подкласс, и если этот подкласс переопределяет член Estimator.
Атрибуты
config
model_dir
model_fn Возвращает model_fn, связанный с self.params.
params

Методы

eval_dir

Посмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда выгружаются метрики оценки.

Аргументы
name Имя оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Строка, которая является путем каталога, содержащего метрики оценки.

evaluate

Посмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Выполняет оценку модели на основе данных оценки input_fn.

На каждом шаге вызывается input_fn, которая возвращает одну партию данных. Оценка выполняется до:

  • steps партий обработаны, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создает входные данные для оценки. См. Предопределенные модели оценки для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем из имени признака в строковом формате до Tensor и labels является Tensor или словарем из имени метки в строковом формате до Tensor. И features и labels используются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
steps Количество шагов для оценки модели. Если None, оценка выполняется до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, оценка выполняется с только что инициализированной Variables вместо восстановленных из контрольной точки.
name Имя оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn, с ключами по имени, а также запись global_step, содержащая значение глобального шага, для которого была выполнена эта оценка. Для готовых моделей оценки словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Посмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создает новую графу, вызывая input_receiver_fn, чтобы получить функциональные и метковые Tensor. Затем этот метод вызывает Estimator в переданном режиме, чтобы сгенерировать графу модели на основе этих функций и меток, и восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, каталог экспорта со временем ниже export_dir_base, и записывает SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных подписей.

Для прогнозирования экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована, если запрос на обслуживание не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput и входными данными всегда являются входные приемники, предоставленные serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который необходимо скопировать. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

class="responsive fixed orange">
Args
export_dir_base Строка, содержащая каталог, в котором создавать подкаталоги со временем, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь из tf.estimator.ModeKeys до отображений input_receiver_fn, где input_receiver_fn — это функция, которая не принимает аргументов и возвращает соответствующее подклассу InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не требуются.
as_text Флаг записи протокола SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
class="responsive fixed orange">
Returns
Путь к экспортированному каталогу как объект байтов.
class="responsive fixed orange">
Raises
ValueError если любой input_receiver_fn равен None, нет export_outputs или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу вывода в формате SavedModel в указанный каталог.

Для подробного руководства по SavedModel см. Использование формата SavedModel.

Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn, чтобы получить функциональные Tensor, а затем вызвав Estimator model_fn, чтобы сгенерировать графу модели на основе этих функций. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в этой графе в новой сессии. Наконец, он создаёт каталог экспорта со временем ниже указанного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована, если запрос на обслуживание не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются входными приемниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который необходимо скопировать. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта графы обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полной документации.

class="responsive fixed orange">
Args
export_dir_base Строка, содержащая каталог, в котором создавать подкаталоги со временем, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не требуются.
as_text Флаг записи протокола SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальная.
class="responsive fixed orange">
Returns
Путь к экспортированному каталогу как объект байтов.
class="responsive fixed orange">
Raises
ValueError если не задан serving_input_receiver_fn, не заданы export_outputs или не найден контрольный пункт.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    strip_default_attrs=False
)

Экспортирует графу вывода в формате SavedModel в указанный каталог. (устарело)

Устарело: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Эта функция была переименована, используйте export_saved_model вместо неё.

Для подробного руководства см. SavedModel от Estimators..

Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn, чтобы получить функциональные Tensor, а затем вызвав Estimator model_fn, чтобы сгенерировать графу модели на основе этих функций. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в этой графе в новой сессии. Наконец, он создаёт каталог экспорта со временем ниже указанного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована, если запрос на обслуживание не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются входными приемниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который необходимо скопировать. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию для создания временных поддиректорий с отметками времени, содержащими экспортированные SavedModelы.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются.
as_text Флаг записи SavedModel протокола в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
strip_default_attrs Логическое значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefов. Подробное руководство см. в Удаление атрибутов со значениями по умолчанию.
Возвращаемое значение
Путь к экспортированной директории в виде объекта bytes.
Исключения
ValueError если не предоставлена serving_input_receiver_fn, не предоставлены export_outputs, или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если модель ещё не создала контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy - значение тензора.
Исключения
ValueError Если модель ещё не создала контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходов predict не работает. См.: issue/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). Для получения дополнительной информации см. Предварительно созданные оценщики. Функция должна создавать и возвращать один из следующих элементов:
  • tf.data.Dataset объект — Выходы Dataset объекта должны соответствовать следующим ограничениям.
  • признаки — tf.Tensor или словарь имён признаков в виде строк и их значений Tensor. Признаки используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае извлекается первый элемент в качестве признаков.
predict_keys Список strов, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, то остальные предсказания из словаря будут отфильтрованы. Если None, возвращаются все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, предсказание выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращает весь пакет, как возвращает model_fn, вместо разбиения пакета на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру пакета.
Возвращаемые значения
Вычисленные значения тензоров predictions .
Исключения
ValueError Если длина пакета предсказаний не одинаковая, и yield_single_examples равно True.
ValueError Если возникает конфликт между predict_keys и predictions. Например, если predict_keys не None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет данные для обучения в виде мини-пакетов. Для получения дополнительной информации см. Предварительно созданные оценщики. Функция должна создавать и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: Выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имён признаков в виде строк и их значений Tensor, а labels — Tensor или словарем имён меток в виде строк и их значений Tensor. Оба features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает пошагово. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите пошагового поведения, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит итераций, так как первый вызов выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольной точки.
Возвращаемое значение
self, для цепочки вызовов.
Исключения
ValueError Если оба steps и max_steps не являются None.
ValueError Если либо steps или max_steps <= 0.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/estimator/BaselineEstimator

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API