Spec-Zone.ru › TensorFlow 2.3

tf.estimator.BaselineEstimator

Просмотреть исходный код на GitHub

Оценщик, который может установить простой эталон.

Наследуется от: Estimator

tf.estimator.BaselineEstimator(
    head, model_dir=None, optimizer='Ftrl', config=None
)

Оценщик использует заданный пользователем head.

Этот оценщик игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Например, для задач классификации с одной меткой это будет предсказывать распределение вероятностей классов, как это видно в метках. Для задач многоклассовой классификации он будет предсказывать отношение примеров, которые содержат каждый класс.

Пример:

# Build baseline multi-label classifier.
estimator = tf.estimator.BaselineEstimator(
    head=tf.estimator.MultiLabelHead(n_classes=3))

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
estimator.train(input_fn=input_fn_train)

# Evaluates cross entropy between the test and train labels.
loss = estimator.evaluate(input_fn=input_fn_eval)["loss"]

# For each class, predicts the ratio of training examples that contain the
# class.
predictions = estimator.predict(new_samples)

Вход train и evaluate должен содержать следующие признаки, иначе возникнет KeyError:

  • если weight_column указан в конструкторе head (и не равен None) для head, переданного в конструктор BaselineEstimator, признак с key=weight_column, значение которого является Tensor.
Аргументы
head Экземпляр Head, созданный с помощью метода, такого как tf.estimator.MultiLabelHead.
model_dir Каталог для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохранённой модели.
optimizer Строка, объект tf.keras.optimizers.* или вызываемый объект, создающий оптимизатор для обучения. Если не указано, используется Ftrl в качестве оптимизатора по умолчанию.
config Объект RunConfig для настройки параметров выполнения.
Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда сохраняются метрики оценки.

Аргументы
name Название оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, таких как на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемые значения
Строка, представляющая путь к каталогу с метриками оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Выполняет оценку модели на данных для оценки input_fn.

На каждом шаге вызывается input_fn, которая возвращает одну партию данных. Оценка выполняется до:

  • steps партий обработаны, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая строит входные данные для оценки. См. Предопределённые оценщики для получения дополнительной информации. Функция должна создать и вернуть один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь имени признака (строка) к Tensor, а labels — Tensor или словарь имени метки (строка) к Tensor. И features, и labels потребляются model_fn. Они должны соответствовать ожиданию model_fn от входов.
steps Количество шагов, на которых оценивается модель. Если None, оценка выполняется до тех пор, пока input_fn не сгенерирует исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированным Variables вместо восстановленных из контрольной точки.
name Название оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, таких как на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемые значения
Словарь, содержащий метрики оценки, указанные в model_fn по имени, а также запись global_step, которая содержит значение глобального шага, на котором была выполнена эта оценка. Для предопределённых оценщиков словарь содержит loss (средняя потеря на мини-партю) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensors. Затем этот метод вызывает Estimator в переданном режиме для создания графа модели на основе этих признаков и меток и восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и в нём записывается SavedModel с tf.MetaGraphDef для заданного режима и его связанных сигнатур.

Для прогнозирования экспортированный MetaGraphDef будет предоставлять один SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются получателями входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, и потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ даёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который должен быть скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором должны быть созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь сопоставлений tf.estimator.ModeKeys к input_receiver_fn mappings, где input_receiver_fn — функция без аргументов, которая возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не требуются.
as_text флаг того, чтобы записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
Возвращаемые значения
Путь к экспортированному каталогу в виде объекта байтов.
Исключения
ValueError если какой-либо input_receiver_fn имеет None, не предоставлены export_outputs или не найден чекпоинт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в указанный каталог.

Для получения подробного руководства см. SavedModel от Estimators.

Этот метод создает новый график, сначала вызывая serving_input_receiver_fn для получения признаков Tensor и затем вызывая Estimator этого model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданный чекпоинт (или, если он отсутствует, самый последний чекпоинт) в этот график в новом сеансе. Наконец, он создает каталог экспорта с отметкой времени в указанном export_dir_base, и записывает SavedModel в него, содержащий один tf.MetaGraphDef из этого сеанса.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного функцией model_fn, с именами, соответствующими ключам. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обработана, когда запрос обработки не указывает её. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputами, а входные данные всегда предоставляются получателями ввода от serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью параметра assets_extra . Он должен быть словарем, где каждый ключ задает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простейший случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельного графика обучения/валидации/предсказания как SavedModel. Смотрите experimental_export_all_saved_models для полной документации.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут создаваться подкаталоги с отметкой времени, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий способ заполнения каталога assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к файлу чекпоинта для экспорта. Если None (по умолчанию), выбирается самый последний чекпоинт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии эксперимента.
Возвращаемые значения
Путь к экспортированному каталогу в виде объекта байтов.
Исключения
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден чекпоинт.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имен переменных в этой модели.

Возвращаемые значения
Список имён.
Исключения
ValueError Если Estimator ещё не создал чекпоинт.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной именем.

Аргументы
name строка или список строк, имя тензора.
Возвращаемые значения
Массив NumPy - значение тензора.
Исключения
ValueError Если Estimator ещё не создал чекпоинт.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого файла чекпоинта в model_dir.

Возвращаемые значения
Полный путь к последнему чекпоинту или None если чекпоинт не был найден.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходов predict не работает. См.: issue/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не поднимет исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). Дополнительную информацию см. в Предопределённые оценщики. Функция должна создать и вернуть одно из следующих:
  • tf.data.Dataset объект -- Выходы Dataset объекта должны соответствовать нижеизложенным ограничениям.
  • признаки -- tf.Tensor или словарь из имен признаков в виде строк и Tensor. Признаки потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
  • Кортеж, в котором в качестве признаков извлекается первый элемент.
predict_keys Список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретному чекпоинту для предсказания. Если None, используется последний чекпоинт в model_dir. Если в model_dir нет чекпоинтов, предсказание выполняется с только что инициализированными Variables вместо восстановленных из чекпоинта.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn вместо разложения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.

data-text="Yields:" id="yields" tabindex="0">Возвращает:

Вычисленные значения тензоров predictions.

Исключения
ValueError Если длина партии предсказаний не одинакова и yield_single_examples имеет True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель на основе обучающих данных input_fn.

Аргументы
input_fn Функция, предоставляющая входные данные для обучения в виде мини-пакетов. См. Предопределённые оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — это tf.Tensor или словарь имён признаков типа «строка» к Tensor, а labels — это Tensor или словарь имён меток типа «строка» к Tensor. И features, и labels используются model_fn. Они должны соответствовать ожиданиям model_fn относительно входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов, на которых следует обучить модель. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает поэтапно. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration возникнет в середине, обучение остановится до достижения 20 шагов. Если вы не хотите пошагового поведения, установите max_steps вместо этого. Если задано, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если задано, steps должно быть None. Если OutOfRange или StopIteration возникнут в процессе, обучение остановится до достижения max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
Возвращаемое значение
self, для цепочки вызовов.
Исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если steps или max_steps <= 0 имеет ошибку.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/BaselineEstimator

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API