Spec-Zone.ru › TensorFlow 2.3

tf.compat.v1.estimator.BaselineRegressor

Регрессор, который может установить простой базовый уровень.

Наследуется от: Estimator

tf.compat.v1.estimator.BaselineRegressor(
    model_dir=None, label_dimension=1, weight_column=None, optimizer='Ftrl',
    config=None, loss_reduction=tf.compat.v1.losses.Reduction.SUM
)

Этот регрессор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки.

Пример:

# Build BaselineRegressor
regressor = tf.estimator.BaselineRegressor()

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
regressor.train(input_fn=input_fn_train)

# Evaluate squared-loss between the test and train targets.
loss = regressor.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the mean value seen during training.
predictions = regressor.predict(new_samples)

Вход train и evaluate должен иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column не является None, признак с key=weight_column, значение которого является Tensor.
Аргументы
model_fn Функция модели. Следует подписи:
  • features -- Это первый элемент, возвращаемый из input_fn функции, переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа.
  • labels -- Это второй элемент, возвращаемый из input_fn функции, переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа (для моделей с несколькими выходами). Если режим является tf.estimator.ModeKeys.PREDICT, то будет передан labels=None. Если функция model_fn не принимает mode, то функция model_fn должна все равно уметь обрабатывать labels=None.
  • mode -- Необязательно. Указывает, является ли это обучение, оценка или предсказание. См. tf.estimator.ModeKeys. params -- Необязательные dict гиперпараметров. Получит то, что передается в оценщик в параметре params. Это позволяет настраивать оценщики из набора гиперпараметров.
  • config -- Необязательный объект estimator.RunConfig. Получит то, что передается оценщику в параметре config, или значение по умолчанию. Позволяет настроить параметры вашей model_fn на основе конфигурации, такой как num_ps_replicas, или model_dir.
  • Возвращает -- tf.estimator.EstimatorSpec
model_dir Директория для сохранения параметров модели, графика и т.д. Это также можно использовать для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохраненной модели. Если объект PathLike, путь будет разрешен. Если None, модель_dir в config будет использован, если он задан. Если оба заданы, они должны быть одинаковыми. Если оба None, будет использоваться временная директория.
config Объект конфигурации estimator.RunConfig.
params Набор гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для предварительной загрузки, или объект tf.estimator.WarmStartSettings для полной настройки предварительной загрузки. Если None, то предварительно загружаются только TRAINABLE переменные. Если указан строковый путь вместо объекта tf.estimator.WarmStartSettings, тогда загружаются все переменные, и предполагается, что словари и имена tf.Tensor не изменены.
Исключения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызов через подкласс, и если этот класс переопределяет член Estimator.

Совместимость с Eager

Оценщики могут использоваться при включенном режиме Eager. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому их необходимо написать так, чтобы они были совместимы с режимом графа. Обратите внимание, что код input_fn использующий tf.data, как правило, работает в режимах графа и Eager.

Атрибуты
config
model_dir
model_fn Возвращает model_fn, привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя директории, куда записываются метрики оценки.

Аргументы
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Строка, представляющая путь к директории, содержащей метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Выполняет оценку модели с данными оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Выполняет оценку до:

  • обработки steps партий, или
  • input_fn вызывает исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создает входные данные для оценки. См. Premade Estimators для получения дополнительной информации. Функция должна создать и вернуть один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имени признака к Tensor, а labels является Tensor или словарем имени метки к Tensor. И features, и labels потребляются функцией model_fn. Они должны соответствовать ожиданиям от входных данных model_fn.
steps Количество шагов для оценки модели. Если None, оценивает до тех пор, пока input_fn не поднимет исключение конца входных данных.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, оценка выполняется с только что инициализированными Variables вместо тех, что восстановлены из контрольной точки.
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для готовых оценщиков словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на пример). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean.
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создает новую график, вызывая input_receiver_fn для получения признаков и метки Tensors. Далее этот метод вызывает Estimator's model_fn в переданном режиме для генерации графика модели на основе этих признаков и меток, и восстанавливает заданную контрольную точку (или, при ее отсутствии, последнюю контрольную точку) в график. Только один из режимов используется для сохранения переменных в SavedModel (порядок приоритетов: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трех tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, директория экспорта со временем ниже export_dir_base, и записывает SavedModel в неё, содержащую tf.MetaGraphDef для данного режима и связанных с ним сигнатур.

Для предсказания экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая сигнатура будет использоваться, когда запрос на обслуживание не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput и входами всегда являются приемники ввода, предоставленные serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потери, метрики и предсказания включены в SignatureDef для данного режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая директорию, в которой будут создаваться временные поддиректории, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь соответствий от tf.estimator.ModeKeys к input_receiver_fn, где input_receiver_fn - функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированных SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
Returns
Путь к экспортированной директории в виде объекта типа bytes.
Raises
ValueError если любой input_receiver_fn равен None, не предоставлены export_outputs или не найдена контрольная точка.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в указанную директорию.

Подробное руководство см. в SavedModel от Estimators.

Этот метод создаёт новый график, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator метод model_fn для создания графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, самую последнюю контрольную точку) в этом графике в новой сессии. Наконец, он создаёт временную директорию экспорта ниже заданной export_dir_base, и записывает в неё SavedModel содержащую одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая сигнатура будет использоваться, когда запрос на обслуживание не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются приемниками ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельного графика обучения/оценки/предсказания как SavedModel. Полные документы см. в experimental_export_all_saved_models.

Args
export_dir_base Строка, содержащая директорию, в которой будут создаваться временные поддиректории, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальная.
Returns
Путь к экспортированной директории в виде объекта типа bytes.
Raises
ValueError если не предоставлена serving_input_receiver_fn, не предоставлены export_outputs или не найдена контрольная точка.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует график вывода как SavedModel в заданную директорию (устаревший метод).

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Эта функция переименована, используйте export_saved_model вместо неё.

Подробное руководство см. в SavedModel от Estimators.

Этот метод создаёт новый график, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator метод model_fn для создания графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, самую последнюю контрольную точку) в этом графике в новой сессии. Наконец, он создаёт временную директорию экспорта ниже заданной export_dir_base, и записывает в неё SavedModel содержащую одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая сигнатура будет использоваться, когда запрос на обслуживание не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются приемниками ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая директорию, в которой будут создаваться временные поддиректории, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Подробное руководство см. в Удаление атрибутов с значениями по умолчанию.
Returns
Путь к экспортированной директории в виде объекта типа bytes.
Возвращает исключение
ValueError если нет serving_input_receiver_fn, нет export_outputs или не найден контрольный пункт.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращает
Список имён.
Возвращает исключение
ValueError Если Estimator ещё не создал контрольный пункт.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по заданному имени.

Аргументы
name строка или список строк, имя тензора.
Возвращает
Массив NumPy — значение тензора.
Возвращает исключение
ValueError Если Estimator ещё не создал контрольный пункт.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого контрольного пункта в model_dir.

Возвращает
Полный путь к последнему контрольному пункту или None, если контрольный пункт не найден.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходных данных predict не работает. См.: issue/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказания продолжаются до тех пор, пока input_fn не поднимет исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). Дополнительная информация приведена в разделе Предопределённые модели оценки. Функция должна строить и возвращать одно из следующего:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать ограничениям, указанным ниже.
  • признаки — tf.Tensor или словарь из имени признака в строковом формате к Tensor. Признаки потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае извлекается первый элемент в качестве признаков.
predict_keys список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальная часть предсказаний будет отфильтрована из словаря. Если None, возвращает все.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к определённому контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если в model_dir нет контрольных пунктов, предсказание выполняется с только что инициализированными Variables вместо восстановленных из контрольного пункта.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру партии.

Выход:

Вычисленные значения тензоров predictions.

Возвращает исключение
ValueError Если длина партии предсказаний не одинаковая, и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет входные данные для обучения в виде мини-пакетов. Дополнительная информация приведена в разделе Предопределённые модели оценки. Функция должна строить и возвращать одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь из имени признака в строковом формате к Tensor, а labels — Tensor или словарь из имени метки в строковом формате к Tensor. И features, и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов, на которых требуется обучить модель. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, то обучение выполняется в общей сложности 20 шагами. Если OutOfRange или StopIteration произойдёт в середине, обучение прекратится до 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольного пункта.
Возвращает
self, для цепочки вызовов.
Возвращает исключение
ValueError Если steps и max_steps не являются None.
ValueError Если steps или max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/compat/v1/estimator/BaselineRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API