Spec-Zone.ru › TensorFlow 2.3

tf.estimator.BaselineRegressor

Просмотреть исходный код на GitHub

Регрессор, который может установить простой базовый уровень.

Наследуется от: Estimator

tf.estimator.BaselineRegressor(
    model_dir=None, label_dimension=1, weight_column=None, optimizer='Ftrl',
    config=None, loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE
)

Этот регрессор игнорирует значения признаков и будет учиться прогнозировать среднее значение каждого метки.

Пример:

# Build BaselineRegressor
regressor = tf.estimator.BaselineRegressor()

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
regressor.train(input_fn=input_fn_train)

# Evaluate squared-loss between the test and train targets.
loss = regressor.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the mean value seen during training.
predictions = regressor.predict(new_samples)

Вход train и evaluate должен содержать следующие признаки, в противном случае возникнет KeyError:

  • если weight_column не равно None, признак с именем key=weight_column, значение которого является Tensor.
Аргументы
model_dir Каталог для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из каталога в оценочный инструмент для продолжения обучения ранее сохраненной модели.
label_dimension Количество целевых значений регрессии на пример. Это размер последнего измерения меток и логарифмов Tensor объектов (как правило, эти объекты имеют форму [batch_size, label_dimension]).
weight_column Строка или _NumericColumn, созданная функцией tf.feature_column.numeric_column, определяющая признак-вектор, представляющий веса. Он будет умножаться на ошибку примера.
optimizer Строка, tf.keras.optimizers.* объект или вызов, который создает оптимизатор для обучения. Если не указано, будет использоваться Ftrl в качестве оптимизатора по умолчанию.
config RunConfig объект для настройки параметров выполнения.
loss_reduction Один из tf.losses.Reduction, за исключением NONE. Описывает, как уменьшать обучающую ошибку по партиям. По умолчанию SUM_OVER_BATCH_SIZE.

Совместимость с Eager

Оценочные инструменты могут использоваться при включенном выполнении Eager. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графа и Eager.

Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, который связан с self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда сохраняются метрики оценки.

Аргументы
name Название оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих данных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Строка, представляющая путь к каталогу с метриками оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

На каждом шаге вызывается input_fn, которая возвращает одну партию данных. Оценка выполняется до:

  • steps партий обработаны, или
  • input_fn возникает исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создает входные данные для оценки. См. Предварительно созданные оценочные инструменты для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: Выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имен признаков к Tensor, а labels — это Tensor или словарь имен меток к Tensor. И features и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входов.
steps Количество шагов оценки модели. Если None, оценивается до тех пор, пока input_fn не возникнет исключение конца входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратного вызова внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, оценка выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки.
name Название оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих данных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предварительно созданных оценочных инструментов словарь содержит loss (средняя ошибка на мини-партю) и average_loss (средняя ошибка на образец). Предварительно созданные классификаторы также возвращают accuracy. Предварительно созданные регрессоры также возвращают label/mean и prediction/mean .
Возможные исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создает новую графу, вызвав input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator метод model_fn в указанном режиме для создания графа модели на основе этих признаков и меток и восстанавливает заданную контрольную точку (или, если ее нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок приоритета: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трех tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, временной каталог экспорта, расположенный ниже export_dir_base, и записывает в него SavedModel, содержащий tf.MetaGraphDef для данного режима и связанных сигнатур.

Для прогнозирования экспортированный MetaGraphDef будет предоставлять по одному SignatureDef для каждого элемента словаря export_outputs , возвращаемого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, что указывает, какая подпись будет обслуживаться, когда запрос обслуживания не указывает ее. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входы всегда являются приемниками входных данных, предоставляемыми serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные активы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ дает целевой путь (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая директорию, в которой будут созданы поддиректории со временем создания, содержащие экспортированные SavedModelы.
input_receiver_fn_map Словарь соответствий ключей tf.estimator.ModeKeys к input_receiver_fn значениям, где input_receiver_fn — функция без аргументов, возвращающая соответствующий подкласс InputReceiver .
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None , если дополнительные ресурсы не нужны.
as_text Нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя найденная контрольная точка в директории модели.
Returns
Путь к экспортированной директории в виде объекта bytes.
Raises
ValueError если любой input_receiver_fn равен None, нет export_outputs, или контрольная точка не найдена.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в заданную директорию.

Для подробного руководства см. SavedModel от Estimators.

Этот метод строит новый граф, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator этого Estimator для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю контрольную точку) в этот граф в новой сессии. Наконец, он создаёт временную директорию экспорта ниже заданной export_dir_base, и записывает в неё SavedModel , содержащий одну tf.MetaGraphDef , сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит один SignatureDef для каждого элемента в словаре export_outputs, возвращённом model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, если в запросе обслуживания не указана сигнатура. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput , а входные данные всегда — входные приемники, предоставленные serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение — полный путь к исходному файлу, который необходимо скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Экспериментальный параметр experimental_mode может быть использован для экспорта графа обучения/оценивания/предсказания как SavedModel. Полные документации см. в experimental_export_all_saved_models.

Args
export_dir_base Строка, содержащая директорию, в которой будут созданы поддиректории со временем создания, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None , если дополнительные ресурсы не нужны.
as_text Нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя найденная контрольная точка в директории модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в экспериментальной стадии.
Returns
Путь к экспортированной директории в виде объекта bytes.
Raises
ValueError если не указан serving_input_receiver_fn , нет export_outputs , или контрольная точка не найдена.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Returns
Список имён.
Raises
ValueError Если модель ещё не создала контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Args
name Строка или список строк, имя тензора.
Returns
Массив NumPy — значение тензора.
Raises
ValueError Если модель ещё не создала контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Returns
Полный путь к последней контрольной точке или None , если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что переплетение двух выходов predict не работает. См.: вопрос/20506

Args
input_fn Функция, которая создаёт признаки. Предсказание продолжается до тех пор, пока input_fn не вызовет исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Premade Estimators для получения дополнительной информации. Функция должна создать и вернуть один из следующих элементов:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать нижеуказанным ограничениям.
  • features — tf.Tensor или словарь имён признаков типа строка к Tensor. Признаки потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входов.
  • Кортеж, в этом случае первый элемент извлекается как признаки.
predict_keys Список str, имён ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys , то остальные предсказания будут отфильтрованы из словаря. Если None, возвращаются все значения.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, предсказание выполняется с вновь инициализированными Variables вместо тех, которые восстанавливаются из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn , вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.

Возвращает:

Оценённые значения тензоров predictions.

Исключения
ValueError Если длина пакета прогнозов не совпадает, и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет входные данные для обучения в виде мини-пакетов. См. Предопределённые оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имен признаков типа строка к Tensor, а labels является Tensor или словарем имен меток типа строка к Tensor. Оба features и labels используются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратного вызова внутри цикла обучения.
steps Количество шагов обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает пошагово. Если вы вызовете train(steps=10) дважды, обучение будет происходить в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдут в середине процесса, обучение прекратится до 20 шагов. Если вы не хотите пошагового поведения, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдут в середине процесса, обучение прекратится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не будет выполнять никаких итераций, так как первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
Возвращаемое значение
self, для цепочки.
Исключения
ValueError Если оба steps и max_steps не являются None.
ValueError Если либо steps или max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/BaselineRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API