Spec-Zone.ru › TensorFlow 2.9

tf.estimator.BaselineRegressor

Просмотреть исходный код на GitHub

Регрессор, позволяющий установить простую базу.

Предупреждение: Эстиматоры не рекомендуются для нового кода. Эстиматоры выполняют код в стиле v1.Session, что сложнее правильно написать, и могут вести себя неожиданно, особенно при совместном использовании с кодом TF 2. Эстиматоры подпадают под наши гарантии совместимости, но не будут получать исправлений, кроме исправлений уязвимостей безопасности. Подробнее см. в руководстве по миграции.

Наследуется от: Estimator, Estimator

tf.estimator.BaselineRegressor(
    model_dir=None,
    label_dimension=1,
    weight_column=None,
    optimizer='Ftrl',
    config=None,
    loss_reduction=tf.losses.Reduction.SUM_OVER_BATCH_SIZE
)

Этот регрессор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки.

Пример:

# Build BaselineRegressor
regressor = tf.estimator.BaselineRegressor()

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
regressor.train(input_fn=input_fn_train)

# Evaluate squared-loss between the test and train targets.
loss = regressor.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the mean value seen during training.
predictions = regressor.predict(new_samples)

Вход train и evaluate должен иметь следующие признаки, в противном случае будет ошибка KeyError:

  • если weight_column не равно None, признак с именем key=weight_column, значение которого является Tensor.
Аргументы
model_dir Каталог для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из каталога в эстиматор для продолжения обучения ранее сохранённой модели.
label_dimension Количество целей регрессии на пример. Это размер последнего измерения меток и лог-величин Tensor объекты (как правило, у них есть форма [batch_size, label_dimension]).
weight_column Строка или _NumericColumn, созданный tf.feature_column.numeric_column, определяющий столбец признаков, представляющий веса. Он будет умножен на потерю примера.
optimizer Строка, tf.keras.optimizers.* объект или вызываемая функция, которые создают оптимизатор для обучения. Если не указано, по умолчанию используется Ftrl оптимизатор.
config RunConfig объект для настройки параметров выполнения.
loss_reduction Один из tf.losses.Reduction, за исключением NONE. Описывает, как уменьшить потери обучения на пакет. По умолчанию SUM_OVER_BATCH_SIZE.
Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, который привязан к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда сохраняются метрики оценки.

Аргументы
name Название оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, таких как на обучающих данных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Строка, являющаяся путем к каталогу, содержащему метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

На каждом шаге вызывается input_fn, которая возвращает одну порцию данных. Оценка выполняется до:

  • steps пакетов обработаны, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая строит входные данные для оценки. См. Предопределенные эстиматоры для получения дополнительной информации. Функция должна строить и возвращать одну из следующих структур:
  • Объект tf.data.Dataset: Выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь имен признаков в виде строк до Tensor, а labels — Tensor или словарь имен меток в виде строк до Tensor. Оба features и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не возникнет исключение конца ввода.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если в model_dir нет контрольных точек, оценка выполняется с новыми инициализированными Variables вместо тех, которые восстановлены из контрольной точки.
name Название оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, таких как на обучающих данных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предопределенных эстиматоров словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Предопределенные классификаторы также возвращают accuracy. Предопределенные регрессоры также возвращают label/mean и prediction/mean .
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую граф, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator 's model_fn в переданном режиме для генерации графа модели на основе этих признаков и меток и восстанавливает заданную контрольную точку (или, в отсутствие таковой, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, каталог экспорта со временем создания, находящийся под export_dir_base, и записывает SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs , возвращаемого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput , а входы всегда - приемники входных данных, предоставленные serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потери, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение - полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут создаваться поддиректории с отметками времени, содержащие экспортированные SavedModelы.
input_receiver_fn_map Словарь соответствий tf.estimator.ModeKeys и input_receiver_fn отображений, где input_receiver_fn — это функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver .
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None в случае отсутствия дополнительных ресурсов.
as_text Флаг, определяющий, нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
Возвращаемое значение
Путь к экспортированной директории в виде объекта байтов.
Исключения
ValueError Если какой-либо input_receiver_fn равен None, нет export_outputs, или не найдена контрольная точка.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в заданную директорию.

Для подробного руководства по SavedModel см. Использование формата SavedModel.

Этот метод создает новый граф, сначала вызвав serving_input_receiver_fn для получения признаков Tensor , а затем вызвав Estimator метод model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если таковой нет, самую последнюю) в этом графе в новом сеансе. Наконец, он создает временную директорию экспорта под заданной export_dir_base и записывает SavedModel в нее, содержащий одну tf.MetaGraphDef из этого сеанса.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs , возвращаемого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда предоставляются входными приемниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra . Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение — полный путь к исходному файлу, который будет скопирован. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode можно использовать для экспорта одного графа обучения/валидации/предсказания как SavedModel. См. experimental_export_all_saved_models для получения полной документации.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут создаваться поддиректории с отметками времени, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None в случае отсутствия дополнительных ресурсов.
as_text Флаг, определяющий, нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии разработки.
Возвращаемое значение
Путь к экспортированной директории в виде объекта байтов.
Исключения
ValueError Если не задан serving_input_receiver_fn , не заданы export_outputs или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имен переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если Estimator ещё не создал контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy — значение тензора.
Исключения
ValueError Если Estimator ещё не создал контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла самой последней сохранённой контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None , если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Возвращает прогнозы для заданных признаков.

Обратите внимание, что чередование двух выходов predict не работает. См.: вопрос/20506

Аргументы
input_fn Функция для построения признаков. Предсказания продолжаются, пока input_fn не вызовет исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предустановленные оценщики для получения дополнительной информации. Функция должна строить и возвращать одно из следующего:
  • tf.data.Dataset объект — Выходы объекта Dataset должны удовлетворять тем же ограничениям, что и ниже.
  • признаки — tf.Tensor или словарь из имени признака типа строка в Tensor . Признаки потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае извлекается первый элемент в качестве признаков.
predict_keys Список str , имена ключей для прогнозирования. Используется, если tf.estimator.EstimatorSpec.predictions — dict . Если используется predict_keys, остальные прогнозы будут отфильтрованы из словаря. Если None, возвращаются все.
hooks Список экземпляров подкласса tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова прогнозирования.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir . Если в model_dir нет контрольных точек, прогнозирование выполняется с новыми, инициализированными Variables , а не восстановленными из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращается model_fn , вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру партии.
Возвращаемые значения
Вычисленные значения тензоров predictions .
Исключения
ValueError Если длина пакета прогнозов не совпадает, и yield_single_examples имеет значение True.
ValueError Если возникает конфликт между predict_keys и predictions. Например, если predict_keys не соответствует None , но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель на основе обучающих данных input_fn.

Аргументы
input_fn Функция, предоставляющая данные для обучения в виде мини-пакетов. См. Предварительно созданные оценочные модели для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имен функций к Tensor, а labels — Tensor или словарем имен меток к Tensor. И features и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызовете train(steps=10) дважды, то общее количество шагов обучения составит 20. Если OutOfRange или StopIteration произойдут в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, задайте max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдут в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые запускаются непосредственно перед или после сохранения контрольных точек.
Возвращает
self, для цепочки вызовов.
Исключения
ValueError Если и steps и max_steps не являются None.
ValueError Если либо steps или max_steps <= 0.

совместимость с eager execution

Оценки могут использоваться при включённом eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, в целом работает в обоих режимах (граф и eager).

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/estimator/BaselineRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API