Spec-Zone.ru › TensorFlow 2.4

tf.estimator.BaselineRegressor

Просмотреть исходный код на GitHub

Регрессор, позволяющий установить простую базу.

Наследуется от: Estimator, Estimator

tf.estimator.BaselineRegressor(
    model_dir=None, label_dimension=1, weight_column=None,
    optimizer='Ftrl', config=None,
    loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE
)

Этот регрессор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки.

Пример:

# Build BaselineRegressor
regressor = tf.estimator.BaselineRegressor()

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
regressor.train(input_fn=input_fn_train)

# Evaluate squared-loss between the test and train targets.
loss = regressor.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the mean value seen during training.
predictions = regressor.predict(new_samples)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column не None, признак с key=weight_column, значение которого является Tensor.
Аргументы
model_dir Директория для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохранённой модели.
label_dimension Количество целевых значений регрессии на пример. Это размер последнего измерения меток и логарифмов Tensor объектов (как правило, у них форма [batch_size, label_dimension]).
weight_column Строка или _NumericColumn созданный tf.feature_column.numeric_column определяет столбец признака, представляющий веса. Он будет умножен на потерю примера.
optimizer Строка, tf.keras.optimizers.* объект или вызываемый объект, создающий оптимизатор для обучения. Если не указано, используется Ftrl в качестве оптимизатора по умолчанию.
config RunConfig объект для конфигурации параметров выполнения.
loss_reduction Один из tf.losses.Reduction, кроме NONE. Описывает, как уменьшать потерю обучения по пакету. По умолчанию SUM_OVER_BATCH_SIZE.

Совместимость с Eager

Оценщики могут использоваться при включенном режиме eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что код input_fn с использованием tf.data обычно работает как в режиме графа, так и в режиме eager.

Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn , привязанный к self.params .
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя директории, куда сохраняются метрики оценки.

Аргументы
name Название оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Строка, представляющая путь к директории, содержащей метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

На каждом шаге вызывается input_fn, которая возвращает одну партию данных. Оценка продолжается до:

  • steps обработанных пакетов или
  • input_fn возникает исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создаёт входные данные для оценки. См. Предопределенные оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходные данные Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имени признака типа строка к Tensor, а labels является Tensor или словарем имени метки типа строка к Tensor. Оба features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
steps Количество шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не выдаст исключение конца входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется самая последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, оценка выполняется с вновь инициализированными Variables вместо восстанавливаемых из контрольной точки.
name Название оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, содержащая значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценщиков словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean .
Исключения
ValueError Если steps <= 0 .

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую граф, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графа модели на основе этих признаков и меток и восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одной директории SavedModel.

Для переменных и tf.MetaGraphDefs, временная директория экспорта под export_dir_base, и записывает в неё SavedModel , содержащий tf.MetaGraphDef для данного режима и его соответствующих сигнатур.

Для прогнозирования экспортированный MetaGraphDef обеспечит один SignatureDef для каждого элемента в export_outputs словаре, возвращаемом model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput , а входные данные всегда - получателями входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op сохраняется в дополнительном наборе, а потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra . Это должен быть словарь, где каждый ключ даёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметками времени, содержащие экспортированные SavedModelы.
input_receiver_fn_map Словарь соответствий tf.estimator.ModeKeys к input_receiver_fn отображениям, где input_receiver_fn — функция без аргументов, возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированной SavedModel, или None при отсутствии дополнительных ресурсов.
as_text Флаг, определяющий, нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
Возвращаемое значение
Путь к экспортированному каталогу в виде объекта bytes.
Исключения
ValueError в случае, если какой-либо input_receiver_fn равен None, не предоставлены export_outputs или не найдена контрольная точка.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график инференции в виде SavedModel в указанный каталог.

Подробное руководство см. в разделе SavedModel от Estimators.

Этот метод создаёт новый график, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю контрольную точку) в этом графике в новом сеансе. Наконец, он создаёт подкаталог с отметкой времени в заданном export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохранённую из этого сеанса.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет обслуживаться, если запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда предоставляются приёмниками входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь к исходному файлу, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Экспериментальный параметр experimental_mode может быть использован для экспорта отдельного графика обучения/оценки/предсказания в виде SavedModel. Полные документы см. в experimental_export_all_saved_models.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметками времени, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированной SavedModel, или None при отсутствии дополнительных ресурсов.
as_text Флаг, определяющий, нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальная.
Возвращаемое значение
Путь к экспортированному каталогу в виде объекта bytes.
Исключения
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если Estimator ещё не создал контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy - значение тензора.
Исключения
ValueError Если Estimator ещё не создал контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None при отсутствии контрольной точки.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что переплетение двух результатов предсказания не работает. См.: issue/20506

Аргументы
input_fn Функция, строящая признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). Более подробная информация в Premade Estimators. Функция должна строить и возвращать одно из следующего:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать нижеприведённым ограничениям.
  • features — tf.Tensor или словарь имен признаков к Tensor. features используются функцией model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в котором в первом элементе содержатся features.
predict_keys Список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, оставшиеся предсказания будут отфильтрованы из словаря. Если None, возвращаются все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, предсказание выполняется с новыми, инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.
Возвращаемые значения
Оценённые значения тензоров predictions .
Исключения
ValueError Если длина пакета предсказаний не совпадает, и yield_single_examples имеет значение True.
ValueError Если возникает конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет данные для обучения в виде мини-пакетов. Для получения дополнительной информации см. Предопределенные оценщики. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имен признаков типа строка к Tensor, а labels является Tensor или словарем имен меток типа строка к Tensor. И features, и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает поэтапно. Если вы вызываете train(steps=10) дважды, обучение выполняется в общей сложности 20 шагами. Если OutOfRange или StopIteration возникнут в середине, обучение остановится до 20 шагов. Если вам не нужен поэтапный режим, установите max_steps вместо этого. При установке max_steps должно иметь значение None.
max_steps Общее количество шагов для обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно иметь значение None. Если OutOfRange или StopIteration произойдут в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит никаких итераций, поскольку первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
Возвращаемое значение
self, для цепочки вызовов.
Исключения
ValueError Если как steps, так и max_steps не имеют значение None.
ValueError Если либо steps, либо max_steps <= 0 имеют ошибку.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/estimator/BaselineRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API