Spec-Zone.ru › TensorFlow 1.15

tf.compat.v2.estimator.BaselineRegressor

Регрессор, который может установить простой базовый уровень.

Наследуется от: Estimator

tf.compat.v2.estimator.BaselineRegressor(
    model_dir=None, label_dimension=1, weight_column=None, optimizer='Ftrl',
    config=None, loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE
)

Этот регрессор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки.

Пример:

# Build BaselineRegressor
regressor = BaselineRegressor()

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
regressor.train(input_fn=input_fn_train)

# Evaluate squared-loss between the test and train targets.
loss = regressor.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the mean value seen during training.
predictions = regressor.predict(new_samples)

Вход train и evaluate должен иметь следующие признаки, в противном случае будет ошибка KeyError:

  • если weight_column не None, признак с именем key=weight_column, значение которого является Tensor.
Аргументы
model_dir Директория для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из директории в оценщик, чтобы продолжить обучение ранее сохранённой модели.
label_dimension Количество целевых значений регрессии на пример. Это размер последнего измерения меток и логарифмов Tensor (как правило, у них форма [batch_size, label_dimension]).
weight_column Строка или _NumericColumn, созданный tf.feature_column.numeric_column, определяющий признак столбца, представляющий веса. Он будет умножен на потерю примера.
optimizer Строка, tf.Optimizer объект или вызываемый объект, создающий оптимизатор для обучения. Если не указано, будет использоваться FtrlOptimizer с установленной по умолчанию скоростью обучения 0.3.
config RunConfig объект для настройки параметров выполнения.
loss_reduction Один из tf.losses.Reduction, за исключением NONE. Описывает, как уменьшить потери обучения по партии. По умолчанию SUM_OVER_BATCH_SIZE.

Совместимость с Eager

Оценщики могут использоваться при включённом режиме eager. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графа и eager.

Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, который привязан к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя директории, куда выгружаются метрики оценки.

Аргументы
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращаемые значения
Строка, являющаяся путём к директории, содержащей метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Выполняет оценку модели с использованием данных оценки input_fn.

На каждом шаге вызывается input_fn, который возвращает одну партию данных. Выполняет оценку до:

  • Обработано steps партий, или
  • input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создаёт входные данные для оценки. См. Предопределённые оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих вариантов: * Объект tf.data.Dataset: Выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже. * Кортеж (features, labels): где features является tf.Tensor или словарем имени признака (строка) к Tensor, и labels является Tensor или словарем имени метки (строка) к Tensor. Оба features и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество шагов, на которых должна оцениваться модель. Если None, оценка выполняется до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, оценка выполняется с вновь инициализированными Variables вместо восстанавливаемых из контрольной точки.
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращаемые значения
Словарь, содержащий метрики оценки, указанные в model_fn, с именами в качестве ключей, а также запись global_step, содержащую значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценщиков словарь содержит loss (средняя потеря на мини-партю) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean.
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую граф, вызывая input_receiver_fn для получения признаков и меток Tensors. Затем этот метод вызывает Estimator`s model_fn в указанном режиме для генерации графа модели на основе этих признаков и меток, и восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одной директории SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся временная директория экспорта ниже export_dir_base, и в неё записывается SavedModel , содержащий tf.MetaGraphDef для данного режима и его связанных подписей.

Для прогнозирования экспортированный MetaGraphDef предоставит один SignatureDef для каждого элемента словаря export_outputs , возвращённого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются получателями ввода, предоставляемыми serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, и потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные активы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ даёт целевой путь (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой должны быть созданы временные поддиректории, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь tf.estimator.ModeKeys к отображениям input_receiver_fn, где input_receiver_fn – функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, указывающий, как заполнить директорию assets.extra в экспортированном SavedModel, или None , если дополнительные активы не нужны.
as_text нужно ли записать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
Возвращаемые значения
Путь к строке экспортированной директории.
Возвращает исключение
ValueError если предоставлен любой input_receiver_fn, отсутствуют export_outputs, или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в указанный каталог.

Подробное руководство см. в Использование SavedModel с Estimators.

Этот метод создает новый график, сначала вызвав serving_input_receiver_fn, чтобы получить значения признаков Tensor, а затем вызвав Estimator для генерации графика модели на основе этих признаков. Он восстанавливает указанный контрольный пункт (или, при его отсутствии, самый последний контрольный пункт) в этот график в новой сессии. В заключение он создает каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает в него SavedModel содержащий один tf.MetaGraphDef, сохраненный из этой сессии.

Экспортированный MetaGraphDef будет предоставлять по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного model_fn, с использованием тех же ключей. Один из этих ключей всегда является tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться, когда запрос обслуживания не указывает её. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта отдельного графика обучения/валидации/предсказания как SavedModel. См. experimental_export_all_saved_models для полного описания.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументы и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий способ заполнения каталога assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны.
as_text Флаг записи протокола SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии разработки.
Возвращает
Строка пути к каталогу экспорта.
Возвращает исключение
ValueError если не указан serving_input_receiver_fn, не указаны export_outputs, или не найден контрольный пункт.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращает
Список имён.
Возвращает исключение
ValueError Если модель ещё не создала контрольный пункт.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name строка или список строк, имя тензора.
Возвращает
Массив NumPy - значение тензора.
Возвращает исключение
ValueError Если модель ещё не создала контрольный пункт.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого контрольного пункта в model_dir.

Возвращает
Полный путь к последнему контрольному пункту или None если контрольный пункт не был найден.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что одновременная обработка двух результатов предсказания не работает. См.: вопрос/20506

Аргументы
input_fn Функция построения признаков. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). См. Предопределённые оценщики для получения дополнительной информации. Функция должна строить и возвращать одно из следующего:
  • Объект tf.data.Dataset: Выходные данные объекта Dataset должны соответствовать нижеприведённым ограничениям.
  • признаки: tf.Tensor или словарь имён признаков (строки) к Tensor. Признаки используются model_fn. Они должны соответствовать ожиданиям model_fn для входов.
  • Кортеж, в котором в качестве признаков извлекается первый элемент.
predict_keys Список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальная часть прогнозов будет отфильтрована из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к определённому контрольному пункту для предсказания. Если None, используется самый последний контрольный пункт в model_dir. Если в model_dir нет контрольных пунктов, предсказание выполняется с недавно инициализированными Variables вместо восстановленных из контрольного пункта.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру партии.

Выходные данные:

Оценённые значения тензоров predictions.

Возвращает исключение
ValueError Если длина партии предсказаний не совпадает и yield_single_examples True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет данные для обучения в виде мини-пакетов. Смотрите Premade Estimators для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь с именами признаков в виде строк и значениями Tensor, а labels — Tensor или словарь с именами меток в виде строк и значениями Tensor. И features, и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов обучения модели. Если None, обучение будет продолжаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, то обучение произойдёт в общей сложности 20 шагов. Если в процессе произойдёт OutOfRange или StopIteration, обучение остановится до достижения 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, обучение будет продолжаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
Возвращаемое значение
self, для цепочки вызовов.
Исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/compat/v2/estimator/BaselineRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API