tf.compat.v1.estimator.BaselineRegressor
Регрессор, который может установить простой базовый уровень.
Наследуется от: Estimator
tf.compat.v1.estimator.BaselineRegressor(
model_dir=None, label_dimension=1, weight_column=None,
optimizer='Ftrl', config=None,
loss_reduction=tf.compat.v1.losses.Reduction.SUM
)
Этот регрессор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки.
Пример:
# Build BaselineRegressor regressor = tf.estimator.BaselineRegressor() # Input builders def input_fn_train: # Returns tf.data.Dataset of (x, y) tuple where y represents label's class # index. pass def input_fn_eval: # Returns tf.data.Dataset of (x, y) tuple where y represents label's class # index. pass # Fit model. regressor.train(input_fn=input_fn_train) # Evaluate squared-loss between the test and train targets. loss = regressor.evaluate(input_fn=input_fn_eval)["loss"] # predict outputs the mean value seen during training. predictions = regressor.predict(new_samples)
Входные данные train и evaluate должны иметь следующие признаки, в противном случае произойдёт KeyError:
- если
weight_columnнеNone, признак сkey=weight_column, значение которого являетсяTensor.
| Аргументы | |
|---|---|
model_fn | Функция модели. Следует подписи:
|
model_dir | Директория для сохранения параметров модели, графа и т.д. Также может быть использована для загрузки контрольных точек из директории в оценочный объект для продолжения обучения ранее сохранённой модели. Если PathLike объект, путь будет решён. Если None, model_dir в config будет использован, если задан. Если оба заданы, они должны быть одинаковыми. Если оба None, будет использоваться временная директория. |
config | Объект конфигурации estimator.RunConfig. |
params | Набор гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — основные типы Python. |
warm_start_from | Необязательный строковый путь к контрольной точке или SavedModel для начальной загрузки, или объект tf.estimator.WarmStartSettings для полной настройки начальной загрузки. Если None, то инициализируются только переменные TRAINABLE. Если указан строковый путь вместо tf.estimator.WarmStartSettings, то все переменные инициализируются, и предполагается, что словари и имена tf.Tensor не изменены. |
| Исключения | |
|---|---|
ValueError | параметры model_fn не соответствуют params. |
ValueError | если это вызывается через подкласс, и если этот подкласс переопределяет член Estimator. |
Совместимость с Eager
Оценочные объекты могут быть использованы при включенном режиме Eager. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что код input_fn с использованием tf.data обычно работает в обоих режимах: граф и Eager.
| Атрибуты | |
|---|---|
config | |
model_dir | |
model_fn | Возвращает model_fn, привязанный к self.params. |
params | |
Методы
eval_dir
eval_dir(
name=None
)
Показывает имя директории, в которую записываются метрики оценки.
| Аргументы | |
|---|---|
name | Имя оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard. |
| Возвращает | |
|---|---|
| Строка, являющаяся путём к директории, содержащей метрики оценки. |
evaluate
evaluate(
input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)
Оценивает модель на основе данных оценки input_fn.
На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Оценивает до:
-
Обработки
stepsпартий или -
input_fnгенерирует исключение конца ввода (tf.errors.OutOfRangeErrorилиStopIteration).
| Аргументы | |
|---|---|
input_fn | Функция, создающая входные данные для оценки. См. Предварительно созданные оценочные объекты для получения дополнительной информации. Функция должна создать и вернуть один из следующих объектов:
|
steps | Количество шагов, на которых оценивается модель. Если None, оценивается до тех пор, пока input_fn не сгенерирует исключение конца ввода. |
hooks | Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки. |
checkpoint_path | Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с новыми инициализированными Variables вместо восстановленных из контрольной точки. |
name | Имя оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard. |
| Возвращает | |
|---|---|
Словарь, содержащий метрики оценки, указанные в model_fn, с ключами по имени, а также записью global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценочных объектов словарь содержит loss (средняя потеря на мини-партю) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean. |
| Исключения | |
|---|---|
ValueError | Если steps <= 0. |
experimental_export_all_saved_models
experimental_export_all_saved_models(
export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
checkpoint_path=None
)
Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.
Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую схему, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator's model_fn в переданном режиме для создания графа модели на основе этих признаков и меток, и восстанавливает указанную контрольную точку (или, если её нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок приоритета: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одной директории SavedModel.
Для переменных и tf.MetaGraphDefs, директория экспорта со временем ниже export_dir_base, и записывает SavedModel в неё, содержащую tf.MetaGraphDef для заданного режима и его связанных сигнатур.
Для предсказания, экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая подпись будет использована, если запрос на обработку не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда — приемниками входов, предоставленными serving_input_receiver_fn.
Для обучения и оценки, train_op хранятся в дополнительной коллекции, а потери, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Args | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой будут созданы временные поддиректории, содержащие экспортированные SavedModels. |
input_receiver_fn_map | Словарь соответствий tf.estimator.ModeKeys к input_receiver_fn , где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны. |
as_text | Нужно ли записать прото SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели. |
| Returns | |
|---|---|
| Путь к экспортированной директории в виде объекта байтов. |
| Raises | |
|---|---|
ValueError | если какой-либо input_receiver_fn — None, не предоставлены export_outputs , или не найдена контрольная точка. |
export_saved_model
export_saved_model(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)
Экспортирует график вывода как SavedModel в указанную директорию.
Для подробного руководства, см. SavedModel от Estimators.
Этот метод строит новый граф, сначала вызывая serving_input_receiver_fn для получения функций Tensor, а затем вызывая Estimator функцию model_fn для генерации графика модели на основе этих функций. Он восстанавливает заданную контрольную точку (или, если её нет, самую последнюю контрольную точку) в этот граф в новом сеансе. Наконец, он создаёт временную директорию экспорта под заданной export_dir_base, и записывает в неё SavedModel , содержащий одну tf.MetaGraphDef , сохранённую из этого сеанса.
Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, если запрос на обработку не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда — приемниками входов, предоставленными serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Параметр experimental_mode может быть использован для экспорта отдельного графика обучения/оценки/предсказания как SavedModel. Смотрите experimental_export_all_saved_models для полной документации.
| Args | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой будут созданы временные поддиректории, содержащие экспортированные SavedModels. |
serving_input_receiver_fn | Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны. |
as_text | Нужно ли записать прото SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели. |
experimental_mode | Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии разработки. |
| Returns | |
|---|---|
| Путь к экспортированной директории в виде объекта байтов. |
| Raises | |
|---|---|
ValueError | если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найдена контрольная точка. |
export_savedmodel
export_savedmodel(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, strip_default_attrs=False
)
Экспортирует график вывода как SavedModel в указанную директорию. (устарело)
Для подробного руководства, см. SavedModel от Estimators.
Этот метод строит новый граф, сначала вызывая serving_input_receiver_fn для получения функций Tensor, а затем вызывая Estimator функцию model_fn для генерации графика модели на основе этих функций. Он восстанавливает заданную контрольную точку (или, если её нет, самую последнюю контрольную точку) в этот граф в новом сеансе. Наконец, он создаёт временную директорию экспорта под заданной export_dir_base, и записывает в неё SavedModel , содержащий одну tf.MetaGraphDef , сохранённую из этого сеанса.
Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, если запрос на обработку не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда — приемниками входов, предоставленными serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Args | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой будут созданы временные поддиректории, содержащие экспортированные SavedModels. |
serving_input_receiver_fn | Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны. |
as_text | Нужно ли записать прото SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели. |
strip_default_attrs | Булево. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Для подробного руководства, см. Удаление атрибутов с значениями по умолчанию. |
| Returns | |
|---|---|
| Путь к экспортированной директории в виде объекта байтов. |
| Исключения | |
|---|---|
ValueError | если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs, или не найден чекпоинт. |
get_variable_names
get_variable_names()
Возвращает список всех имён переменных в этой модели.
| Возвращаемое значение | |
|---|---|
| Список имён. |
| Исключения | |
|---|---|
ValueError | Если Estimator ещё не создал чекпоинт. |
get_variable_value
get_variable_value(
name
)
Возвращает значение переменной, заданной именем.
| Аргументы | |
|---|---|
name | строка или список строк, имя тензора. |
| Возвращаемое значение | |
|---|---|
| Массив NumPy - значение тензора. |
| Исключения | |
|---|---|
ValueError | Если Estimator ещё не создал чекпоинт. |
latest_checkpoint
latest_checkpoint()
Находит имя файла последнего сохранённого чекпоинта в model_dir.
| Возвращаемое значение | |
|---|---|
Полный путь к последнему чекпоинту или None, если чекпоинт не был найден. |
predict
predict(
input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
yield_single_examples=True
)
Возвращает предсказания для заданных признаков.
Обратите внимание, что перекрестная подача двух выходов predict не работает. См.: проблема/20506
| Аргументы | |
|---|---|
input_fn | Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Premade Estimators для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
|
predict_keys | список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальная часть предсказаний будет отфильтрована из словаря. Если None, возвращает всё. |
hooks | Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания. |
checkpoint_path | Путь к конкретному чекпоинту для предсказания. Если None, используется последний чекпоинт в model_dir. Если в model_dir нет чекпоинтов, предсказание выполняется с вновь инициализированными Variables вместо восстановленных из чекпоинта. |
yield_single_examples | Если False, возвращает всю партию, как возвращается model_fn, вместо разложения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру партии. |
| Возвращает | |
|---|---|
Вычисленные значения тензоров predictions . |
| Исключения | |
|---|---|
ValueError | Если длина партии предсказаний не совпадает, а yield_single_examples равно True. |
ValueError | Если существует конфликт между predict_keys и predictions. Например, если predict_keys не равно None, но tf.estimator.EstimatorSpec.predictions не является dict. |
train
train(
input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)
Обучает модель с использованием обучающих данных input_fn.
| Аргументы | |
|---|---|
input_fn | Функция, которая предоставляет данные для обучения в виде мини-пакетов. См. Premade Estimators для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
|
hooks | Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения. |
steps | Количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности 20 шагами. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо этого. Если установлено, max_steps должно быть None. |
max_steps | Общее количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения max_steps шагов. Два вызова к train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова к train(max_steps=100) означают, что второй вызов не выполнит никаких итераций, так как первый вызов выполнил все 100 шагов. |
saving_listeners | список CheckpointSaverListener объектов. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения чекпоинтов. |
| Возвращает | |
|---|---|
self, для цепочки вызовов. |
| Исключения | |
|---|---|
ValueError | Если и steps, и max_steps не равны None. |
ValueError | Если либо steps, либо max_steps <= 0. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/compat/v1/estimator/BaselineRegressor