tf.compat.v1.estimator.BaselineEstimator
Оценщик, позволяющий установить простой базовый уровень.
Наследуется от: Estimator
tf.compat.v1.estimator.BaselineEstimator(
head, model_dir=None, optimizer='Ftrl', config=None
)
Оценщик использует указанный пользователем заголовок.
Этот оценщик игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Например, для задач классификации с одной меткой это будет предсказывать распределение вероятностей классов, как видно из меток. Для задач классификации с несколькими метками это будет предсказывать отношение примеров, содержащих каждый класс.
Пример:
# Build baseline multi-label classifier.
estimator = tf.estimator.BaselineEstimator(
head=tf.estimator.MultiLabelHead(n_classes=3))
# Input builders
def input_fn_train:
# Returns tf.data.Dataset of (x, y) tuple where y represents label's class
# index.
pass
def input_fn_eval:
# Returns tf.data.Dataset of (x, y) tuple where y represents label's class
# index.
pass
# Fit model.
estimator.train(input_fn=input_fn_train)
# Evaluates cross entropy between the test and train labels.
loss = estimator.evaluate(input_fn=input_fn_eval)["loss"]
# For each class, predicts the ratio of training examples that contain the
# class.
predictions = estimator.predict(new_samples)
Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:
- если
weight_columnуказан в конструктореhead(и не равен None) для заголовка, переданного в конструктор BaselineEstimator, признак с именемkey=weight_column, значение которого являетсяTensor.
| Аргументы | |
|---|---|
model_fn | Функция модели. Следует структуре:
|
model_dir | Директория для сохранения параметров модели, графика и т.д. Это также может быть использовано для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохранённой модели. Если PathLike объект, путь будет решен. Если None, модель_dir в config будет использоваться, если задан. Если оба заданы, они должны совпадать. Если оба None, будет использоваться временная директория. |
config | Объект конфигурации estimator.RunConfig. |
params | Набор гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python. |
warm_start_from | Необязательный строковый путь к контрольной точке или SavedModel для инициализации, или объект tf.estimator.WarmStartSettings для полной настройки. Если None, инициализируются только переменные TRAINABLE. Если предоставлен строковый путь вместо tf.estimator.WarmStartSettings, то все переменные инициализируются, и предполагается, что словари и имена tf.Tensor не изменялись. |
| Исключения | |
|---|---|
ValueError | параметры model_fn не соответствуют params. |
ValueError | если это вызывается через подкласс и если этот подкласс переопределяет член Estimator. |
| Атрибуты | |
|---|---|
config | |
model_dir | |
model_fn | Возвращает model_fn , привязанный к self.params. |
params | |
Методы
eval_dir
eval_dir(
name=None
)
Показывает имя директории, куда сохраняются метрики оценки.
| Аргументы | |
|---|---|
name | Имя оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, таких как на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard. |
| Возвращает | |
|---|---|
| Строка, представляющая путь к директории, содержащей метрики оценки. |
evaluate
evaluate(
input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)
Оценивает модель на основе данных оценки input_fn.
На каждом шаге вызывается input_fn, которая возвращает одну партию данных. Оценка выполняется до:
-
stepsпартий обработаны, или -
input_fnвызывает исключение конца ввода (tf.errors.OutOfRangeErrorилиStopIteration).
| Аргументы | |
|---|---|
input_fn | Функция, создающая входные данные для оценки. См. Предопределенные оценщики для получения дополнительной информации. Функция должна создать и вернуть один из следующих:
|
steps | Количество шагов, на которых оценивается модель. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода. |
hooks | Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки. |
checkpoint_path | Путь к определенной контрольной точке для оценки. Если None, используется самая последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с недавно инициализированными Variables вместо восстановленных из контрольной точки. |
name | Имя оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, таких как на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard. |
| Возвращает | |
|---|---|
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, содержащую значение глобального шага, для которого была выполнена эта оценка. Для предопределенных оценщиков словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Предопределенные классификаторы также возвращают accuracy. Предопределенные регрессоры также возвращают label/mean и prediction/mean. |
| Исключения | |
|---|---|
ValueError | Если steps <= 0. |
experimental_export_all_saved_models
experimental_export_all_saved_models(
export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
checkpoint_path=None
)
Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.
Для каждого режима, переданного в input_receiver_fn_map, этот метод создаёт новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator в переданном режиме для генерации графика модели на основе этих признаков и меток, и восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одной директории SavedModel.
Для переменных и tf.MetaGraphDefs, директория экспорта с отметкой времени ниже export_dir_base, и записывает SavedModel в неё, содержащую tf.MetaGraphDef для данного режима и его связанных подписей.
Для предсказания, экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если запрос на предоставление не указывает подпись. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.
Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и прогнозы включены в SignatureDef для рассматриваемого режима.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь к назначению (включая имя файла) относительно директории assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Args | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой нужно создать поддиректории с отметкой времени, содержащие экспортированные SavedModels. |
input_receiver_fn_map | Словарь соответствий от tf.estimator.ModeKeys к input_receiver_fn, где input_receiver_fn — функция, не принимающая аргументы и возвращающая соответствующий подкласс InputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не требуются. |
as_text | Нужно ли записать протокол SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели. |
| Returns | |
|---|---|
| Путь к экспортированной директории как объект типа bytes. |
| Raises | |
|---|---|
ValueError | если какой-либо input_receiver_fn имеет значение None, нет export_outputs или не найдена контрольная точка. |
export_saved_model
export_saved_model(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)
Экспортирует график вывода как SavedModel в указанную директорию.
Для подробного руководства см. SavedModel от Estimators.
Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, в противном случае, последнюю контрольную точку) в этом графике в новой сессии. Наконец, он создаёт директорию экспорта с отметкой времени ниже указанной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохранённую из этой сессии.
Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если запрос на предоставление не указывает подпись. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Параметр experimental_mode можно использовать для экспорта одного графика обучения/оценки/предсказания в качестве SavedModel. Смотрите experimental_export_all_saved_models для полной документации.
| Args | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой нужно создать поддиректории с отметкой времени, содержащие экспортированные SavedModels. |
serving_input_receiver_fn | Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются. |
as_text | Нужно ли записать протокол SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели. |
experimental_mode | Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальная. |
| Returns | |
|---|---|
| Путь к экспортированной директории как объект типа bytes. |
| Raises | |
|---|---|
ValueError | если не указан serving_input_receiver_fn, нет export_outputs или не найдена контрольная точка. |
export_savedmodel
export_savedmodel(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, strip_default_attrs=False
)
Экспортирует график вывода как SavedModel в указанную директорию. (устарело)
Для подробного руководства см. SavedModel от Estimators.
Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, в противном случае, последнюю контрольную точку) в этом графике в новой сессии. Наконец, он создаёт директорию экспорта с отметкой времени ниже указанной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохранённую из этой сессии.
Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если запрос на предоставление не указывает подпись. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Args | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой нужно создать поддиректории с отметкой времени, содержащие экспортированные SavedModels. |
serving_input_receiver_fn | Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются. |
as_text | Нужно ли записать протокол SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели. |
strip_default_attrs | Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Для подробного руководства см. Удаление атрибутов со значениями по умолчанию. |
| Returns | |
|---|---|
| Путь к экспортированной директории как объект типа bytes. |
| Возвращает исключение | |
|---|---|
ValueError | если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден контрольный пункт. |
get_variable_names
get_variable_names()
Возвращает список всех имён переменных в этой модели.
| Возвращает | |
|---|---|
| Список имён. |
| Возвращает исключение | |
|---|---|
ValueError | если Estimator ещё не создал контрольный пункт. |
get_variable_value
get_variable_value(
name
)
Возвращает значение переменной, заданной именем.
| Аргументы | |
|---|---|
name | строка или список строк, имя тензора. |
| Возвращает | |
|---|---|
| Массив NumPy - значение тензора. |
| Возвращает исключение | |
|---|---|
ValueError | если Estimator ещё не создал контрольный пункт. |
latest_checkpoint
latest_checkpoint()
Находит имя файла последнего сохранённого контрольного пункта в model_dir.
| Возвращает | |
|---|---|
Полный путь к последнему контрольному пункту или None, если контрольный пункт не найден. |
predict
predict(
input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
yield_single_examples=True
)
Возвращает прогнозы для заданных признаков.
Обратите внимание, что перекрестное чередование двух результатов предсказания не работает. См.: issue/20506
| Аргументы | |
|---|---|
input_fn | Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
|
predict_keys | список str, имя ключей для прогноза. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, будут возвращены все прогнозы. Если None, возвращает все. |
hooks | Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания. |
checkpoint_path | Путь к конкретному контрольному пункту для прогнозирования. Если None, используется последний контрольный пункт в model_dir. Если контрольных пунктов в model_dir нет, прогнозирование выполняется с недавно инициализированными Variables вместо восстановленных из контрольного пункта. |
yield_single_examples | Если False, возвращает всю партию, как возвращается model_fn, вместо разложения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, у которых первая размерность не равна размеру партии. |
Возвращает:
Оценённые значения predictions тензоров.
| Возвращает исключение | |
|---|---|
ValueError | если длина партии прогнозов не совпадает, и yield_single_examples является True. |
ValueError | если существует конфликт между predict_keys и predictions. Например, если predict_keys не None, но tf.estimator.EstimatorSpec.predictions не является dict. |
train
train(
input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)
Обучает модель с использованием обучающих данных input_fn.
| Аргументы | |
|---|---|
input_fn | Функция, которая предоставляет обучающие данные в виде мини-пакетов. См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
|
hooks | Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения. |
steps | Количество шагов для обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементно. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите иметь инкрементное поведение, установите max_steps вместо этого. Если установлено, max_steps должно быть None. |
max_steps | Общее количество шагов обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов. |
saving_listeners | список CheckpointSaverListener объектов. Используется для обратных вызовов, которые запускаются непосредственно перед или после сохранения контрольных пунктов. |
| Возвращает | |
|---|---|
self, для цепочки вызовов. |
| Возвращает исключение | |
|---|---|
ValueError | если как steps, так и max_steps не None. |
ValueError | если либо steps, либо max_steps <= 0 произошли. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/compat/v1/estimator/BaselineEstimator