tf.compat.v1.estimator.BaselineEstimator
Оценщик, который может установить простую базу.
Наследуется от: Estimator
tf.compat.v1.estimator.BaselineEstimator(
head, model_dir=None, optimizer='Ftrl', config=None
)
Оценщик использует заданный пользователем head.
Этот оценщик игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Например, для задач классификации с одной меткой это будет предсказывать распределение вероятностей классов, как это видно в метках. Для задач классификации с множественными метками это будет предсказывать отношение примеров, содержащих каждый класс.
Пример:
# Build baseline multi-label classifier.
estimator = tf.estimator.BaselineEstimator(
head=tf.estimator.MultiLabelHead(n_classes=3))
# Input builders
def input_fn_train:
# Returns tf.data.Dataset of (x, y) tuple where y represents label's class
# index.
pass
def input_fn_eval:
# Returns tf.data.Dataset of (x, y) tuple where y represents label's class
# index.
pass
# Fit model.
estimator.train(input_fn=input_fn_train)
# Evaluates cross entropy between the test and train labels.
loss = estimator.evaluate(input_fn=input_fn_eval)["loss"]
# For each class, predicts the ratio of training examples that contain the
# class.
predictions = estimator.predict(new_samples)
Ввод train и evaluate должен иметь следующие признаки, в противном случае возникнет KeyError:
- если
weight_columnуказан в конструктореhead(и не равен None) для head, переданного в конструктор BaselineEstimator, признак сkey=weight_column, значение которого являетсяTensor.
| Аргументы | |
|---|---|
model_fn | Функция модели. Следует подписи:
|
model_dir | Каталог для сохранения параметров модели, графика и т. д. Это также можно использовать для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохраненной модели. Если объект PathLike, путь будет разрешен. Если None, model_dir в config будет использоваться, если задан. Если оба установлены, они должны быть одинаковыми. Если оба None, будет использован временный каталог. |
config | Объект конфигурации estimator.RunConfig. |
params | dict гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python. |
warm_start_from | Необязательный строковый путь к контрольной точке или SavedModel для предварительной загрузки или объект tf.estimator.WarmStartSettings для полной настройки предварительной загрузки. Если None, только TRAINABLE переменные предварительно загружаются. Если указан строковый путь вместо объекта tf.estimator.WarmStartSettings, то все переменные предварительно загружаются, и предполагается, что словари и имена tf.Tensor не изменены. |
| Возможные исключения | |
|---|---|
ValueError | параметры model_fn не соответствуют params. |
ValueError | если это вызывается через подкласс и если этот подкласс переопределяет член Estimator. |
| Атрибуты | |
|---|---|
config | |
model_dir | |
model_fn | Возвращает model_fn, привязанный к self.params. |
params | |
Методы
eval_dir
eval_dir(
name=None
)
Показывает имя каталога, куда сохраняются метрики оценки.
| Аргументы | |
|---|---|
name | Название оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих данных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard. |
| Возвращает | |
|---|---|
| Строка, представляющая путь к каталогу, содержащему метрики оценки. |
evaluate
evaluate(
input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)
Выполняет оценку модели с использованием данных оценки input_fn.
На каждом шаге вызывается input_fn, который возвращает одну партию данных. Оценка выполняется до тех пор:
-
stepsпартий обработаны, или -
input_fnвозникает исключение конца входных данных (tf.errors.OutOfRangeErrorилиStopIteration).
| Аргументы | |
|---|---|
input_fn | Функция построения входных данных для оценки. См. Предустановленные оценщики для получения дополнительной информации. Функция должна строить и возвращать один из следующих элементов:
|
steps | Число шагов для оценки модели. Если None, оценка выполняется до тех пор, пока input_fn не возникнет исключение конца входных данных. |
hooks | Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки. |
checkpoint_path | Путь к определенной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с недавно инициализированными Variables вместо восстановленных из контрольной точки. |
name | Название оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих данных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard. |
| Возвращает | |
|---|---|
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предустановленных оценщиков словарь содержит loss (средняя потеря на мини-парттию) и average_loss (средняя потеря на образец). Предустановленные классификаторы также возвращают accuracy. Предустановленные регрессоры также возвращают label/mean и prediction/mean . |
| Возможные исключения | |
|---|---|
ValueError | Если steps <= 0. |
experimental_export_all_saved_models
experimental_export_all_saved_models(
export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
checkpoint_path=None
)
Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.
Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator's model_fn в указанном режиме для генерации графика модели на основе этих признаков и меток и восстанавливает заданную контрольную точку (или, если ее нет, последнюю контрольную точку) в график. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трех tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.
Для переменных и tf.MetaGraphDefs, директория экспорта с отметкой времени ниже export_dir_base, и записывает SavedModel в неё, содержащую tf.MetaGraphDef для заданного режима и его связанных сигнатур.
Для прогнозирования экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет обслуживаться, когда запрос на обслуживание не указывает её. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели входных данных, предоставленные serving_input_receiver_fn.
Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и прогнозы включаются в SignatureDef для данного режима.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Аргументы | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой будут создаваться поддиректории с отметкой времени, содержащие экспортированные SavedModels. |
input_receiver_fn_map | Словарь соответствий от tf.estimator.ModeKeys к input_receiver_fn , где input_receiver_fn — функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не требуются. |
as_text | Нужно ли записывать протокол SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели. |
| Возвращаемое значение | |
|---|---|
| Путь к экспортированной директории в виде объекта типа байты. |
| Исключения | |
|---|---|
ValueError | если любой input_receiver_fn имеет значение None, не предоставлены export_outputs или не найдена контрольная точка. |
export_saved_model
export_saved_model(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)
Экспортирует график инференса как SavedModel в заданную директорию.
Для подробного руководства см. SavedModel от Estimators.
Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator этого model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю найденную контрольную точку) в этот график в новой сессии. Наконец, он создает временную директорию экспорта ниже заданной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохраненную из этой сессии.
Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет обслуживаться, когда запрос на обслуживание не указывает ее. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели входных данных, предоставленные serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Параметр experimental_mode может быть использован для экспорта отдельного графика обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полной документации.
| Аргументы | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой будут создаваться поддиректории с отметкой времени, содержащие экспортированные SavedModels. |
serving_input_receiver_fn | Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются. |
as_text | Нужно ли записывать протокол SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели. |
experimental_mode | Значение tf.estimator.ModeKeys, указывающее режим, который будет экспортирован. Обратите внимание, что эта функция находится в стадии разработки. |
| Возвращаемое значение | |
|---|---|
| Путь к экспортированной директории в виде объекта типа байты. |
| Исключения | |
|---|---|
ValueError | если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найдена контрольная точка. |
export_savedmodel
export_savedmodel(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, strip_default_attrs=False
)
Экспортирует график инференса как SavedModel в заданную директорию. (устаревшая)
Для подробного руководства см. SavedModel от Estimators.
Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator этого model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю найденную контрольную точку) в этот график в новой сессии. Наконец, он создает временную директорию экспорта ниже заданной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохраненную из этой сессии.
Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет обслуживаться, когда запрос на обслуживание не указывает ее. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели входных данных, предоставленные serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Аргументы | |
|---|---|
export_dir_base | Строка, содержащая директорию, в которой будут создаваться поддиректории с отметкой времени, содержащие экспортированные SavedModels. |
serving_input_receiver_fn | Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются. |
as_text | Нужно ли записывать протокол SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели. |
strip_default_attrs | Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Для подробного руководства см. Удаление атрибутов с значениями по умолчанию. |
| Возвращаемое значение | |
|---|---|
| Путь к экспортированной директории в виде объекта типа байты. |
| Возбуждает | |
|---|---|
ValueError | если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs, или не найден контрольный пункт. |
get_variable_names
get_variable_names()
Возвращает список всех имён переменных в этой модели.
| Возвращает | |
|---|---|
| Список имён. |
| Возбуждает | |
|---|---|
ValueError | Если Estimator ещё не создал контрольный пункт. |
get_variable_value
get_variable_value(
name
)
Возвращает значение переменной по имени.
| Аргументы | |
|---|---|
name | строка или список строк, имя тензора. |
| Возвращает | |
|---|---|
| Массив NumPy - значение тензора. |
| Возбуждает | |
|---|---|
ValueError | Если Estimator ещё не создал контрольный пункт. |
latest_checkpoint
latest_checkpoint()
Находит имя файла последнего сохранённого контрольного пункта в model_dir.
| Возвращает | |
|---|---|
Полный путь к последнему контрольному пункту или None, если контрольный пункт не найден. |
predict
predict(
input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
yield_single_examples=True
)
Возвращает предсказания для заданных признаков.
Обратите внимание, что чередование двух выходов predict не работает. См.: вопрос/20506
| Аргументы | |
|---|---|
input_fn | Функция, которая строит признаки. Предсказание продолжается, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна строить и возвращать одно из следующих:
|
predict_keys | список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, то остальные предсказания будут отфильтрованы из словаря. Если не указано, возвращает все. |
hooks | Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания. |
checkpoint_path | Путь к конкретному контрольному пункту для предсказания. Если не указан, используется последний контрольный пункт в model_dir. Если в model_dir нет контрольных пунктов, предсказание выполняется с новыми инициализированными Variables вместо восстановленных из контрольного пункта. |
yield_single_examples | Если False, выводит всю партию как возвращается model_fn вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии. |
| Выдает | |
|---|---|
Оценённые значения predictions тензоров. |
| Возбуждает | |
|---|---|
ValueError | Если длина партии предсказаний не одинаковая и yield_single_examples является True. |
ValueError | Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict. |
train
train(
input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)
Обучает модель с использованием обучающих данных input_fn.
| Аргументы | |
|---|---|
input_fn | Функция, которая предоставляет обучающие данные в виде мини-пакетных данных. См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна строить и возвращать одно из следующих:
|
hooks | Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения. |
steps | Количество шагов, на которых нужно обучить модель. Если не указано, обучается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, то обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, укажите max_steps. Если указано, то max_steps должно быть None. |
max_steps | Общее количество шагов для обучения модели. Если не указано, обучается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если указано, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов. |
saving_listeners | список CheckpointSaverListener объектов. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных пунктов. |
| Возвращает | |
|---|---|
self, для цепочки вызовов. |
| Возбуждает | |
|---|---|
ValueError | Если и steps и max_steps не являются None. |
ValueError | Если либо steps или max_steps <= 0. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/compat/v1/estimator/BaselineEstimator