tf.compat.v1.estimator.BaselineClassifier
Классификатор, который может установить простую базу.
Наследуется от: Estimator
tf.compat.v1.estimator.BaselineClassifier(
model_dir=None, n_classes=2, weight_column=None, label_vocabulary=None,
optimizer='Ftrl', config=None, loss_reduction=tf.compat.v1.losses.Reduction.SUM
)
Этот классификатор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Для задач с одной меткой это будет предсказывать распределение вероятностей классов, как видно из меток. Для задач с множественными метками это будет предсказывать долю примеров, которые являются положительными для каждого класса.
Пример:
# Build BaselineClassifier classifier = tf.estimator.BaselineClassifier(n_classes=3) # Input builders def input_fn_train: # Returns tf.data.Dataset of (x, y) tuple where y represents label's class # index. pass def input_fn_eval: # Returns tf.data.Dataset of (x, y) tuple where y represents label's class # index. pass # Fit model. classifier.train(input_fn=input_fn_train) # Evaluate cross entropy between the test and train labels. loss = classifier.evaluate(input_fn=input_fn_eval)["loss"] # predict outputs the probability distribution of the classes as seen in # training. predictions = classifier.predict(new_samples)
Вход train и evaluate должен иметь следующие признаки, в противном случае возникнет KeyError:
- если
weight_columnнеNone, признак сkey=weight_column, значение которого являетсяTensor.
| Аргументы | |
|---|---|
model_fn | Функция модели. Следует подписи:
|
model_dir | Каталог для сохранения параметров модели, графика и т. д. Это также можно использовать для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохраненной модели. Если PathLike объект, путь будет разрешен. Если None, model_dir в config будет использован, если задан. Если оба установлены, они должны быть одинаковыми. Если оба None, будет использован временный каталог. |
config | estimator.RunConfig объект конфигурации. |
params | dict гиперпараметров, которые будут переданы в model_fn. Ключи - это имена параметров, значения - базовые типы Python. |
warm_start_from | Необязательный строковый путь к контрольной точке или SavedModel для запуска от, или tf.estimator.WarmStartSettings объект для полной настройки теплого старта. Если None, только TRAINABLE переменные запускаются от теплого старта. Если предоставляется строковый путь вместо tf.estimator.WarmStartSettings, все переменные запускаются от теплого старта, и предполагается, что словари и tf.Tensor имена не изменяются. |
| Возможные исключения | |
|---|---|
ValueError | параметры model_fn не соответствуют params. |
ValueError | если это вызывается через подкласс, и если этот класс переопределяет член Estimator. |
Совместимость с Eager
Оценщики могут использоваться при включенном eager выполнении. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что код input_fn с использованием tf.data обычно работает в режимах графа и eager.
| Атрибуты | |
|---|---|
config | |
model_dir | |
model_fn | Возвращает model_fn, который привязан к self.params. |
params | |
Методы
eval_dir
eval_dir(
name=None
)
Показывает имя каталога, куда выгружаются метрики оценки.
| Аргументы | |
|---|---|
name | Название оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard. |
| Возвращает | |
|---|---|
| Строка, являющаяся путем к каталогу, содержащему метрики оценки. |
evaluate
evaluate(
input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)
Оценивает модель, используя данные оценки input_fn.
На каждой итерации вызывает input_fn, которая возвращает одну партию данных. Оценивает, пока:
-
stepsпартий обработаны, или -
input_fnгенерирует исключение конца ввода (tf.errors.OutOfRangeErrorилиStopIteration).
| Аргументы | |
|---|---|
input_fn | Функция, которая строит входные данные для оценки. См. Предопределенные оценщики для получения дополнительной информации. Функция должна строить и возвращать один из следующих объектов:
|
steps | Количество шагов оценки модели. Если None, оценивает, пока input_fn не генерирует исключение конца ввода. |
hooks | Список tf.train.SessionRunHook подклассов. Используется для обратных вызовов внутри вызова оценки. |
checkpoint_path | Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с новыми инициализированными Variables вместо восстановленных из контрольной точки. |
name | Название оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard. |
| Возвращает | |
|---|---|
Словарь, содержащий метрики оценки, указанные в model_fn с ключом по имени, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предопределенных оценщиков словарь содержит loss (средняя потеря за мини-пакет) и average_loss (средняя потеря за образец). Предопределенные классификаторы также возвращают accuracy. Предопределенные регрессоры также возвращают label/mean и prediction/mean. |
| Возможные исключения | |
|---|---|
ValueError | Если steps <= 0. |
experimental_export_all_saved_models
experimental_export_all_saved_models(
export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
checkpoint_path=None
)
Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.
Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn, чтобы получить признаки и метки Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме, чтобы сгенерировать графу модели на основе этих признаков и меток, и восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.
Для переменных и tf.MetaGraphDefs, каталог экспорта с отметкой времени расположен ниже export_dir_base, и записывает SavedModel в него, содержащий tf.MetaGraphDef для заданного режима и его связанных сигнатур.
Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в словаре export_outputs, возвращённом model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована, если в запросе об обслуживании не указана сигнатура. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются входными приёмниками, предоставленными serving_input_receiver_fn.
Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь к файлу-источнику, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Аргументы | |
|---|---|
export_dir_base | Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels. |
input_receiver_fn_map | Словарь сопоставлений tf.estimator.ModeKeys к input_receiver_fn отображениям, где input_receiver_fn - это функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver. |
assets_extra | Словарь, указывающий, как заполнить каталог assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны. |
as_text | нужно ли записать прото SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели. |
| Возвращает | |
|---|---|
| Путь к каталогу экспорта в виде объекта байтов. |
| Возбуждает | |
|---|---|
ValueError | если какой-либо input_receiver_fn является None, нет export_outputs, или контрольный пункт не найден. |
export_saved_model
export_saved_model(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)
Экспортирует графу вывода как SavedModel в заданный каталог.
Для подробного руководства см. SavedModel от Estimators.
Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel , содержащую одну tf.MetaGraphDef сохранённую из этой сессии.
Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в словаре export_outputs возвращённом model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована, если запрос обслуживания не указывает сигнатуру. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приёмниками, предоставленными serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь к файлу-источнику, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Параметр experimental_mode может быть использован для экспорта одной графы обучения/оценки/предсказания как SavedModel. Смотрите experimental_export_all_saved_models для полной документации.
| Аргументы | |
|---|---|
export_dir_base | Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels. |
serving_input_receiver_fn | Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, указывающий, как заполнить каталог assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны. |
as_text | нужно ли записать прото SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели. |
experimental_mode | Значение tf.estimator.ModeKeys , указывающее режим экспорта. Обратите внимание, что эта функция экспериментальная. |
| Возвращает | |
|---|---|
| Путь к каталогу экспорта в виде объекта байтов. |
| Возбуждает | |
|---|---|
ValueError | если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs, или контрольный пункт не найден. |
export_savedmodel
export_savedmodel(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, strip_default_attrs=False
)
Экспортирует графу вывода как SavedModel в заданный каталог. (устарело)
Для подробного руководства см. SavedModel от Estimators.
Этот метод сначала вызывает serving_input_receiver_fn для получения признаков Tensor, а затем вызывает Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel , содержащую одну tf.MetaGraphDef сохранённую из этой сессии.
Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в словаре export_outputs возвращённом model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована, если запрос обслуживания не указывает сигнатуру. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приёмниками, предоставленными serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь к файлу-источнику, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Аргументы | |
|---|---|
export_dir_base | Строка, содержащая директорию для создания временных поддиректорий с отметками времени, содержащих экспортированные SavedModelы. |
serving_input_receiver_fn | Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не нужны. |
as_text | Флаг записи прото SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя найденная контрольная точка в каталоге модели. |
strip_default_attrs | Логическое значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDef. Подробное руководство см. в Удалении атрибутов с значениями по умолчанию. |
| Возвращаемое значение | |
|---|---|
| Путь к экспортированной директории в виде объекта типа bytes. |
| Исключения | |
|---|---|
ValueError | Если не задан serving_input_receiver_fn, не заданы export_outputs, или контрольная точка не найдена. |
get_variable_names
get_variable_names()
Возвращает список всех имён переменных в этой модели.
| Возвращаемое значение | |
|---|---|
| Список имён. |
| Исключения | |
|---|---|
ValueError | Если модель ещё не сохранила контрольную точку. |
get_variable_value
get_variable_value(
name
)
Возвращает значение переменной по имени.
| Аргументы | |
|---|---|
name | Строка или список строк, имя тензора. |
| Возвращаемое значение | |
|---|---|
| Массив NumPy — значение тензора. |
| Исключения | |
|---|---|
ValueError | Если модель ещё не сохранила контрольную точку. |
latest_checkpoint
latest_checkpoint()
Находит имя файла последней сохранённой контрольной точки в model_dir.
| Возвращаемое значение | |
|---|---|
Полный путь к последней контрольной точке или None если контрольная точка не найдена. |
predict
predict(
input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
yield_single_examples=True
)
Возвращает прогнозы для заданных признаков.
Обратите внимание, что интерлейинг двух выходов predict не работает. См.: проблема/20506
| Аргументы | |
|---|---|
input_fn | Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предварительно изготовленные оценщики для получения дополнительной информации. Функция должна создать и вернуть одно из следующего:
|
predict_keys | Список str , имён ключей для прогнозирования. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальные прогнозы из словаря будут отфильтрованы. Если None, возвращаются все. |
hooks | Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова предсказания. |
checkpoint_path | Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir . Если контрольных точек в model_dir нет, предсказание выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки. |
yield_single_examples | Если False, возвращает всю партию, как возвращается model_fn вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии. |
Возвращаемое значение:
Вычисленные значения тензоров predictions.
| Исключения | |
|---|---|
ValueError | Если длина партии прогнозов не одинаковая и yield_single_examples равна True. |
ValueError | Если есть конфликт между predict_keys и predictions. Например, если predict_keys не None , но tf.estimator.EstimatorSpec.predictions не dict. |
train
train(
input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)
Обучает модель с использованием обучающих данных input_fn.
| Аргументы | |
|---|---|
input_fn | Функция, которая предоставляет обучающие данные в виде мини-пакетов. См. Предварительно изготовленные оценщики для получения дополнительной информации. Функция должна создать и вернуть одно из следующего:
|
hooks | Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри цикла обучения. |
steps | Количество шагов обучения модели. Если None, обучайте бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration . steps работает инкрементально. Если вы вызываете дважды train(steps=10) , обучение выполняется в общей сложности 20 шагов. Если OutOfRange или StopIteration происходит в середине, обучение прекращается до 20 шагов. Если вы не хотите иметь инкрементальное поведение, установите max_steps вместо него. Если задано, max_steps должно быть None. |
max_steps | Общее количество шагов обучения модели. Если None, обучайте бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration . Если задано, steps должно быть None. Если OutOfRange или StopIteration происходит в середине, обучение прекращается до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит никаких итераций, так как первый вызов выполнил все 100 шагов. |
saving_listeners | Список объектов CheckpointSaverListener . Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольной точки. |
| Возвращаемое значение | |
|---|---|
self, для цепочки вызовов. |
| Вызывает | |
|---|---|
ValueError | Если и steps и max_steps не являются None. |
ValueError | Если либо steps или max_steps <= 0. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/compat/v1/estimator/BaselineClassifier