Spec-Zone.ru › TensorFlow 2.4

tf.compat.v1.estimator.BaselineEstimator

Оценщик, который может установить простую базу.

Наследуется от: Estimator

tf.compat.v1.estimator.BaselineEstimator(
    head, model_dir=None, optimizer='Ftrl', config=None
)

Оценщик использует заданный пользователем head.

Этот оценщик игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Например, для задач классификации с одной меткой это будет предсказывать распределение вероятностей классов, как это видно в метках. Для задач классификации с множественными метками это будет предсказывать отношение примеров, содержащих каждый класс.

Пример:

# Build baseline multi-label classifier.
estimator = tf.estimator.BaselineEstimator(
    head=tf.estimator.MultiLabelHead(n_classes=3))

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
estimator.train(input_fn=input_fn_train)

# Evaluates cross entropy between the test and train labels.
loss = estimator.evaluate(input_fn=input_fn_eval)["loss"]

# For each class, predicts the ratio of training examples that contain the
# class.
predictions = estimator.predict(new_samples)

Ввод train и evaluate должен иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column указан в конструкторе head (и не равен None) для head, переданного в конструктор BaselineEstimator, признак с key=weight_column, значение которого является Tensor.
Аргументы
model_fn Функция модели. Следует подписи:
  • features -- Это первый элемент, возвращаемый из input_fn, переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа.
  • labels -- Это второй элемент, возвращаемый из input_fn, переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа (для моделей с несколькими heads). Если режим равен tf.estimator.ModeKeys.PREDICT, будет передан labels=None. Если сигнатура model_fn не принимает mode, model_fn должен уметь обрабатывать labels=None.
  • mode -- Необязательно. Указывает, это обучение, оценка или прогнозирование. См. tf.estimator.ModeKeys. params -- Необязательные dict гиперпараметров. Получит то, что передано в Estimator в параметре params. Это позволяет настраивать Estimators по гиперпараметрам.
  • config -- Необязательный объект estimator.RunConfig. Получит то, что передано в Estimator как параметр config, или значение по умолчанию. Позволяет настроить ваши model_fn на основе настроек, таких как num_ps_replicas, или model_dir.
  • Возвращает -- tf.estimator.EstimatorSpec
model_dir Каталог для сохранения параметров модели, графика и т. д. Это также можно использовать для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохраненной модели. Если объект PathLike, путь будет разрешен. Если None, model_dir в config будет использоваться, если задан. Если оба установлены, они должны быть одинаковыми. Если оба None, будет использован временный каталог.
config Объект конфигурации estimator.RunConfig.
params dict гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для предварительной загрузки или объект tf.estimator.WarmStartSettings для полной настройки предварительной загрузки. Если None, только TRAINABLE переменные предварительно загружаются. Если указан строковый путь вместо объекта tf.estimator.WarmStartSettings, то все переменные предварительно загружаются, и предполагается, что словари и имена tf.Tensor не изменены.
Возможные исключения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызывается через подкласс и если этот подкласс переопределяет член Estimator.
Атрибуты
config
model_dir
model_fn Возвращает model_fn, привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда сохраняются метрики оценки.

Аргументы
name Название оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих данных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Строка, представляющая путь к каталогу, содержащему метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Выполняет оценку модели с использованием данных оценки input_fn.

На каждом шаге вызывается input_fn, который возвращает одну партию данных. Оценка выполняется до тех пор:

  • steps партий обработаны, или
  • input_fn возникает исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция построения входных данных для оценки. См. Предустановленные оценщики для получения дополнительной информации. Функция должна строить и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь с именем признака типа строка к Tensor, а labels — Tensor или словарь с именем метки типа строка к Tensor. Оба features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
steps Число шагов для оценки модели. Если None, оценка выполняется до тех пор, пока input_fn не возникнет исключение конца входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к определенной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с недавно инициализированными Variables вместо восстановленных из контрольной точки.
name Название оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих данных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предустановленных оценщиков словарь содержит loss (средняя потеря на мини-парттию) и average_loss (средняя потеря на образец). Предустановленные классификаторы также возвращают accuracy. Предустановленные регрессоры также возвращают label/mean и prediction/mean .
Возможные исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator's model_fn в указанном режиме для генерации графика модели на основе этих признаков и меток и восстанавливает заданную контрольную точку (или, если ее нет, последнюю контрольную точку) в график. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трех tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, директория экспорта с отметкой времени ниже export_dir_base, и записывает SavedModel в неё, содержащую tf.MetaGraphDef для заданного режима и его связанных сигнатур.

Для прогнозирования экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет обслуживаться, когда запрос на обслуживание не указывает её. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели входных данных, предоставленные serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и прогнозы включаются в SignatureDef для данного режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут создаваться поддиректории с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь соответствий от tf.estimator.ModeKeys к input_receiver_fn , где input_receiver_fn — функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
Возвращаемое значение
Путь к экспортированной директории в виде объекта типа байты.
Исключения
ValueError если любой input_receiver_fn имеет значение None, не предоставлены export_outputs или не найдена контрольная точка.

export_saved_model

Просмотр исходного кода

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график инференса как SavedModel в заданную директорию.

Для подробного руководства см. SavedModel от Estimators.

Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator этого model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю найденную контрольную точку) в этот график в новой сессии. Наконец, он создает временную директорию экспорта ниже заданной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохраненную из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет обслуживаться, когда запрос на обслуживание не указывает ее. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели входных данных, предоставленные serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельного графика обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полной документации.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут создаваться поддиректории с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее режим, который будет экспортирован. Обратите внимание, что эта функция находится в стадии разработки.
Возвращаемое значение
Путь к экспортированной директории в виде объекта типа байты.
Исключения
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найдена контрольная точка.

export_savedmodel

Просмотр исходного кода

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует график инференса как SavedModel в заданную директорию. (устаревшая)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущих версиях. Инструкции по обновлению: Эта функция переименована, используйте export_saved_model вместо неё.

Для подробного руководства см. SavedModel от Estimators.

Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator этого model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю найденную контрольную точку) в этот график в новой сессии. Наконец, он создает временную директорию экспорта ниже заданной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохраненную из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет обслуживаться, когда запрос на обслуживание не указывает ее. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — получатели входных данных, предоставленные serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простым случаем копирования одного файла без переименования является {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут создаваться поддиректории с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Для подробного руководства см. Удаление атрибутов с значениями по умолчанию.
Возвращаемое значение
Путь к экспортированной директории в виде объекта типа байты.
Возбуждает
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs, или не найден контрольный пункт.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращает
Список имён.
Возбуждает
ValueError Если Estimator ещё не создал контрольный пункт.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name строка или список строк, имя тензора.
Возвращает
Массив NumPy - значение тензора.
Возбуждает
ValueError Если Estimator ещё не создал контрольный пункт.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого контрольного пункта в model_dir.

Возвращает
Полный путь к последнему контрольному пункту или None, если контрольный пункт не найден.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходов predict не работает. См.: вопрос/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна строить и возвращать одно из следующих:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать ограничениям, указанным ниже.
  • features — A tf.Tensor или словарь из имен признаков (строки) в Tensor. Признаки потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае первая позиция используется как признаки.
predict_keys список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, то остальные предсказания будут отфильтрованы из словаря. Если не указано, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретному контрольному пункту для предсказания. Если не указан, используется последний контрольный пункт в model_dir. Если в model_dir нет контрольных пунктов, предсказание выполняется с новыми инициализированными Variables вместо восстановленных из контрольного пункта.
yield_single_examples Если False, выводит всю партию как возвращается model_fn вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.
Выдает
Оценённые значения predictions тензоров.
Возбуждает
ValueError Если длина партии предсказаний не одинаковая и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет обучающие данные в виде мини-пакетных данных. См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна строить и возвращать одно из следующих:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features является tf.Tensor или словарем из имен признаков (строки) в Tensor, а labels является Tensor или словарем из имен меток (строки) в Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов, на которых нужно обучить модель. Если не указано, обучается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, то обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, укажите max_steps. Если указано, то max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если не указано, обучается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если указано, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners список CheckpointSaverListener объектов. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных пунктов.
Возвращает
self, для цепочки вызовов.
Возбуждает
ValueError Если и steps и max_steps не являются None.
ValueError Если либо steps или max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/compat/v1/estimator/BaselineEstimator

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API