Spec-Zone.ru › TensorFlow 1.15

tf.estimator.BaselineEstimator

Просмотреть исходный код на GitHub

Оцениватель, способный установить простой базовый показатель.

Наследуется от: Estimator

Просмотр псевдонимов

Псевдонимы совместимости для миграции

См. Руководство по миграции для получения дополнительной информации.

tf.compat.v1.estimator.BaselineEstimator

tf.estimator.BaselineEstimator(
    head, model_dir=None, optimizer='Ftrl', config=None
)

Оцениватель использует указанную пользователем головку.

Этот оцениватель игнорирует значения признаков и будет обучаться предсказывать среднее значение каждого метки. Например, для задач классификации с одной меткой это будет предсказывать распределение вероятностей классов, как видно в метках. Для задач классификации с несколькими метками это будет предсказывать отношение примеров, содержащих каждый класс.

Пример:

# Build baseline multi-label classifier.
estimator = BaselineEstimator(
    head=tf.contrib.estimator.multi_label_head(n_classes=3))

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
estimator.train(input_fn=input_fn_train)

# Evaluates cross entropy between the test and train labels.
loss = estimator.evaluate(input_fn=input_fn_eval)["loss"]

# For each class, predicts the ratio of training examples that contain the
# class.
predictions = estimator.predict(new_samples)

Ввод train и evaluate должен иметь следующие признаки, в противном случае произойдёт KeyError:

  • Если weight_column указано в конструкторе head (и не равно None) для головки, переданной в конструктор BaselineEstimator, признак с key=weight_column, значение которого является Tensor.
Аргументы
model_fn Функция модели. Следует структуре:
  • Аргументы:

  • features: Это первый элемент, возвращаемый из input_fn , переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа.

  • labels: Это второй элемент, возвращаемый из input_fn , переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа (для моделей с несколькими головками). Если режим tf.estimator.ModeKeys.PREDICT, будет передан labels=None. Если подпись model_fn не принимает mode, model_fn всё равно должен уметь обрабатывать labels=None.

  • mode: Необязательно. Указывает, это обучение, оценка или предсказание. См. tf.estimator.ModeKeys.

  • params: Необязательные dict гиперпараметров. Получит то, что передано в params параметр Оценивателя. Это позволяет настраивать Оцениватели на основе настройки гиперпараметров.

  • config: Необязательный объект estimator.RunConfig. Получит то, что передано в Оцениватель как его config параметр, или значение по умолчанию. Позволяет настраивать вещи в вашей model_fn на основе конфигурации, такой как num_ps_replicas, или model_dir.

  • Возвращает: tf.estimator.EstimatorSpec

model_dir Каталог для сохранения параметров модели, графика и т. д. Его также можно использовать для загрузки контрольных точек из каталога в оцениватель для продолжения обучения ранее сохранённой модели. Если PathLike объект, путь будет разрешён. Если None, model_dir в config будет использоваться, если задан. Если оба установлены, они должны быть одинаковы. Если оба None, будет использоваться временный каталог.
config Объект конфигурации estimator.RunConfig.
params dict гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для начальной загрузки, или объект tf.estimator.WarmStartSettings для полной настройки начальной загрузки.

Если None, будут загружены только переменные TRAINABLE.

Если указан строковый путь вместо объекта tf.estimator.WarmStartSettings, все переменные будут загружены, и предполагается, что словари и имена tf.Tensor не изменены.

Исключения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызывается через подкласс, и если этот класс переопределяет член Estimator.
Атрибуты
config
model_dir
model_fn Возвращает model_fn , привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда выгружаются метрики оценки.

Аргументы
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, таких как на обучающих данных и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Строка, представляющая путь к каталогу, содержащему метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Выполняет оценку модели на основе данных оценки input_fn.

На каждом шаге вызывается input_fn, которое возвращает одну порцию данных. Процесс оценки продолжается до:

  • steps порций обработаны, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создаёт входные данные для оценки. См. Предопределённые Оцениватели для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов: * Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже. * Кортеж (features, labels): где features — tf.Tensor или словарь с именем признака в виде строки до Tensor, а labels — Tensor или словарь с именем метки в виде строки до Tensor. И features и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Число шагов для оценки модели. Если None, оценка продолжается до input_fn возникновения исключения конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратного вызова во время вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если в model_dir нет контрольных точек, оценка выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки.
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, таких как на обучающих данных и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn по имени, а также запись global_step , содержащую значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценивателей словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean.
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения функций и меток Tensor. Затем, этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих функций и меток, и восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одной группой переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, каталог экспорта с отметкой времени находится ниже export_dir_base, и в нём записывается SavedModel с tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в словаре export_outputs, возвращённом model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться, если запрос на обработку не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные — всегда входными приёмниками, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и предсказания включаются в SignatureDef для данного режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь исходного файла, подлежащего копированию. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь сопоставлений tf.estimator.ModeKeys с input_receiver_fn, где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None, если дополнительные ресурсы не нужны.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
Возвращаемые значения
Строковый путь к каталогу экспорта.
Исключения
ValueError если какой-либо input_receiver_fn является None, нет export_outputs, или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу инференции как SavedModel в указанный каталог.

Подробное руководство см. в Использование SavedModel с Estimators.

Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn для получения функций Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих функций. Он восстанавливает указанный контрольный пункт (или, если его нет, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает в него SavedModel, содержащий единственный tf.MetaGraphDef, сохранённый из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в словаре export_outputs, возвращённом model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться, если запрос на обработку не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные — всегда входными приёмниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь исходного файла, подлежащего копированию. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельной графы обучения/оценки/предсказания как SavedModel. Полные документы см. в experimental_export_all_saved_models.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее режим экспорта. Обратите внимание, что эта функция находится в стадии разработки.
Возвращаемые значения
Строковый путь к каталогу экспорта.
Исключения
ValueError если не указан serving_input_receiver_fn, нет export_outputs или не найден контрольный пункт.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует графу инференции как SavedModel в указанный каталог. (устарело)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Переименуйте функцию на export_saved_model.

Подробное руководство см. в Использование SavedModel с Estimators.

Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn для получения функций Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих функций. Он восстанавливает указанный контрольный пункт (или, если его нет, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает в него SavedModel, содержащий единственный tf.MetaGraphDef, сохранённый из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в словаре export_outputs, возвращённом model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться, если запрос на обработку не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные — всегда входными приёмниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь исходного файла, подлежащего копированию. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию для создания временных поддиректорий с отметками времени, содержащими экспортированные SavedModels.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются.
as_text Флаг, указывающий, нужно ли записать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя найденная контрольная точка в директории модели.
strip_default_attrs Логический. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Для подробного руководства см. Удаление атрибутов со значениями по умолчанию.
Возвращаемое значение
Строковый путь к экспортированной директории.
Исключения
ValueError если не предоставлена serving_input_receiver_fn, не предоставлены export_outputs, или контрольная точка не найдена.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если Estimator ещё не создала контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по заданному имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy — значение тензора.
Исключения
ValueError Если Estimator ещё не создала контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что интерливирование двух выходов predict не работает. См.: issue/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Premade Estimators для получения дополнительной информации. Функция должна сконструировать и вернуть один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны удовлетворять тем же ограничениям, что и ниже.
  • Признаки: tf.Tensor или словарь имени признака (строка) к Tensor. Признаки потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
  • Кортеж, в этом случае извлекается первый элемент как признаки.
predict_keys Список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к определённой контрольной точке для предсказания. Если model_dir, используется последняя контрольная точка в model_dir . Если контрольных точек в model_dir нет, предсказание выполняется с только что инициализированными Variables вместо тех, которые восстанавливаются из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn вместо декомпозиции партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, у которых первая размерность не равна размеру партии.

data-text="Yields:" id="yields" tabindex="0">Возвращает:

Оценённые значения тензоров predictions.

Исключения
ValueError Если длина партии предсказаний не совпадает, и yield_single_examples равно True.
ValueError Если существует конфликт между predict_keys и predictions. Например, если predict_keys не равно None , но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием данных обучения input_fn.

Аргументы
input_fn Функция, которая предоставляет данные для обучения в виде мини-пакетов. См. Premade Estimators для получения дополнительной информации. Функция должна сконструировать и вернуть один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features является tf.Tensor или словарем имени признака (строка) к Tensor, а labels является Tensor или словарем имени метки (строка) к Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
hooks Список подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов, для которых нужно обучить модель. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности 20 шагами. Если OutOfRange или StopIteration произойдёт посредине, обучение остановится до 20 шагов. Если вы не хотите иметь инкрементальное поведение, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт посредине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners Список CheckpointSaverListener объектов. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольной точки.
Возвращаемое значение
self, для цепочки вызовов.
Возбуждает
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/estimator/BaselineEstimator

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API