Spec-Zone.ru › TensorFlow 2.3

tf.compat.v1.estimator.BaselineEstimator

Оценщик, позволяющий установить простой базовый уровень.

Наследуется от: Estimator

tf.compat.v1.estimator.BaselineEstimator(
    head, model_dir=None, optimizer='Ftrl', config=None
)

Оценщик использует указанный пользователем заголовок.

Этот оценщик игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Например, для задач классификации с одной меткой это будет предсказывать распределение вероятностей классов, как видно из меток. Для задач классификации с несколькими метками это будет предсказывать отношение примеров, содержащих каждый класс.

Пример:

# Build baseline multi-label classifier.
estimator = tf.estimator.BaselineEstimator(
    head=tf.estimator.MultiLabelHead(n_classes=3))

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
estimator.train(input_fn=input_fn_train)

# Evaluates cross entropy between the test and train labels.
loss = estimator.evaluate(input_fn=input_fn_eval)["loss"]

# For each class, predicts the ratio of training examples that contain the
# class.
predictions = estimator.predict(new_samples)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column указан в конструкторе head (и не равен None) для заголовка, переданного в конструктор BaselineEstimator, признак с именем key=weight_column, значение которого является Tensor.
Аргументы
model_fn Функция модели. Следует структуре:
  • features -- Это первый элемент, возвращаемый из input_fn , переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа.
  • labels -- Это второй элемент, возвращаемый из input_fn , переданного в train, evaluate, и predict. Это должен быть один tf.Tensor или dict того же типа (для моделей с несколькими заголовками). Если режим tf.estimator.ModeKeys.PREDICT, labels=None будет передан. Если сигнатура model_fn не принимает mode, то model_fn должна уметь обрабатывать labels=None.
  • mode -- Необязательно. Указывает, является ли это обучение, оценка или предсказание. См. tf.estimator.ModeKeys. params -- Необязательные dict гиперпараметров. Получит то, что передано в params параметр оценщика. Это позволяет настраивать оценщики из гиперпараметров подбора.
  • config -- Необязательный объект estimator.RunConfig. Получит то, что передано в оценщик в качестве параметра config, или значение по умолчанию. Позволяет настроить параметры в вашем model_fn на основе конфигурации, такой как num_ps_replicas, или model_dir.
  • Возвращает -- tf.estimator.EstimatorSpec
model_dir Директория для сохранения параметров модели, графика и т.д. Это также может быть использовано для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохранённой модели. Если PathLike объект, путь будет решен. Если None, модель_dir в config будет использоваться, если задан. Если оба заданы, они должны совпадать. Если оба None, будет использоваться временная директория.
config Объект конфигурации estimator.RunConfig.
params Набор гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для инициализации, или объект tf.estimator.WarmStartSettings для полной настройки. Если None, инициализируются только переменные TRAINABLE. Если предоставлен строковый путь вместо tf.estimator.WarmStartSettings, то все переменные инициализируются, и предполагается, что словари и имена tf.Tensor не изменялись.
Исключения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызывается через подкласс и если этот подкласс переопределяет член Estimator.
Атрибуты
config
model_dir
model_fn Возвращает model_fn , привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя директории, куда сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, таких как на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Строка, представляющая путь к директории, содержащей метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

На каждом шаге вызывается input_fn, которая возвращает одну партию данных. Оценка выполняется до:

  • steps партий обработаны, или
  • input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, создающая входные данные для оценки. См. Предопределенные оценщики для получения дополнительной информации. Функция должна создать и вернуть один из следующих:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь из имени признака-строки к Tensor, и labels — Tensor или словарь из имени метки-строки к Tensor. Оба features и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество шагов, на которых оценивается модель. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к определенной контрольной точке для оценки. Если None, используется самая последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с недавно инициализированными Variables вместо восстановленных из контрольной точки.
name Имя оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, таких как на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, содержащую значение глобального шага, для которого была выполнена эта оценка. Для предопределенных оценщиков словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Предопределенные классификаторы также возвращают accuracy. Предопределенные регрессоры также возвращают label/mean и prediction/mean.
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного в input_receiver_fn_map, этот метод создаёт новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator в переданном режиме для генерации графика модели на основе этих признаков и меток, и восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одной директории SavedModel.

Для переменных и tf.MetaGraphDefs, директория экспорта с отметкой времени ниже export_dir_base, и записывает SavedModel в неё, содержащую tf.MetaGraphDef для данного режима и его связанных подписей.

Для предсказания, экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если запрос на предоставление не указывает подпись. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и прогнозы включены в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь к назначению (включая имя файла) относительно директории assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая директорию, в которой нужно создать поддиректории с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь соответствий от tf.estimator.ModeKeys к input_receiver_fn, где input_receiver_fn — функция, не принимающая аргументы и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
Returns
Путь к экспортированной директории как объект типа bytes.
Raises
ValueError если какой-либо input_receiver_fn имеет значение None, нет export_outputs или не найдена контрольная точка.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в указанную директорию.

Для подробного руководства см. SavedModel от Estimators.

Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, в противном случае, последнюю контрольную точку) в этом графике в новой сессии. Наконец, он создаёт директорию экспорта с отметкой времени ниже указанной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если запрос на предоставление не указывает подпись. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode можно использовать для экспорта одного графика обучения/оценки/предсказания в качестве SavedModel. Смотрите experimental_export_all_saved_models для полной документации.

Args
export_dir_base Строка, содержащая директорию, в которой нужно создать поддиректории с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальная.
Returns
Путь к экспортированной директории как объект типа bytes.
Raises
ValueError если не указан serving_input_receiver_fn, нет export_outputs или не найдена контрольная точка.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует график вывода как SavedModel в указанную директорию. (устарело)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: переименуйте эту функцию, используйте export_saved_model вместо неё.

Для подробного руководства см. SavedModel от Estimators.

Этот метод строит новый график, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, в противном случае, последнюю контрольную точку) в этом графике в новой сессии. Наконец, он создаёт директорию экспорта с отметкой времени ниже указанной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если запрос на предоставление не указывает подпись. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая директорию, в которой нужно создать поддиректории с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Для подробного руководства см. Удаление атрибутов со значениями по умолчанию.
Returns
Путь к экспортированной директории как объект типа bytes.
Возвращает исключение
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден контрольный пункт.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращает
Список имён.
Возвращает исключение
ValueError если Estimator ещё не создал контрольный пункт.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной именем.

Аргументы
name строка или список строк, имя тензора.
Возвращает
Массив NumPy - значение тензора.
Возвращает исключение
ValueError если Estimator ещё не создал контрольный пункт.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохранённого контрольного пункта в model_dir.

Возвращает
Полный путь к последнему контрольному пункту или None, если контрольный пункт не найден.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает прогнозы для заданных признаков.

Обратите внимание, что перекрестное чередование двух результатов предсказания не работает. См.: issue/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
  • tf.data.Dataset объект - выходы Dataset объекта должны иметь те же ограничения, что и ниже.
  • признаки - tf.Tensor или словарь, где ключ - имя признака типа строка, а значение - Tensor. признаки потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
  • Кортеж, в котором в качестве признаков извлекается первый элемент.
predict_keys список str, имя ключей для прогноза. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, будут возвращены все прогнозы. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретному контрольному пункту для прогнозирования. Если None, используется последний контрольный пункт в model_dir. Если контрольных пунктов в model_dir нет, прогнозирование выполняется с недавно инициализированными Variables вместо восстановленных из контрольного пункта.
yield_single_examples Если False, возвращает всю партию, как возвращается model_fn, вместо разложения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, у которых первая размерность не равна размеру партии.

Возвращает:

Оценённые значения predictions тензоров.

Возвращает исключение
ValueError если длина партии прогнозов не совпадает, и yield_single_examples является True.
ValueError если существует конфликт между predict_keys и predictions. Например, если predict_keys не None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет обучающие данные в виде мини-пакетов. См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
  • Объект tf.data.Dataset: Выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features - tf.Tensor или словарь, где ключи - имена признаков типа строка, а значения - Tensor, а labels - Tensor или словарь, где ключи - имена меток типа строка, а значения - Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементно. Если вы вызываете train(steps=10) дважды, обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите иметь инкрементное поведение, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners список CheckpointSaverListener объектов. Используется для обратных вызовов, которые запускаются непосредственно перед или после сохранения контрольных пунктов.
Возвращает
self, для цепочки вызовов.
Возвращает исключение
ValueError если как steps, так и max_steps не None.
ValueError если либо steps, либо max_steps <= 0 произошли.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/compat/v1/estimator/BaselineEstimator

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API