Spec-Zone.ru › TensorFlow 2.4

tf.compat.v1.estimator.BaselineClassifier

Классификатор, который может установить простую базу.

Наследуется от: Estimator

tf.compat.v1.estimator.BaselineClassifier(
    model_dir=None, n_classes=2, weight_column=None, label_vocabulary=None,
    optimizer='Ftrl', config=None,
    loss_reduction=tf.compat.v1.losses.Reduction.SUM
)

Этот классификатор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Для задач с одной меткой он будет предсказывать распределение вероятностей по классам, как видно в метках. Для задач с множественной меткой он будет предсказывать долю примеров, которые являются положительными для каждого класса.

Пример:

# Build BaselineClassifier
classifier = tf.estimator.BaselineClassifier(n_classes=3)

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
classifier.train(input_fn=input_fn_train)

# Evaluate cross entropy between the test and train labels.
loss = classifier.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the probability distribution of the classes as seen in
# training.
predictions = classifier.predict(new_samples)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:

  • если weight_column не None, признак с key=weight_column, значение которого является Tensor.
Аргументы
model_fn Функция модели. Следует структуре:
  • features -- Это первый элемент, возвращаемый из input_fn , переданного в train, evaluate, и predict. Это должен быть единственный tf.Tensor или dict того же типа.
  • labels -- Это второй элемент, возвращаемый из input_fn , переданного в train, evaluate, и predict. Это должен быть единственный tf.Tensor или dict того же типа (для моделей с несколькими головками). Если режим tf.estimator.ModeKeys.PREDICT, будет передан labels=None. Если сигнатура model_fn не принимает mode, model_fn должна по-прежнему уметь обрабатывать labels=None.
  • mode -- Необязательно. Указывает, является ли это обучение, оценка или прогнозирование. См. tf.estimator.ModeKeys. params -- Необязательные dict гиперпараметров. Получит то, что передается в Estimator в параметре params. Это позволяет настраивать Estimator с помощью настройки гиперпараметров.
  • config -- Необязательный объект estimator.RunConfig. Получит то, что передается в Estimator как параметр config, или значение по умолчанию. Позволяет настраивать элементы model_fn на основе настроек, таких как num_ps_replicas, или model_dir.
  • Возвращает -- tf.estimator.EstimatorSpec
model_dir Каталог для сохранения параметров модели, графа и т.д. Это также можно использовать для загрузки контрольных точек из каталога в оценочный модуль для продолжения обучения ранее сохраненной модели. Если PathLike объект, путь будет разрешен. Если None, будет использоваться model_dir в config, если задан. Если оба установлены, они должны быть одинаковыми. Если оба None, будет использован временный каталог.
config Объект конфигурации estimator.RunConfig.
params Набор гиперпараметров, который будет передан в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для теплового запуска, или объект tf.estimator.WarmStartSettings для полной настройки теплового запуска. Если None, только переменные TRAINABLE запускаются с теплым стартом. Если указан строковый путь вместо tf.estimator.WarmStartSettings, тогда все переменные запускаются с теплым стартом, и предполагается, что словари и имена tf.Tensor не изменены.
Исключения
ValueError параметры model_fn не совпадают с params.
ValueError если это вызывается через подкласс и если этот класс переопределяет член Estimator.

Совместимость с Eager

Оценочные модули могут использоваться при включенном выполнении Eager. Обратите внимание, что input_fn и все обработчики выполняются в контексте графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что код input_fn , использующий tf.data, как правило, работает в режимах графа и Eager.

Атрибуты
config
model_dir
model_fn Возвращает model_fn, который привязан к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда записываются метрики оценки.

Аргументы
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, таких как на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Строка, являющаяся путем к каталогу, содержащему метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

На каждом шаге вызывает input_fn, который возвращает одну партию данных. Оценка выполняется до:

  • steps партий обработаны, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создает входные данные для оценки. См. Предопределенные оценочные модули для получения дополнительной информации. Функция должна создать и вернуть один из следующих вариантов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имени признака в строке к Tensor, а labels — Tensor или словарем имени метки в строке к Tensor. Оба features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
steps Количество шагов, на которых оценивается модель. Если None, оценка продолжается до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к определенной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированными Variables вместо восстановленных из контрольной точки.
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, таких как на обучающих и тестовых данных. Метрики для различных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с ключом имени, а также запись global_step, содержащую значение глобального шага, для которого была выполнена эта оценка. Для готовых оценочных модулей словарь содержит loss (средняя потеря на мини-парттию) и average_loss (средняя потеря на образец). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в графу. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и записывается SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания, экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет обслуживаться, если запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приёмниками, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потеря, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь соответствий tf.estimator.ModeKeys к input_receiver_fn отображениям, где input_receiver_fn — функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны.
as_text флаг, указывающий, нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
Returns
Путь к каталогу экспорта в виде объекта байтов.
Raises
ValueError если какой-либо input_receiver_fn имеет значение None, нет export_outputs или не найден контрольный пункт.

export_saved_model

Посмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу инференции как SavedModel в заданный каталог.

Для подробного руководства см. SavedModel от Estimators.

Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет обслуживаться, если запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приёмниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельной обучающей/оценочной/предсказательной графы в качестве SavedModel. См. experimental_export_all_saved_models для полной документации.

Args
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
experimental_mode значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии разработки.
Returns
Путь к каталогу экспорта в виде объекта байтов.
Raises
ValueError если не указан serving_input_receiver_fn, нет export_outputs или не найден контрольный пункт.

export_savedmodel

Посмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует графу инференции как SavedModel в заданный каталог. (устарело)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Эта функция была переименована, используйте export_saved_model вместо неё.

Для подробного руководства см. SavedModel от Estimators.

Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет обслуживаться, если запрос на обслуживание не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приёмниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию для создания поддиректорий с отметками времени, содержащих экспортированные SavedModels.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra экспортированной SavedModel, или None если дополнительные ресурсы не нужны.
as_text Флаг, указывающий, нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в директории модели.
strip_default_attrs Логическое значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Более подробное руководство см. в Удаление атрибутов со значениями по умолчанию.
Возвращает
Путь к экспортированной директории в виде объекта байтов.
Возбуждает исключения
ValueError если не указана serving_input_receiver_fn, не указаны export_outputs, или контрольная точка не найдена.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имен переменных в этой модели.

Возвращает
Список имён.
Возбуждает исключения
ValueError Если Estimator ещё не создал контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name строка или список строк, имя тензора.
Возвращает
Массив NumPy - значение тензора.
Возбуждает исключения
ValueError Если Estimator ещё не создал контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращает
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что перекрытие двух выходов predict не работает. См.: вопрос/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказания продолжаются до тех пор, пока input_fn не вызовет исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). См. Предопределённые оценщики для получения дополнительной информации. Функция должна создать и вернуть одно из следующих:
  • tf.data.Dataset объект — Выходы объекта Dataset должны удовлетворять тем же ограничениям, что и ниже.
  • признаки — tf.Tensor или словарь имени признака (строка) к Tensor. Признаки потребляются model_fn. Они должны удовлетворять ожиданию model_fn от входов.
  • Кортеж, в этом случае извлекается первый элемент в качестве признаков.
predict_keys Список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, то остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к определенной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, предсказание выполняется с недавно инициализированными Variables вместо тех, которые восстановлены из контрольной точки.
yield_single_examples Если False, возвращает весь пакет, возвращенный model_fn вместо разложения пакета на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру пакета.
Возвращает
Вычисленные значения predictions тензоров.
Возбуждает исключения
ValueError Если длина пакета предсказаний не совпадает, и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет обучающие данные в виде мини-пакетов. См. Предопределённые оценщики для получения дополнительной информации. Функция должна создать и вернуть одно из следующих:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь имени признака (строка) к Tensor, а labels — Tensor или словарь имени метки (строка) к Tensor. Оба features и labels потребляются model_fn. Они должны удовлетворять ожиданию model_fn от входов.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) два раза, то общее количество шагов обучения составит 20. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит никаких итераций, так как первый вызов выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, выполняемых непосредственно перед или после сохранения контрольной точки.
Возвращает
self, для цепочки вызовов.
Вызывает
ValueError Если и steps и max_steps не являются None.
ValueError Если либо steps или max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/compat/v1/estimator/BaselineClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API