Spec-Zone.ru › TensorFlow 1.15

tf.compat.v2.estimator.BaselineClassifier

Классификатор, который может установить простую базу.

Наследуется от: Estimator

tf.compat.v2.estimator.BaselineClassifier(
    model_dir=None, n_classes=2, weight_column=None, label_vocabulary=None,
    optimizer='Ftrl', config=None,
    loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE
)

Этот классификатор игнорирует значения признаков и будет учиться предсказывать среднее значение каждого метки. Для задач с одной меткой это будет предсказывать распределение вероятностей классов, как показано в метках. Для задач с несколькими метками это будет предсказывать долю примеров, которые положительны для каждого класса.

Пример:

# Build BaselineClassifier
classifier = BaselineClassifier(n_classes=3)

# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass

# Fit model.
classifier.train(input_fn=input_fn_train)

# Evaluate cross entropy between the test and train labels.
loss = classifier.evaluate(input_fn=input_fn_eval)["loss"]

# predict outputs the probability distribution of the classes as seen in
# training.
predictions = classifier.predict(new_samples)

Вход train и evaluate должен иметь следующие признаки, в противном случае произойдёт KeyError:

  • если weight_column не None, признак с key=weight_column, значение которого является Tensor.
Аргументы
model_dir Каталог для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохранённой модели.
n_classes Количество классов меток. По умолчанию — бинарная классификация. Должно быть больше 1. Примечание: метки классов — целые числа, представляющие индекс класса (т. е. значения от 0 до n_classes-1). Для произвольных значений меток (например, строковых меток) сначала преобразуйте их в индексы классов.
weight_column Строка или _NumericColumn, созданная с помощью tf.feature_column.numeric_column, определяющая столбец признака, представляющий веса. Он будет умножаться на потерю примера.
label_vocabulary Необязательный список строк размером [n_classes] , определяющий словарь меток. Поддерживается только для n_classes > 2.
optimizer Строка, объект tf.Optimizer или вызываемый объект, создающий оптимизатор для обучения. Если не указано, будет использоваться FtrlOptimizer с дефолтной скоростью обучения 0,3.
config Объект RunConfig для настройки параметров выполнения.
loss_reduction Один из tf.losses.Reduction, за исключением NONE. Описывает, как уменьшить потерю обучения по пакету. По умолчанию — SUM_OVER_BATCH_SIZE.
Исключения
ValueError Если n_classes < 2.

Совместимость с Eager

Оценщики могут использоваться при включённом eager-вычислении. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что код input_fn с использованием tf.data обычно работает как в режиме графа, так и в режиме eager.

Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда выгружаются метрики оценки.

Аргументы
name Название оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, таких как на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращаемые значения
Строка, представляющая путь к каталогу, содержащему метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с учётом данных оценки input_fn.

На каждом шаге вызывается input_fn, которое возвращает одну партию данных. Оценка выполняется до:

  • обработки steps партий, или
  • input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая строит входные данные для оценки. См. Предопределённые оценщики для получения дополнительной информации. Функция должна создавать и возвращать одно из следующего: * Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже. * Кортеж (features, labels): где features — tf.Tensor или словарь имен признаков в строковом формате к Tensor, а labels — Tensor или словарь имён меток в строковом формате к Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
steps Количество шагов, на которых оценивается модель. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к определённой контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки.
name Название оценки, если пользователю нужно выполнить несколько оценок на различных наборах данных, таких как на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращаемые значения
Словарь, содержащий метрики оценки, указанные в model_fn с именами в качестве ключей, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценщиков словарь содержит loss (средняя потеря по мини-пакету) и average_loss (средняя потеря по образцу). Предопределённые классификаторы также возвращают accuracy . Предопределённые регрессоры также возвращают label/mean и prediction/mean .
Исключения
ValueError Если steps <= 0 .

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator’s model_fn в переданном режиме для генерации графа модели на основе этих признаков и меток, и восстанавливает заданную контрольную точку (или, если таковой нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге экспорта SavedModel.

Для переменных и tf.MetaGraphDefs, каталог экспорта с отметкой времени ниже export_dir_base, и записывает SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для прогнозирования экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs , возвращённого из model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет обслуживаться, если запрос на обслуживание не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются получателями ввода, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op сохраняется в дополнительном списке, а потеря, метрики и прогнозы включаются в SignatureDef для соответствующего режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ даёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут созданы подкаталоги с отметками времени, содержащие экспортированные SavedModelы.
input_receiver_fn_map Словарь соответствий tf.estimator.ModeKeys к input_receiver_fn отображениям, где input_receiver_fn — функция без аргументов, возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированной SavedModel, или None, если дополнительные ресурсы не требуются.
as_text Флаг, указывающий, следует ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
Возвращаемое значение
Строковый путь к экспортированной директории.
Исключения
ValueError если какой-либо input_receiver_fn имеет значение None, нет export_outputs или не найдена контрольная точка.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график инференции как SavedModel в указанную директорию.

Для подробного руководства см. Использование SavedModel с Estimators.

Этот метод создаёт новый граф, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю контрольную точку) в этом графике в новой сессии. Наконец, он создаёт подкаталог с отметкой времени ниже заданной export_dir_base, и записывает в него SavedModel содержащий один сохранённый из этой сессии tf.MetaGraphDef.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет использоваться, если запрос сервера не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputы, а входные данные всегда — входные получатели, предоставляемые serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Экспериментальный параметр experimental_mode может быть использован для экспорта одного графа train/eval/predict как SavedModel. См. experimental_export_all_saved_models для полных документов.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут созданы подкаталоги с отметками времени, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не требуются.
as_text Флаг, указывающий, следует ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, в каком режиме будет производиться экспорт. Обратите внимание, что эта функция экспериментальная.
Возвращаемое значение
Строковый путь к экспортированной директории.
Исключения
ValueError если не задан serving_input_receiver_fn, нет export_outputs или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если модель ещё не создала контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy — значение тензора.
Исключения
ValueError Если модель ещё не создала контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает прогнозы для заданных признаков.

Обратите внимание, что интерлейв двух результатов прогнозирования не работает. См.: issue/20506

Аргументы
input_fn Функция, которая создаёт признаки. Прогнозирование продолжается до тех пор, пока input_fn не генерирует исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). См. Предопределённые оценщики для получения дополнительной информации. Функция должна создавать и возвращать одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны соответствовать ограничениям ниже.
  • Признаки: тензор tf.Tensor или словарь имен признаков к Tensor. Признаки потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в котором в первом элементе содержатся признаки.
predict_keys Список str, имена ключей для прогнозирования. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальные прогнозы из словаря будут отфильтрованы. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова прогнозирования.
checkpoint_path Путь к определённой контрольной точке для прогнозирования. Если None, используется самая последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, прогнозирование выполняется с вновь инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.

data-text="Возвращает:" id="yields" tabindex="0">Возвращает:

Вычисленные значения тензоров predictions.

Исключения
ValueError Если длина пакета прогнозов не совпадает, и yield_single_examples является True.
ValueError Если существует конфликт между predict_keys и predictions. Например, если predict_keys не None , но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет данные для обучения в виде мини-пакетов. Подробнее см. Предопределённые оценщики. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь имен признаков (строки) к Tensor, и labels — Tensor или словарь имен меток (строки) к Tensor. И features, и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, то общее количество шагов обучения составит 20. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения 20 шагов. Если вам не нужна инкрементальная работа, пожалуйста, задайте max_steps вместо этого. Если задано, max_steps должно быть None.
max_steps Общее количество шагов обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если задано, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит никаких итераций, так как первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
Возвращает
self, для цепочки вызовов.
Исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/compat/v2/estimator/BaselineClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API