tf.estimator.LinearClassifier
| Просмотреть исходный код на GitHub |
Модель линейного классификатора.
Наследуется от: Estimator
tf.estimator.LinearClassifier(
feature_columns, model_dir=None, n_classes=2, weight_column=None,
label_vocabulary=None, optimizer='Ftrl', config=None, warm_start_from=None,
loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE,
sparse_combiner='sum'
)
Обучает линейную модель для классификации примеров в один из нескольких возможных классов. При количестве возможных классов 2, это бинарная классификация.
Пример:
categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)
categorical_feature_a_x_categorical_feature_b = crossed_column(...)
# Estimator using the default optimizer.
estimator = tf.estimator.LinearClassifier(
feature_columns=[categorical_column_a,
categorical_feature_a_x_categorical_feature_b])
# Or estimator using the FTRL optimizer with regularization.
estimator = tf.estimator.LinearClassifier(
feature_columns=[categorical_column_a,
categorical_feature_a_x_categorical_feature_b],
optimizer=tf.keras.optimizers.Ftrl(
learning_rate=0.1,
l1_regularization_strength=0.001
))
# Or estimator using an optimizer with a learning rate decay.
estimator = tf.estimator.LinearClassifier(
feature_columns=[categorical_column_a,
categorical_feature_a_x_categorical_feature_b],
optimizer=lambda: tf.keras.optimizers.Ftrl(
learning_rate=tf.exponential_decay(
learning_rate=0.1,
global_step=tf.get_global_step(),
decay_steps=10000,
decay_rate=0.96))
# Or estimator with warm-starting from a previous checkpoint.
estimator = tf.estimator.LinearClassifier(
feature_columns=[categorical_column_a,
categorical_feature_a_x_categorical_feature_b],
warm_start_from="/path/to/checkpoint/dir")
# Input builders
def input_fn_train:
# Returns tf.data.Dataset of (x, y) tuple where y represents label's class
# index.
pass
def input_fn_eval:
# Returns tf.data.Dataset of (x, y) tuple where y represents label's class
# index.
pass
def input_fn_predict:
# Returns tf.data.Dataset of (x, None) tuple.
pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)
Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет KeyError:
- если
weight_columnне являетсяNone, признак с именемkey=weight_column, значение которого являетсяTensor. - для каждого
columnвfeature_columns:- если
columnявляетсяSparseColumn, признак с именемkey=column.name, значение которого являетсяSparseTensor. - если
columnявляетсяWeightedSparseColumn, два признака: первый с именем столбцаkey, второй с именем столбцаkey. Значения обоих признаков должны бытьSparseTensor. - если
columnявляетсяRealValuedColumn, признак с именемkey=column.name, значение которого являетсяTensor.
- если
Функция потерь вычисляется с помощью софтмакс-перекрестной энтропии.
| Аргументы | |
|---|---|
feature_columns | Итерируемый объект, содержащий все столбцы признаков, используемые моделью. Все элементы набора должны быть экземплярами классов, производных от FeatureColumn. |
model_dir | Директория для сохранения параметров модели, графа и т. д. Также может быть использована для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохранённой модели. |
n_classes | Количество классов меток. По умолчанию — бинарная классификация. Обратите внимание, что метки классов — это целые числа, представляющие индекс класса (т. е. значения от 0 до n_classes-1). Для произвольных значений меток (например, строковых меток) сначала преобразуйте их в индексы классов. |
weight_column | Строка или объект _NumericColumn, созданный с помощью tf.feature_column.numeric_column, определяющий столбец признака, представляющий веса. Используется для уменьшения или увеличения веса примеров во время обучения. Будет умножаться на потерю примера. Если это строка, используется в качестве ключа для извлечения тензора весов из features. Если это объект _NumericColumn, сырой тензор извлекается по ключу weight_column.key, затем функция нормализации weight_column применяется к нему для получения тензора весов. |
label_vocabulary | Список строк, представляющих возможные значения меток. Если задано, метки должны быть строкового типа и иметь любое значение из label_vocabulary. Если не задано, это означает, что метки уже закодированы как целые или вещественные числа в интервале [0, 1] для n_classes=2 и как целочисленные значения в {0, 1,..., n_classes-1} для n_classes>2. Также будут ошибки, если словарь не предоставлен, а метки являются строками. |
optimizer | Экземпляр tf.keras.optimizers.* или tf.estimator.experimental.LinearSDCA, используемый для обучения модели. Также может быть строкой (одной из 'Adagrad', 'Adam', 'Ftrl', 'RMSProp', 'SGD') или вызываемым объектом. По умолчанию используется оптимизатор FTRL. |
config | Объект RunConfig для настройки параметров выполнения. |
warm_start_from | Путь к файлу контрольной точки для теплого старта, или объект WarmStartSettings для полной настройки теплого старта. Если указан строковый путь к файлу вместо объекта WarmStartSettings, то все веса и смещения инициализируются из контрольной точки, и предполагается, что словари и имена тензоров не изменялись. |
loss_reduction | Один из tf.losses.Reduction за исключением NONE. Описывает, как уменьшить потери обучения по пакету. По умолчанию SUM_OVER_BATCH_SIZE. |
sparse_combiner | Строка, определяющая способ уменьшения, если категориальный столбец многозначный. Один из "mean", "sqrtn" и "sum" — это эффективные способы выполнения нормализации на уровне примеров, что может быть полезно для признаков «мешок слов». Для получения дополнительной информации см. tf.feature_column.linear_model. |
| Возможные исключения | |
|---|---|
ValueError | если n_classes < 2. |
Совместимость с Eager Execution
Оценщики могут использоваться при включенном режиме Eager Execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графа и Eager Execution.
| Атрибуты | |
|---|---|
config | |
export_savedmodel | |
model_dir | |
model_fn | Возвращает model_fn, привязанный к self.params. |
params | |
Методы
eval_dir
eval_dir(
name=None
)
Отображает имя директории, в которую сохраняются метрики оценки.
| Аргументы | |
|---|---|
name | Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard. |
| Возвращаемое значение | |
|---|---|
| Строка, представляющая путь к директории, содержащей метрики оценки. |
evaluate
evaluate(
input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)
Оценивает модель с использованием данных оценки input_fn.
На каждом шаге вызывает input_fn, который возвращает одну партию данных. Оценивает до:
-
stepsпартий будут обработаны, или -
input_fnвозникает исключение конца ввода (tf.errors.OutOfRangeErrorилиStopIteration).
| Аргументы | |
|---|---|
input_fn | Функция, которая строит входные данные для оценки. См. Premade Estimators для получения дополнительной информации. Функция должна строить и возвращать одно из следующего:
|
steps | Количество шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода. |
hooks | Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки. |
checkpoint_path | Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если контрольных точек в model_dir нет, оценка выполняется с новыми, инициализированными Variables вместо тех, что восстановлены из контрольной точки. |
name | Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard. |
| Возвращаемое значение | |
|---|---|
Словарь, содержащий метрики оценки, указанные в model_fn с именами в качестве ключей, а также запись global_step , содержащая значение глобального шага, для которого была выполнена эта оценка. Для готовых оценщиков словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean. |
| Возможные исключения | |
|---|---|
ValueError | Если steps <= 0. |
experimental_export_all_saved_models
experimental_export_all_saved_models(
export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
checkpoint_path=None
)
Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.
Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих признаков и меток, и восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.
Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и в нём записывается SavedModel содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.
Для прогнозирования экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в словаре export_outputs, возвращённом model_fn, с именами, соответствующими ключам. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использоваться, когда запрос обслуживания не указывает её. Для каждой подписи выводы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.
Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
| Args | |
|---|---|
export_dir_base | Строка, содержащая каталог, в котором нужно создать подкаталоги с отметкой времени, содержащие экспортированные SavedModels. |
input_receiver_fn_map | Словарь сопоставлений tf.estimator.ModeKeys к input_receiver_fns, где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver. |
assets_extra | Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны. |
as_text | Нужно ли записать протокол SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели. |
| Returns | |
|---|---|
| Путь к каталогу экспорта в виде объекта байтов. |
| Raises | |
|---|---|
ValueError | если любой input_receiver_fn является None, не предоставлены export_outputs или не найден контрольный пункт. |
export_saved_model
export_saved_model(
export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)
Экспортирует графу вывода в виде SavedModel в заданный каталог.
Для получения подробного руководства см. SavedModel от Estimators.
Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel содержащий единственный tf.MetaGraphDef сохранённый из этой сессии.
Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого model_fn, с именами, соответствующими ключам. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использоваться, когда запрос обслуживания не указывает её. Для каждой подписи выводы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются входными приемниками, предоставляемыми serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Параметр experimental_mode может быть использован для экспорта отдельной графы обучения/оценки/прогнозирования в виде SavedModel. См. experimental_export_all_saved_models для полной документации.
| Args | |
|---|---|
export_dir_base | Строка, содержащая каталог, в котором нужно создать подкаталоги с отметкой времени, содержащие экспортированные SavedModels. |
serving_input_receiver_fn | Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver. |
assets_extra | Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны. |
as_text | Нужно ли записать протокол SavedModel в текстовом формате. |
checkpoint_path | Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели. |
experimental_mode | Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии эксперимента. |
| Returns | |
|---|---|
| Путь к каталогу экспорта в виде объекта байтов. |
| Raises | |
|---|---|
ValueError | если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден контрольный пункт. |
get_variable_names
get_variable_names()
Возвращает список всех имён переменных в этой модели.
| Returns | |
|---|---|
| Список имён. |
| Raises | |
|---|---|
ValueError | Если Estimator ещё не создал контрольный пункт. |
get_variable_value
get_variable_value(
name
)
Возвращает значение переменной, заданной именем.
| Args | |
|---|---|
name | Строка или список строк, имя тензора. |
| Returns | |
|---|---|
| Массив NumPy — значение тензора. |
| Raises | |
|---|---|
ValueError | Если Estimator ещё не создал контрольный пункт. |
latest_checkpoint
latest_checkpoint()
Находит имя файла самого последнего сохранённого контрольного пункта в model_dir.
| Returns | |
|---|---|
Полный путь к последнему контрольному пункту или None если контрольный пункт не был найден. |
predict
predict(
input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
yield_single_examples=True
)
Возвращает прогнозы для заданных признаков.
Обратите внимание, что чередование двух выводов predict не работает. См.: issue/20506
| Аргументы | |
|---|---|
input_fn | Функция, которая создаёт признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). Дополнительную информацию см. в разделе Предопределённые оценщики. Функция должна создать и вернуть одно из следующих:
|
predict_keys | Список str, имен ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, то остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все. |
hooks | Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания. |
checkpoint_path | Путь к конкретному контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если контрольных пунктов в model_dir нет, предсказание выполняется с вновь инициализированным Variables вместо восстановленных из контрольного пункта. |
yield_single_examples | Если False, возвращает всю партию, как возвращается model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, у которых первая размерность не равна размеру партии. |
Возвращает:
Вычисленные значения тензоров predictions.
| Исключения | |
|---|---|
ValueError | Если длина партии предсказаний не совпадает, и yield_single_examples является True. |
ValueError | Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict. |
train
train(
input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)
Обучает модель с использованием обучающих данных input_fn.
| Аргументы | |
|---|---|
input_fn | Функция, предоставляющая обучающие данные в виде мини-пакетов. Дополнительную информацию см. в разделе Предопределённые оценщики. Функция должна создать и вернуть одно из следующих:
|
hooks | Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри цикла обучения. |
steps | Количество шагов обучения модели. Если None, обучение будет продолжаться бесконечно или до тех пор, пока tf.errors.OutOfRange не сгенерирует ошибку input_fn или исключение StopIteration . steps работает инкрементально. Если вы дважды вызываете train(steps=10), то обучение произойдет в общей сложности за 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо него. Если установлено, max_steps должно быть None. |
max_steps | Общее количество шагов обучения модели. Если None, обучение будет продолжаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration . Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит итераций, так как первый вызов выполнил все 100 шагов. |
saving_listeners | Список объектов CheckpointSaverListener. Используется для обратных вызовов, выполняемых непосредственно перед или после сохранения контрольного пункта. |
| Возвращает | |
|---|---|
self, для цепочки вызовов. |
| Исключения | |
|---|---|
ValueError | Если steps и max_steps не являются None. |
ValueError | Если steps или max_steps <= 0. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/LinearClassifier