Spec-Zone.ru › TensorFlow 2.9

tf.estimator.LinearRegressor

Просмотреть исходный код на GitHub

Оценщик для задач линейной регрессии TensorFlow.

Предупреждение: Оценщики не рекомендуются для нового кода. Оценщики запускают код в стиле v1.Session, который сложнее написать правильно и может вести себя непредсказуемо, особенно при совместном использовании с кодом TF 2. Оценщики подпадают под наши гарантии совместимости, но не будут получать исправления, кроме устранения уязвимостей. Подробности см. в руководстве по миграции.

Наследуется от: Estimator, Estimator

tf.estimator.LinearRegressor(
    feature_columns,
    model_dir=None,
    label_dimension=1,
    weight_column=None,
    optimizer='Ftrl',
    config=None,
    warm_start_from=None,
    loss_reduction=tf.losses.Reduction.SUM_OVER_BATCH_SIZE,
    sparse_combiner='sum'
)

Обучает модель линейной регрессии для предсказания значения метки на основе наблюдений за значениями признаков.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.compat.v1.train.exponential_decay(
            learning_rate=0.1,
            global_step=tf.compat.v1.train.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны иметь следующие признаки, иначе произойдёт ошибка KeyError:

  • если weight_column не None, признак с key=weight_column, значение которого является Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с key=column.name, значение которого является SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с key в качестве имени столбца идентификатора, второй с key в качестве имени столбца весов. Значения обоих признаков должны быть SparseTensor.
    • если column является RealValuedColumn, признак с key=column.name, значение которого является Tensor.

Функция потерь рассчитывается с использованием среднеквадратичной ошибки.

Аргументы
feature_columns Итерируемый объект, содержащий все столбцы признаков, используемые моделью. Все элементы должны быть экземплярами классов, производных от FeatureColumn.
model_dir Каталог для сохранения параметров модели, графа и т.д. Также может использоваться для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохраненной модели.
label_dimension Количество целевых значений регрессии на пример. Это размер последнего измерения меток и логов Tensor (как правило, эти объекты имеют форму [batch_size, label_dimension]).
weight_column Строка или NumericColumn, созданный с помощью tf.feature_column.numeric_column, определяющий столбец признака, представляющий веса. Используется для уменьшения или увеличения весов примеров во время обучения. Он будет умножаться на потерю примера. Если это строка, она используется как ключ для извлечения тензора весов из features. Если это NumericColumn, исходный тензор извлекается по ключу weight_column.key, затем weight_column.normalizer_fn применяется к нему для получения тензора весов.
optimizer Экземпляр tf.keras.optimizers.* или tf.estimator.experimental.LinearSDCA, используемый для обучения модели. Также может быть строкой ('Adagrad', 'Adam', 'Ftrl', 'RMSProp', 'SGD') или вызываемой функцией. По умолчанию используется оптимизатор FTRL.
config Объект RunConfig для настройки параметров выполнения.
warm_start_from Путь к файлу контрольной точки для инициализации модели или объект WarmStartSettings для полной настройки инициализации. Если указан строковый путь вместо WarmStartSettings, все веса и смещения инициализируются из контрольной точки, и предполагается, что словари и имена тензоров не изменены.
loss_reduction Один из tf.losses.Reduction, кроме NONE. Описывает, как уменьшать функцию потерь по батчу. По умолчанию SUM.
sparse_combiner Строка, определяющая способ уменьшения, если столбец категориальный и многозначный. Один из "mean", "sqrtn", "sum" — это различные способы нормировки примеров, что может быть полезно для признаков типа "мешок слов". Для получения дополнительной информации см. tf.feature_column.linear_model.
Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Отображает имя каталога, куда сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю требуется выполнить несколько оценок на разных наборах данных, например, на обучающем и тестовом данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Строка, представляющая путь к каталогу с метриками оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

На каждом шаге вызывает input_fn, который возвращает одну партию данных. Процесс оценки продолжается до:

  • обработки steps партий, или
  • input_fn вызывает исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создаёт входные данные для оценки. См. Premade Estimators для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: выходные данные Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — тензор tf.Tensor или словарь из имени признака в виде строки к тензору Tensor, а labels — набор данных Tensor или словарь из имени метки в виде строки к тензору Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
steps Количество шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированной Variables вместо восстановленной из контрольной точки.
name Имя оценки, если пользователю требуется выполнить несколько оценок на разных наборах данных, например, на обучающем и тестовом данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn с ключом по имени, а также запись global_step, содержащая значение глобального шага, для которого была выполнена эта оценка. Для готовых оценщиков словарь содержит loss (средняя потеря на мини-батче) и average_loss (средняя потеря на пример). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean .
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создает новую графу, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трех tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создается каталог экспорта с отметкой времени ниже export_dir_base, и в него записывается SavedModel содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет использована, когда запрос обслуживания не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входы всегда — приемниками ввода, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задает полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map словарь сопоставлений tf.estimator.ModeKeys с input_receiver_fn отображениями, где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
Returns
Путь к каталогу экспорта в виде объекта типа bytes.
Raises
ValueError если какой-либо input_receiver_fn является None, нет export_outputs или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу инференции как SavedModel в указанный каталог.

Подробное руководство по SavedModel см. в Использование формата SavedModel.

Этот метод создает новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor , а затем вызвав Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в этой графе в новой сессии. В заключение он создает каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохраненную из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs , возвращенного из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая сигнатура будет использована, когда запрос обслуживания не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входы всегда — приемниками ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra . Это должен быть словарь, где каждый ключ задает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задает полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта одной графы обучения/оценки/предсказания как SavedModel. Смотрите experimental_export_all_saved_models для полного описания.

Args
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументы и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция является экспериментальной.
Returns
Путь к каталогу экспорта в виде объекта типа bytes.
Raises
ValueError если не задан serving_input_receiver_fn, не заданы export_outputs или не найден контрольный пункт.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имен переменных в этой модели.

Returns
Список имен.
Raises
ValueError Если модель еще не создала контрольный пункт.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Args
name строка или список строк, имя тензора.
Returns
Массив NumPy — значение тензора.
Raises
ValueError Если модель еще не создала контрольный пункт.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последнего сохраненного контрольного пункта в model_dir.

Returns
Полный путь к последнему контрольному пункту или None если контрольный пункт не найден.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух результатов предсказания не работает. См.: проблему/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не поднимет исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). Дополнительную информацию см. в разделе Предопределенные оценщики. Функция должна строить и возвращать одно из следующего:
  • tf.data.Dataset объект — выходы объекта Dataset должны соответствовать тем же ограничениям, что и ниже.
  • признаки — тензор tf.Tensor или словарь имен признаков типа строка к Tensor. Признаки используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае извлекается первый элемент в качестве признаков.
predict_keys Список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, остальные предсказания будут отфильтрованы из словаря. Если None, возвращаются все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к определённому контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если в model_dir нет контрольных пунктов, предсказание выполняется с только что инициализированным Variables вместо восстанавливаемых из контрольного пункта.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.
Возвращаемые значения
Вычисленные значения тензоров predictions .
Исключения
ValueError Если длина партии предсказаний не совпадает и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не None , но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, предоставляющая входные данные для обучения в виде мини-пакетов. Дополнительную информацию см. в разделе Предопределенные оценщики. Функция должна строить и возвращать одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features — тензор tf.Tensor или словарь имен признаков типа строка к Tensor, и labels — метка Tensor или словарь имен меток типа строка к Tensor. И features, и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, тренироваться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементно. Если вы вызовите train(steps=10) дважды, то обучение происходит в общей сложности 20 шагами. Если OutOfRange или StopIteration произойдёт в середине, обучение прекратится до 20 шагов. Если вы не хотите иметь инкрементальное поведение, установите max_steps вместо этого. При установке max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, тренироваться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, то steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение прекратится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных пунктов.
Возвращаемые значения
self, для цепочки вызовов.
Исключения
ValueError Если и steps , и max_steps не являются None.
ValueError Если steps или max_steps <= 0.

Совместимость с немедленным выполнением

Оценщики могут использоваться при включённом немедленном выполнении. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что код input_fn , использующий tf.data , как правило, работает в режимах графа и немедленного выполнения.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/estimator/LinearRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API