Spec-Zone.ru › TensorFlow 2.3

tf.estimator.LinearRegressor

Просмотреть исходный код на GitHub

Оценщик для задач линейной регрессии TensorFlow.

Наследуется от: Estimator

tf.estimator.LinearRegressor(
    feature_columns, model_dir=None, label_dimension=1, weight_column=None,
    optimizer='Ftrl', config=None, warm_start_from=None,
    loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE,
    sparse_combiner='sum'
)

Обучите модель линейной регрессии для прогнозирования значения метки на основе наблюдения за значениями признаков.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.compat.v1.train.exponential_decay(
            learning_rate=0.1,
            global_step=tf.compat.v1.train.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны содержать следующие признаки, иначе возникнет ошибка KeyError:

  • если weight_column не является None, признак с именем key=weight_column, значение которого — Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с именем key=column.name, значение которого — SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с именем столбца key, второй с именем столбца key. Значения обоих признаков должны быть SparseTensor.
    • если column является RealValuedColumn, признак с именем key=column.name, значение которого — Tensor.

Функция потерь вычисляется с помощью среднеквадратичной ошибки.

Аргументы
feature_columns Итерируемый объект, содержащий все используемые моделью столбцы признаков. Все элементы должны быть экземплярами классов, производных от FeatureColumn .
model_dir Директория для сохранения параметров модели, графа и т.д. Также может быть использована для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохранённой модели.
label_dimension Количество целевых значений регрессии на пример. Это размер последнего измерения меток и лог-вероятностей Tensor (как правило, они имеют размер [batch_size, label_dimension]).
weight_column Строка или объект NumericColumn, созданный с помощью tf.feature_column.numeric_column, определяющий столбец признаков, представляющий веса. Используется для уменьшения или увеличения весов примеров во время обучения. Он будет умножен на потерю примера. Если это строка, она используется в качестве ключа для извлечения тензора весов из features. Если это объект NumericColumn, сырой тензор извлекается по ключу weight_column.key, а затем функция нормализации weight_column применяется к нему, чтобы получить тензор весов.
optimizer Экземпляр tf.keras.optimizers.* или tf.estimator.experimental.LinearSDCA, используемый для обучения модели. Также может быть строкой ('Adagrad', 'Adam', 'Ftrl', 'RMSProp', 'SGD') или вызываемой функцией. По умолчанию используется оптимизатор FTRL.
config Объект RunConfig для настройки параметров выполнения.
warm_start_from Путь к файлу контрольной точки для начальной загрузки или объект WarmStartSettings для полной настройки начальной загрузки. Если указан путь к файлу строки вместо объекта WarmStartSettings, все веса и смещения загружаются, и предполагается, что словари и имена тензоров не изменены.
loss_reduction Один из tf.losses.Reduction, кроме NONE. Описывает способ уменьшения потерь обучения по пакету. По умолчанию SUM.
sparse_combiner Строка, определяющая способ уменьшения, если категориальный столбец является многозначным. Один из "mean", "sqrtn", "sum" — это эффективные способы нормализации на уровне примера, что может быть полезно для признаков "мешок слов". Подробнее см. tf.feature_column.linear_model.

Совместимость с Eager Execution

Оценщики могут использоваться при включённом режиме eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому их нужно написать так, чтобы они были совместимы с режимом графа. Обратите внимание, что код input_fn , использующий tf.data, как правило, работает в обоих режимах (графа и eager).

Атрибуты
config
export_savedmodel
model_dir
model_fn Возвращает model_fn, привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя директории, куда сохраняются метрики оценки.

Аргументы
name Название оценки, если нужно выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются раздельно в TensorBoard.
Возвращаемое значение
Строка, представляющая путь к директории, содержащей метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Вычисляет оценки модели на основе данных оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Вычисление оценок продолжается до:

  • обработки steps партий, или
  • input_fn генерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция для построения входных данных оценки. См. Предопределённые оценщики для получения дополнительной информации. Функция должна построить и вернуть один из следующих объектов:
  • Объект tf.data.Dataset: Выход объекта Dataset должен быть кортежем (features, labels) с теми же ограничениями, что указаны ниже.
  • Кортеж (features, labels): Где features является tf.Tensor или словарем из имён признаков (строки) к Tensor, а labels — Tensor или словарем имён меток (строки) к Tensor. И features , и labels потребляются model_fn. Они должны соответствовать ожиданиям от входных данных model_fn.
steps Количество шагов для оценки модели. Если None, вычисление оценок продолжается до того, как input_fn сгенерирует исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратного вызова внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированным Variables вместо загруженного из контрольной точки.
name Название оценки, если нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются раздельно в TensorBoard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn, с ключами по имени, а также запись global_step, содержащая значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценщиков словарь содержит loss (средние потери на мини-пакет) и average_loss (средние потери на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean .
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor . Далее, этот метод вызывает Estimator's model_fn в переданном режиме, чтобы сгенерировать граф модели на основе этих признаков и меток, и восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок приоритета: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с набором переменных в одной директории SavedModel.

Для переменных и tf.MetaGraphDefs, временная директория экспорта под export_dir_base, и записывается SavedModel в неё, содержащая tf.MetaGraphDef для данного режима и его связанных подписей.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного model_fn, с именами, используемыми теми же ключами. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая сигнатура будет обслуживаться, если запрос об обслуживании её не указывает. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда — получателями входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потери, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут созданы поддиректории с отметками времени, содержащие экспортированные SavedModel.
input_receiver_fn_map Словарь соответствий tf.estimator.ModeKeys к input_receiver_fn , где input_receiver_fn — функция, не принимающая аргументы и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя контрольная точка, найденная в директории модели.
Возвращает
Путь к экспортированной директории в виде объекта байтов.
Исключения
ValueError если какой-либо input_receiver_fn является None, нет export_outputs или не найдена контрольная точка.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в данную директорию.

Подробное руководство см. в SavedModel от Estimators.

Этот метод создаёт новый граф, сначала вызывая serving_input_receiver_fn для получения признаков Tensor , а затем вызывая Estimator's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в этот граф в свежей сессии. Наконец, он создаёт поддиректорию с отметкой времени ниже заданной export_dir_base и записывает в неё SavedModel , содержащую одну tf.MetaGraphDef , сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращенного model_fn, с именами, используемыми теми же ключами. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая сигнатура будет обслуживаться, если запрос об обслуживании её не указывает. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда — получателями входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта одного графа обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полного описания.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут созданы поддиректории с отметками времени, содержащие экспортированные SavedModel.
serving_input_receiver_fn Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не требуются.
as_text Нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя контрольная точка, найденная в директории модели.
experimental_mode Значение tf.estimator.ModeKeys , указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальная.
Возвращает
Путь к экспортированной директории в виде объекта байтов.
Исключения
ValueError если нет serving_input_receiver_fn , нет export_outputs или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращает
Список имён.
Исключения
ValueError Если у Estimator ещё нет контрольной точки.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной именем.

Аргументы
name Строка или список строк, имя тензора.
Возвращает
Массив NumPy — значение тензора.
Исключения
ValueError Если у Estimator ещё нет контрольной точки.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращает
Полный путь к последней контрольной точке или None , если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходов предсказания не работает. См.: issue/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). Дополнительную информацию см. в разделе Предварительно созданные оценщики. Функция должна сконструировать и вернуть одно из следующего:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать ограничениям, указанным ниже.
  • признаки — tf.Tensor или словарь с именем признака (строка) и его значением (Tensor). Признаки потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае первым элементом извлекаются признаки.
predict_keys список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к определенному контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если в model_dir нет контрольных пунктов, предсказание выполняется с новыми, инициализированными Variables вместо восстановленных из контрольного пункта.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.

Возвращаемые значения:

Оцененные значения тензоров predictions.

Исключения
ValueError Если длина партии предсказаний не одинакова, а yield_single_examples равно True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не None , но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет входные данные для обучения в виде мини-пакетов. Дополнительную информацию см. в разделе Предварительно созданные оценщики. Функция должна сконструировать и вернуть одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features — tf.Tensor или словарь с именем признака (строка) и его значением (Tensor), а labels — Tensor или словарь с именем метки (строка) и ее значением (Tensor). Оба features и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
hooks Список экземпляров подкласса tf.train.SessionRunHook Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов, для которых нужно обучить модель. Если None, тренироваться бесконечно или до тех пор, пока OutOfRange не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вызвать train(steps=10) дважды, то обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдут посередине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, тренироваться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдут посередине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит итераций, поскольку первый выполнил все 100 шагов.
saving_listeners список CheckpointSaverListener объектов. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольного пункта.
Возвращаемое значение
self, для цепочки вызовов.
Исключения
ValueError Если как steps , так и max_steps не None.
ValueError Если либо steps , либо max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/LinearRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API