Spec-Zone.ru › TensorFlow 2.9

tf.compat.v1.estimator.LinearRegressor

Оценщик для задач линейной регрессии TensorFlow.

Предупреждение: Оценщики не рекомендуются для нового кода. Оценщики используют код в стиле v1.Session, который сложнее написать правильно и может вести себя неожиданно, особенно при сочетании с кодом TF 2. Оценщики подпадают под наши гарантии совместимости, но не будут получать исправлений, кроме исправления уязвимостей. Подробности см. в руководстве по миграции.

Наследуется от: Estimator

tf.compat.v1.estimator.LinearRegressor(
    feature_columns,
    model_dir=None,
    label_dimension=1,
    weight_column=None,
    optimizer='Ftrl',
    config=None,
    partitioner=None,
    warm_start_from=None,
    loss_reduction=tf.compat.v1.losses.Reduction.SUM,
    sparse_combiner='sum'
)

Обучите модель линейной регрессии для прогнозирования значения метки на основе наблюдения значений признаков.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.compat.v1.train.exponential_decay(
            learning_rate=0.1,
            global_step=tf.compat.v1.train.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Вход train и evaluate должен содержать следующие признаки, в противном случае возникнет ошибка KeyError:

  • если weight_column не None, признак с именем key=weight_column, значение которого является Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с именем key=column.name, значение которого является SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с именем столбца key, второй с именем столбца key. Значения обоих признаков должны быть SparseTensor.
    • если column является RealValuedColumn, признак с именем key=column.name, значение которого является Tensor.

Функция потерь рассчитывается с помощью среднеквадратичной ошибки.

Аргументы
model_fn Функция модели. Следует структуре:
  • features -- Это первый элемент, возвращаемый из input_fn функции, переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict.
  • labels -- Это второй элемент, возвращаемый из input_fn функции, переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict (для моделей с несколькими головками). Если режим tf.estimator.ModeKeys.PREDICT, будет передан labels=None. Если сигнатура model_fn не принимает mode, model_fn все равно должна уметь обрабатывать labels=None.
  • mode -- Необязательно. Указывает, является ли это обучение, оценка или прогнозирование. См. tf.estimator.ModeKeys. params -- Необязательные dict гиперпараметров. Получит то, что было передано в оценщик в параметре params. Это позволяет настроить оценщики из набора гиперпараметров.
  • config -- Необязательный объект estimator.RunConfig. Получает то, что передано в оценщик в качестве параметра config, или значение по умолчанию. Позволяет настраивать вещи в вашей model_fn на основе настроек, таких как num_ps_replicas, или model_dir.
  • Возвращает -- tf.estimator.EstimatorSpec
model_dir Директория для сохранения параметров модели, графа и т. д. Также может использоваться для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохраненной модели. Если объект PathLike, путь будет разрешен. Если None, модель_директория в config будет использоваться, если задана. Если оба установлены, они должны быть одинаковыми. Если оба None, будет использоваться временная директория.
config Объект конфигурации estimator.RunConfig.
params Набор гиперпараметров, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для начальной загрузки, или объект tf.estimator.WarmStartSettings для полной настройки начальной загрузки. Если None, только переменные TRAINABLE загружаются. Если указан строковый путь вместо объекта tf.estimator.WarmStartSettings, то все переменные загружаются, и предполагается, что словари и имена tf.Tensor не изменены.
Возможные исключения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызывается через подкласс, и если этот класс переопределяет член Estimator.
Атрибуты
config
model_dir
model_fn Возвращает model_fn, который связан с self.params.
params

Методы

eval_dir

Посмотреть исходный код

eval_dir(
    name=None
)

Отображает имя директории, куда сохраняются метрики оценки.

Аргументы
name Имя оценки, если нужно выполнить несколько оценок на разных наборах данных, таких как на тренировочных и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращаемые значения
Строка, представляющая путь к директории с метриками оценки.

evaluate

Посмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

Для каждого шага вызывается input_fn, что возвращает одну партию данных. Оценивание продолжается, пока:

  • steps партии обработаны, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция построения входных данных для оценки. Подробнее см. Предопределенные оценщики. Функция должна строить и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features является tf.Tensor или словарем имён признаков со строковыми ключами и значениями Tensor, а labels — Tensor или словарь имён меток со строковыми ключами и значениями Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
steps Число шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, оценка выполняется с новыми, инициализированными Variables вместо загруженных из контрольной точки.
name Имя оценки, если нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращаемые значения
Словарь, содержащий метрики оценки, указанные в model_fn в качестве ключей, а также элемент global_step, который содержит значение глобального шага, для которого была выполнена эта оценка. Для готовых оценщиков словарь содержит loss (средняя потеря на мини-партю) и average_loss (средняя потеря на пример). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean .
Возможные исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Посмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения функций и меток Tensor. Затем этот метод вызывает Estimator`s model_fn в переданном режиме для генерации графы модели на основе этих функций и меток и восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в графу. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и записывается SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для прогнозирования, экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в export_outputs dict, возвращённом model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, когда запрос обслуживания не указывает конкретную. Для каждой сигнатуры выводы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входы всегда являются приемниками ввода, предоставленными serving_input_receiver_fn.

Для обучения и оценки, train_op хранится в дополнительной коллекции, а потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь из tf.estimator.ModeKeys к input_receiver_fn соответствиям, где input_receiver_fn - функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не требуются.
as_text нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь контрольного пункта для экспорта. Если None (по умолчанию), выбирается последний найденный контрольный пункт внутри каталога модели.
Возвращает
Путь к экспортированному каталогу в виде объекта байтов.
Возбуждает
ValueError если какой-либо input_receiver_fn является None, не предоставлены export_outputs или не найден контрольный пункт.

export_saved_model

Просмотр исходного кода

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу вывода в формате SavedModel в данный каталог.

Подробное руководство по SavedModel см. в Использование формата SavedModel.

Этот метод создаёт новую графу, сначала вызывая serving_input_receiver_fn для получения функций Tensor, а затем вызывая Estimator`s model_fn для генерации графы модели на основе этих функций. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в export_outputs dict, возвращённом model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, когда запрос обслуживания не указывает конкретную. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входы всегда являются приемниками ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельной графы обучения/оценки/прогнозирования как SavedModel. См. experimental_export_all_saved_models для полного руководства.

Аргументы
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не требуются.
as_text нужно ли записывать прото SavedModel в текстовом формате.
checkpoint_path Путь контрольного пункта для экспорта. Если None (по умолчанию), выбирается последний найденный контрольный пункт внутри каталога модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальна.
Возвращает
Путь к экспортированному каталогу в виде объекта байтов.
Возбуждает
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден контрольный пункт.

export_savedmodel

Просмотр исходного кода

export_savedmodel(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    strip_default_attrs=False
)

Экспортирует графу вывода в формате SavedModel в данный каталог. (устарело)

Устарело: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Эта функция была переименована, используйте export_saved_model вместо неё.

Для подробного руководства см. SavedModel от Estimators.

Этот метод создаёт новую графу, сначала вызывая serving_input_receiver_fn для получения функций Tensor, а затем вызывая Estimator`s model_fn для генерации графы модели на основе этих функций. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента в export_outputs dict, возвращённом model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет обслуживаться, когда запрос обслуживания не указывает конкретную. Для каждой сигнатуры выводы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входы всегда являются приемниками ввода, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая путь к каталогу, в котором будут созданы временные подкаталоги с отметками времени, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированной SavedModel, или None если дополнительные активы не нужны.
as_text Нужно ли записать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefов. Для подробного руководства см. Удаление атрибутов с значениями по умолчанию.
Возвращаемое значение
Путь к экспортированному каталогу в виде объекта bytes.
Исключения
ValueError Если не предоставлена serving_input_receiver_fn, не предоставлены export_outputs или контрольная точка не найдена.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если модель ещё не создала контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по заданному имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy - значение тензора.
Исключения
ValueError Если модель ещё не создала контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что перекрещивание двух результатов предсказания не работает. См.: проблема/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предварительно созданные оценители для получения дополнительной информации. Функция должна строить и возвращать одно из следующего:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать ограничениям ниже.
  • признаки — tf.Tensor или словарь из имени признака типа string в Tensor. Признаки используются model_fn. Они должны удовлетворять ожиданию model_fn от входов.
  • Кортеж, в этом случае извлекается первый элемент в качестве признаков.
predict_keys Список strов, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, возвращаются все предсказания. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, предсказание выполняется с вновь инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращает весь пакет, возвращённый model_fn, вместо разбиения пакета на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру пакета.
Возвращаемые значения
Оценённые значения тензоров predictions .
Исключения
ValueError Если длина пакета предсказаний не одинакова, и yield_single_examples равно True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не равно None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Аргументы
input_fn Функция, которая предоставляет обучающие данные в виде мини-пакетов. См. Предварительно созданные оценители для получения дополнительной информации. Функция должна строить и возвращать одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь из имени признака типа string в Tensor, а labels — Tensor или словарь из имени метки типа string в Tensor. Оба features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете дважды train(steps=10), обучение выполняется в общей сложности 20 шагами. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите иметь инкрементальное поведение, установите max_steps вместо этого. При установке max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучаться бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. При установке steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит итераций, поскольку первый вызов выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener . Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольной точки.
Возвращает
self, для цепочки вызовов.
Исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

жадная совместимость

Оценщики могут использоваться при включённом жадном выполнении. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что код input_fn , использующий tf.data, обычно работает как в режиме графа, так и в жадном режиме.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/estimator/LinearRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API