Spec-Zone.ru › TensorFlow 2.4

tf.compat.v1.estimator.LinearRegressor

Оценщик для задач линейной регрессии TensorFlow.

Наследуется от: Estimator

tf.compat.v1.estimator.LinearRegressor(
    feature_columns, model_dir=None, label_dimension=1, weight_column=None,
    optimizer='Ftrl', config=None, partitioner=None, warm_start_from=None,
    loss_reduction=tf.compat.v1.losses.Reduction.SUM,
    sparse_combiner='sum'
)

Обучает модель линейной регрессии для предсказания значения метки на основе наблюдений значений признаков.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.compat.v1.train.exponential_decay(
            learning_rate=0.1,
            global_step=tf.compat.v1.train.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = tf.estimator.LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Вход train и evaluate должен содержать следующие признаки, в противном случае произойдёт KeyError:

  • если weight_column не равно None, признак с именем key=weight_column, значение которого является Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с именем key=column.name, значение которого является SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с именем столбца key, второй с именем столбца key. Значения обоих признаков должны быть SparseTensor.
    • если column является RealValuedColumn, признак с именем key=column.name, значение которого является Tensor.

Потери вычисляются с помощью среднеквадратичной ошибки.

Аргументы
model_fn Функция модели. Следует структуре:
  • features -- Это первый элемент, возвращаемый функцией input_fn , переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict из того же типа.
  • labels -- Это второй элемент, возвращаемый функцией input_fn , переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict из того же типа (для моделей с несколькими выходами). Если режим равен tf.estimator.ModeKeys.PREDICT, будет передан labels=None. Если сигнатура функции model_fn не принимает mode, функция model_fn должна уметь обрабатывать labels=None.
  • mode -- Необязательно. Указывает, является ли это обучением, оценкой или предсказанием. См. tf.estimator.ModeKeys. params -- Необязательные dict гиперпараметров. Получает те гиперпараметры, которые переданы в Estimator в параметре params . Это позволяет настроить Estimator на основе гиперпараметров.
  • config -- Необязательный объект estimator.RunConfig. Получает то, что передано в Estimator в качестве параметра config, или значение по умолчанию. Позволяет настроить компоненты model_fn на основе конфигурации, такой как num_ps_replicas, или model_dir.
  • Возвращает -- tf.estimator.EstimatorSpec
model_dir Директория для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из директории в оценщик, чтобы продолжить обучение ранее сохранённой модели. Если PathLike объект, путь будет разрешён. Если None, модель config будет использовать model_dir, если он задан. Если оба заданы, они должны быть одинаковыми. Если оба None, будет использоваться временная директория.
config Объект конфигурации estimator.RunConfig.
params Гиперпараметры, которые будут переданы в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для начальной загрузки, или объект tf.estimator.WarmStartSettings для полной настройки начальной загрузки. Если None, загрузка происходит только для переменных TRAINABLE. Если указан строковый путь вместо объекта tf.estimator.WarmStartSettings, все переменные будут загружены, и предполагается, что словари и имена tf.Tensor не изменены.
Возможные исключения
ValueError Параметры model_fn не соответствуют params.
ValueError Если вызов осуществляется через подкласс, и этот подкласс переопределяет член Estimator.

Совместимость с Eager

Оценщики могут использоваться при включенном режиме eager execution. Обратите внимание, что input_fn и все хуки выполняются внутри контекста графа, поэтому они должны быть написаны с учётом совместимости с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графа и eager.

Атрибуты
config
model_dir
model_fn Возвращает model_fn, связанный с self.params.
params

Методы

eval_dir

Посмотреть исходный код

eval_dir(
    name=None
)

Показывает имя директории, куда сохраняются метрики оценки.

Аргументы
name Имя оценки, если пользователю необходимо выполнить несколько оценок на разных наборах данных, например, на обучающем и тестовом наборах данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Строка, представляющая путь к директории с метриками оценки.

evaluate

Посмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных оценки input_fn.

На каждом шаге вызывает input_fn, которое возвращает одну партию данных. Оценка продолжается до:

  • steps партий обработаны, или
  • input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая строит данные ввода для оценки. Смотрите Предопределённые оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что указаны ниже.
  • Кортеж (features, labels): где features является tf.Tensor или словарем имен признаков типа строка к Tensor, а labels является Tensor или словарем имён меток типа строка к Tensor. И features, и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подкласса tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если контрольных точек в model_dir нет, оценка выполняется с вновь инициализированным Variables вместо восстановленных из контрольной точки.
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых наборах данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn в качестве ключей, а также запись global_step , содержащую значение глобального шага, для которого была выполнена эта оценка. Для готовых оценщиков словарь содержит loss (средняя потеря на мини-партю) и average_loss (средняя потеря на образец). Готовые классификаторы также возвращают accuracy. Готовые регрессоры также возвращают label/mean и prediction/mean.
Возможные исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Посмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую граф, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графа модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и записывается SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных подписей.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого из model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, что указывает, какая подпись будет использована, когда запрос об обслуживании не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входы — всегда входными получателями, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потеря, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь к исходному файлу, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь сопоставлений tf.estimator.ModeKeys к input_receiver_fn mappings, где input_receiver_fn — функция, которая не принимает аргументов и возвращает соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированных SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записывать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
Returns
Путь к экспортированному каталогу в виде объекта байтов.
Raises
ValueError если какой-либо input_receiver_fn является None, не предоставлены export_outputs или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует граф инференции как SavedModel в указанный каталог.

Для подробного руководства см. SavedModel от Estimators.

Этот метод строит новую граф, сначала вызвав serving_input_receiver_fn для получения признаков Tensors, а затем вызвав Estimator's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает указанный контрольный пункт (или, если его нет, последний контрольный пункт) в эту граф в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel , содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, что указывает на подпись, которая будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входы — всегда входными получателями, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта отдельной обучающей/оценочной/предопределённой графы в качестве SavedModel. См. experimental_export_all_saved_models для полной документации.

Args
export_dir_base Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записывать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальная.
Returns
Путь к экспортированному каталогу в виде объекта байтов.
Raises
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден контрольный пункт.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует граф инференции как SavedModel в указанный каталог. (устарело)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: переименуйте эту функцию, используйте export_saved_model вместо неё.

Для подробного руководства см. SavedModel от Estimators.

Этот метод строит новую граф, сначала вызвав serving_input_receiver_fn для получения признаков Tensors, а затем вызвав Estimator's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает указанный контрольный пункт (или, если его нет, последний контрольный пункт) в эту граф в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel , содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, что указывает на подпись, которая будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входы — всегда входными получателями, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая каталог, в котором следует создавать подкаталоги с отметками времени, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить каталог assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не нужны.
as_text Флаг, указывающий, нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя найденная контрольная точка в каталоге модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefов. Подробное руководство см. в Удаление атрибутов с значениями по умолчанию.
Returns
Путь к экспортированному каталогу в виде объекта байтов.
Raises
ValueError если не указана serving_input_receiver_fn, не указаны export_outputs или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Returns
Список имён.
Raises
ValueError Если Estimator ещё не создал контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Args
name Строка или список строк, имя тензора.
Returns
Массив NumPy - значение тензора.
Raises
ValueError Если Estimator ещё не создал контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Returns
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходных данных predict не работает. См.: проблема/20506

Args
input_fn Функция, которая строит признаки. Предсказания продолжаются до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Преобразователи с готовыми решениями для получения дополнительной информации. Функция должна сконструировать и вернуть одно из следующего:
  • tf.data.Dataset объект — Выходы объекта Dataset должны удовлетворять тем же ограничениям, что и ниже.
  • features — tf.Tensor или словарь имен признаков в виде строк к Tensor. Признаки потребляются model_fn. Они должны удовлетворять ожиданию model_fn от входных данных.
  • Кортеж, в этом случае извлекается первый элемент как features.
predict_keys Список strов, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, то остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к определённой контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, предсказание выполняется с вновь инициализированными Variables вместо тех, что восстановлены из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращается model_fn вместо разложения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.
Yields
Оценённые значения predictions тензоров.
Raises
ValueError Если длина партии предсказаний не одинаковая, и yield_single_examples равно True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель на основе обучающих данных input_fn.

Args
input_fn Функция, которая предоставляет входные данные для обучения в виде мини-пакетных данных. См. Преобразователи с готовыми решениями для получения дополнительной информации. Функция должна сконструировать и вернуть одно из следующего:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features — tf.Tensor или словарь имён признаков в виде строк к Tensor, и labels — Tensor или словарь имён меток в виде строк к Tensor. И features, и labels потребляются model_fn. Они должны удовлетворять ожиданию model_fn от входных данных.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов, на которых следует обучить модель. Если None, обучать бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызовете train(steps=10) два раза, общее обучение будет происходить в течение 20 шагов. Если OutOfRange или StopIteration произойдёт посредине, обучение завершится до 20 шагов. Если вы не хотите иметь инкрементальное поведение, установите max_steps вместо этого. Если задано, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучать бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если задано, steps должно быть None. Если OutOfRange или StopIteration произойдёт посредине, обучение завершится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners список CheckpointSaverListener объектов. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольной точки.
Returns
self, для цепочки.
Возбуждает
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/compat/v1/estimator/LinearRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API