Spec-Zone.ru › TensorFlow 1.15

tf.estimator.LinearRegressor

Просмотреть исходный код на GitHub

Оценщик для задач линейной регрессии TensorFlow.

Наследует от: Estimator

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительных сведений.

tf.compat.v1.estimator.LinearRegressor

tf.estimator.LinearRegressor(
    feature_columns, model_dir=None, label_dimension=1, weight_column=None,
    optimizer='Ftrl', config=None, partitioner=None, warm_start_from=None,
    loss_reduction=losses.Reduction.SUM, sparse_combiner='sum'
)

Обучите модель линейной регрессии для предсказания значения метки на основе наблюдения значений признаков.

Пример:

categorical_column_a = categorical_column_with_hash_bucket(...)
categorical_column_b = categorical_column_with_hash_bucket(...)

categorical_feature_a_x_categorical_feature_b = crossed_column(...)

# Estimator using the default optimizer.
estimator = LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b])

# Or estimator using the FTRL optimizer with regularization.
estimator = LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=tf.keras.optimizers.Ftrl(
      learning_rate=0.1,
      l1_regularization_strength=0.001
    ))

# Or estimator using an optimizer with a learning rate decay.
estimator = LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    optimizer=lambda: tf.keras.optimizers.Ftrl(
        learning_rate=tf.exponential_decay(
            learning_rate=0.1,
            global_step=tf.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96))

# Or estimator with warm-starting from a previous checkpoint.
estimator = LinearRegressor(
    feature_columns=[categorical_column_a,
                     categorical_feature_a_x_categorical_feature_b],
    warm_start_from="/path/to/checkpoint/dir")


# Input builders
def input_fn_train:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_eval:
  # Returns tf.data.Dataset of (x, y) tuple where y represents label's class
  # index.
  pass
def input_fn_predict:
  # Returns tf.data.Dataset of (x, None) tuple.
  pass
estimator.train(input_fn=input_fn_train)
metrics = estimator.evaluate(input_fn=input_fn_eval)
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны иметь следующие признаки, в противном случае возникнет ошибка KeyError:

  • если weight_column не равно None, признак с именем key=weight_column, значение которого является Tensor.
  • для каждого column в feature_columns:
    • если column является SparseColumn, признак с именем key=column.name, значение которого является SparseTensor.
    • если column является WeightedSparseColumn, два признака: первый с именем колонки key, второй с именем колонки key. Значение обоих признаков должно быть SparseTensor.
    • если column является RealValuedColumn, признак с именем key=column.name, значение которого является Tensor.

Ошибка рассчитывается с помощью средней квадратичной ошибки.

Аргументы
model_fn Функция модели. Следует структуре:
  • Аргументы:

  • features: Это первый элемент, возвращаемый функцией input_fn , переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict.

  • labels: Это второй элемент, возвращаемый функцией input_fn , переданной в train, evaluate, и predict. Это должен быть один tf.Tensor или dict (для моделей с несколькими выходами). Если режим tf.estimator.ModeKeys.PREDICT, labels=None будет передан. Если функция model_fn не принимает mode, функция model_fn должна уметь обрабатывать labels=None.

  • mode: Необязательно. Указывает, тренировочный, оценочный или предсказательный режим. Смотрите tf.estimator.ModeKeys.

  • params: Необязательные dict гиперпараметров. Получит то, что передано в Estimator в параметре params. Это позволяет настраивать Estimators из гиперпараметров.

  • config: Необязательный объект estimator.RunConfig. Получит то, что передано в Estimator как параметр config, или значение по умолчанию. Позволяет настроить ваши model_fn на основе конфигурации, такой как num_ps_replicas, или model_dir.

  • Возвращает: tf.estimator.EstimatorSpec

model_dir Каталог для сохранения параметров модели, графа и т. д. Его также можно использовать для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохраненной модели. Если объект PathLike, путь будет определен. Если None, каталог модели config будет использован, если задан. Если оба заданы, они должны быть одинаковыми. Если оба None, будет использован временный каталог.
config Объект конфигурации estimator.RunConfig.
params Набор гиперпараметров, который будет передан в model_fn. Ключи — имена параметров, значения — базовые типы Python.
warm_start_from Необязательный строковый путь к контрольной точке или SavedModel для начального обучения, или объект tf.estimator.WarmStartSettings для полной настройки начального обучения.

Если None, только обучаемые переменные будут загружены.

Если указан строковый путь вместо объекта tf.estimator.WarmStartSettings, все переменные будут загружены, и предполагается, что словари и имена tf.Tensor не изменены.

Возбуждения
ValueError параметры model_fn не соответствуют params.
ValueError если это вызов через подкласс, и если этот класс переопределяет член Estimator.

Совместимость с Eager

Оценщики могут использоваться при включённом режиме eager execution. Обратите внимание, что input_fn и все хуки выполняются в контексте графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что код input_fn с использованием tf.data обычно работает в режимах графа и eager.

Атрибуты
config
model_dir
model_fn Возвращает model_fn, привязанный к self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда выгружаются метрики оценки.

Аргументы
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающем и тестовом наборах данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Строка, представляющая путь к каталогу, содержащему метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных для оценки input_fn.

На каждой итерации вызывается input_fn, который возвращает одну порцию данных. Оценивает до:

  • обработки steps порций, или
  • input_fn вызывает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, строящая входные данные для оценки. Смотрите Предопределенные оценщики для получения дополнительной информации. Функция должна строить и возвращать один из следующих вариантов: * Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже. * Кортеж (features, labels): где features — tf.Tensor или словарь имени признака (строка) к Tensor, а labels — Tensor или словарь имени метки (строка) к Tensor. И features, и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество итераций для оценки модели. Если None, оценивает до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список объектов-подклассов tf.train.SessionRunHook. Используется для обратных вызовов во время вызова оценки.
checkpoint_path Путь к определенной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с только что инициализированными Variables вместо загруженных из контрольной точки.
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающем и тестовом наборах данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn с именами в качестве ключей, а также запись global_step, содержащую значение глобального шага, для которого была выполнена эта оценка. Для предопределенных оценщиков словарь содержит loss (средняя ошибка на мини-пакет) и average_loss (средняя ошибка на образец). Предопределенные классификаторы также возвращают accuracy. Предопределенные регрессоры также возвращают label/mean и prediction/mean.
Возбуждения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем, этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих признаков и меток, и восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с набором переменных в одном каталоге экспорта SavedModel.

Для переменных и tf.MetaGraphDefs, каталог экспорта с отметкой времени ниже export_dir_base, и записывает SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных подписей.

Для предсказания экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована, когда запрос обслуживания не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются получателями входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором нужно создать подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь сопоставлений tf.estimator.ModeKeys к input_receiver_fn , где input_receiver_fn - это функция, которая не принимает аргументов и возвращает соответствующее подклассу InputReceiver.
assets_extra Словарь, определяющий способ заполнения каталога assets.extra внутри экспортированной SavedModel, или None , если дополнительные ресурсы не нужны.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
Возвращаемое значение
Строковый путь к экспортированному каталогу.
Исключения
ValueError если любой input_receiver_fn равен None, не предоставлены export_outputs или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу вывода как SavedModel в указанный каталог.

Подробное руководство см. в Использование SavedModel с оценщиками.

Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в этой графе в свежей сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована, когда запрос обслуживания не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются получателями входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельной графы обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полного описания.

Аргументы
export_dir_base Строка, содержащая каталог, в котором нужно создать подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, которая не принимает аргументы и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий способ заполнения каталога assets.extra внутри экспортированной SavedModel, или None , если дополнительные ресурсы не нужны.
as_text Нужно ли записывать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается самый последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys , указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция находится в стадии эксперимента.
Возвращаемое значение
Строковый путь к экспортированному каталогу.
Исключения
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден контрольный пункт.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует графу вывода как SavedModel в указанный каталог. (устарело)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Переименуйте эту функцию, используйте export_saved_model вместо неё.

Подробное руководство см. в Использование SavedModel с оценщиками.

Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в этой графе в свежей сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже заданного export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированная MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована, когда запрос обслуживания не указывает её. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются получателями входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут создаваться поддиректории со временем, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записывать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Более подробное руководство см. в Удалении атрибутов со значениями по умолчанию.
Возвращает
Строковый путь к экспортированной директории.
Возбуждает
ValueError если нет serving_input_receiver_fn, нет export_outputs или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Возвращает
Список имён.
Возбуждает
ValueError Если Estimator ещё не создал контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по заданному имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращает
Массив NumPy - значение тензора.
Возбуждает
ValueError Если Estimator ещё не создал контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращает
Полный путь к последней контрольной точке или None если контрольная точка не была найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что переключение двух выходов predict не работает. См.: вопрос/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказания продолжаются до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны соответствовать ограничениям, описанным ниже.
  • признаки: Тензор tf.Tensor или словарь имён признаков (строки) к Tensor. Признаки используются model_fn. Они должны удовлетворять ожиданиям model_fn из входов.
  • Кортеж, в котором в качестве признаков используется первый элемент.
predict_keys Список str, имён ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, то остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, предсказание выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращается model_fn, а не разлагает партию на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.

Выходные значения:

Оценённые значения тензоров predictions.

Возбуждает
ValueError Если длина партии предсказаний не совпадает и yield_single_examples является True.
ValueError Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием данных для обучения input_fn.

Аргументы
input_fn Функция, которая предоставляет данные для обучения в виде мини-пакетов. См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с ограничениями, аналогичными описанным ниже.
  • Кортеж (features, labels): где features - тензор tf.Tensor или словарь имён признаков (строки) к Tensor, и labels - метка Tensor или словарь имён меток (строки) к Tensor. И features, и labels используются model_fn. Они должны удовлетворять ожиданиям model_fn из входов.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Количество шагов для обучения модели. Если None, тренироваться бесконечно или тренироваться до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете два раза train(steps=10), то обучение выполняется в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо этого. Если задано, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, тренироваться бесконечно или тренироваться до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если задано, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольной точки.
Возвращает
self, для цепочки вызовов.
Возникают исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/estimator/LinearRegressor

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API