Spec-Zone.ru › TensorFlow 2.3

tf.estimator.BoostedTreesEstimator

Просмотреть исходный код на GitHub

Оценщик для моделей Tensorflow Boosted Trees.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительной информации.

tf.compat.v1.estimator.BoostedTreesEstimator

tf.estimator.BoostedTreesEstimator(
    feature_columns, n_batches_per_layer, head, model_dir=None, weight_column=None,
    n_trees=100, max_depth=6, learning_rate=0.1, l1_regularization=0.0,
    l2_regularization=0.0, tree_complexity=0.0, min_node_weight=0.0, config=None,
    center_bias=False, pruning_mode='none', quantile_sketch_epsilon=0.01
)
Аргументы
feature_columns Итерируемый объект, содержащий все используемые моделью столбцы признаков. Все элементы набора должны быть экземплярами классов, производных от FeatureColumn.
n_batches_per_layer количество партий для сбора статистики за слой.
head экземпляр Head , определённый для Оценщика.
model_dir Каталог для сохранения параметров модели, графа и т. д. Также можно использовать для загрузки контрольных точек из каталога в оценщик, чтобы продолжить обучение ранее сохранённой модели.
weight_column Строка или _NumericColumn, созданный с помощью tf.feature_column.numeric_column , определяющий столбец признака, представляющий веса. Используется для уменьшения или увеличения примеров во время обучения. Он будет умножаться на потерю примера. Если это строка, она используется в качестве ключа для извлечения тензора весов из features. Если это _NumericColumn, сырой тензор извлекается по ключу weight_column.key, затем применяется weight_column.normalizer_fn, чтобы получить тензор весов.
n_trees количество деревьев, которые должны быть созданы.
max_depth максимальная глубина выращивания дерева.
learning_rate параметр усадки, который будет использоваться при добавлении дерева в модель.
l1_regularization множитель регуляризации, применяемый к абсолютным весам листов дерева.
l2_regularization множитель регуляризации, применяемый к квадратным весам листов дерева.
tree_complexity коэффициент регуляризации для наказания деревьев с большим количеством листьев.
min_node_weight минимальное значение Гессиана, которое должен иметь узел для того, чтобы разделение было учтено. Значение будет сравнено с sum(leaf_hessian)/ (batch_size * n_batches_per_layer).
config объект RunConfig для настройки параметров выполнения.
center_bias Требуется ли центрирование смещения. Центрирование смещения относится к первому узлу в самом первом дереве, возвращающему прогноз, который согласован с исходным распределением меток. Например, для задач регрессии первый узел вернёт среднее значение меток. Для задач бинарной классификации он вернёт логарифм вероятности метки 1.
pruning_mode один из none, pre, post , чтобы указать отсутствие обрезки, предварительную обрезку (не разделять узел, если не наблюдается достаточного прироста) и последующую обрезку (построить дерево до максимальной глубины, а затем обрезать ветви с отрицательным приростом). Для предварительной и последующей обрезки вы ДОЛЖНЫ указать tree_complexity>0.
quantile_sketch_epsilon число с плавающей запятой от 0 до 1. Граница ошибки для вычисления квантиля. Используется только для столбцов с плавающей запятой, и количество ячеек, генерируемых на столбец с плавающей запятой, равно 1/quantile_sketch_epsilon.
Возбуждает
ValueError при вводе неправильных аргументов или запросе неподдерживаемых функций.
Атрибуты
config
model_dir
model_fn Возвращает model_fn, связанный с self.params.
params

Методы

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда выгружаются метрики оценки.

Аргументы
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Строка, представляющая путь к каталогу, содержащему метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель с использованием данных оценки input_fn.

На каждом шаге вызывается input_fn, которая возвращает одну партию данных. Оценивает до:

  • steps обработанных партий, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создает входные данные для оценки. Смотрите Предварительно созданные оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features - tf.Tensor или словарь имени признака в строковом формате в Tensor, а labels - Tensor или словарь имени метки в строковом формате в Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
steps Количество шагов для оценки модели. Если None, оценивает до тех пор, пока input_fn не сгенерирует исключение конца ввода.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к определённой контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с только что инициализированным Variables вместо восстанавливаемых из контрольной точки.
name Имя оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn по имени, а также запись global_step , содержащую значение глобального шага, для которого была выполнена эта оценка. Для предварительно созданных оценщиков словарь содержит loss (средняя потеря за мини-патию) и average_loss (средняя потеря на образец). Предварительно созданные классификаторы также возвращают accuracy. Предварительно созданные регрессоры также возвращают label/mean и prediction/mean.
Возбуждает
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого переданного режима с помощью input_receiver_fn_map, этот метод строит новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator 's model_fn в заданном режиме, чтобы сгенерировать график модели на основе этих признаков и меток, и восстановить заданную контрольную точку (или, при её отсутствии, последнюю контрольную точку) в график. Только один из режимов используется для сохранения переменных в SavedModel (порядок приоритета: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одной группой переменных в одном каталоге экспорта SavedModel.

Для переменных и tf.MetaGraphDefs, каталог экспорта с отметкой времени под export_dir_base, и записывает в него SavedModel , содержащий tf.MetaGraphDef для данного режима и его связанных подписей.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована, если в запросе на обслуживание не указана сигнатура. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — входные приемники, предоставляемые serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и прогнозы включаются в SignatureDef для соответствующего режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут созданы поддиректории с отметками времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь сопоставлений tf.estimator.ModeKeys с input_receiver_fn , где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны.
as_text Флаг, указывающий, нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается последняя найденная контрольная точка внутри директории модели.
Возвращаемое значение
Путь к экспортированной директории в виде объекта байтов.
Исключения
ValueError если какой-либо input_receiver_fn None, не указаны export_outputs или не найдена контрольная точка.

experimental_feature_importances

Посмотреть исходный код

experimental_feature_importances(
    normalize=False
)

Вычисляет важность признаков, основанную на выигрыше.

Чем выше значение, тем важнее соответствующий признак.

Аргументы
normalize Если True, нормализовать важность признаков.
Возвращаемое значение
feature_importances упорядоченный словарь, где ключи — имена столбцов признаков, а значения — важности. Он отсортирован по важности.
Исключения
ValueError При попытке нормализации пустого ансамбля или ансамбля деревьев без разделений. Или при попытке нормализации и важности признаков имеют отрицательные значения.

experimental_predict_with_explanations

Посмотреть исходный код

experimental_predict_with_explanations(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None
)

Вычисляет выходы модели, объясняющие прогнозы для каждого примера.

В настоящее время поддерживаются направленные вклады признаков (DFC). Для каждого экземпляра DFC указывают совокупный вклад каждого признака. См. https://arxiv.org/abs/1312.1121 и http://blog.datadive.net/interpreting-random-forests/ для получения дополнительной информации.

Аргументы
input_fn Функция, предоставляющая входные данные для предсказания в виде мини-пакетов. См. Предопределённые оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features — tf.Tensor или словарь с именем признака в качестве строки до Tensor и labels — Tensor или словарь с именем метки в качестве строки до Tensor. Оба features и labels потребляются model_fn. Они должны удовлетворять ожиданиям от входов model_fn.
predict_keys список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, то остальные прогнозы будут отфильтрованы из словаря, за исключением «bias» и «dfc», которые всегда будут в словаре. Если None, возвращает все ключи в словаре предсказаний, а также два новых ключа «dfc» и «bias».
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, прогноз выполняется с новыми инициализированными Variables вместо восстановленных из контрольной точки.

Возвращаемые значения:

Вычисленные значения тензоров predictions. Тензоры predictions будут содержать как минимум два ключа «dfc» и «bias» для объяснений модели. Значение dfc соответствует вкладу каждого признака в общий прогноз для данного экземпляра (положительное значение означает, что признак делает вероятность выбора класса 1 более высокой, а отрицательное — менее вероятной). Значение dfc — упорядоченный словарь, где ключи — имена столбцов признаков, а значения — вклады. Он отсортирован по модулю вклада (например, OrderedDict([('возраст', -0,54), ('пол', 0,4), ('тариф', 0,21)])). Значение «bias» будет одинаковым для всех экземпляров, соответствующее вероятности (классификация) или прогнозу (регрессия) распределения обучающих данных.

Исключения
ValueError при вводе неправильных аргументов или запросе неподдерживаемых функциональных возможностей.

export_saved_model

Посмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует график вывода как SavedModel в указанную директорию.

Для подробного руководства см. SavedModel из оценщиков.

Этот метод создаёт новый граф, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в этом графике в новой сессии. Наконец, он создаёт директорию экспорта с отметкой времени ниже заданной export_dir_base, и записывает в неё SavedModel , содержащую одну сохранённую tf.MetaGraphDef из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована, если в запросе на обслуживание не указана сигнатура. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — входные приемники, предоставляемые serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение указывает полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Экспериментальный параметр mode может использоваться для экспорта отдельного графика обучения/оценки/предсказания в качестве SavedModel. Смотрите experimental_export_all_saved_models для полного описания.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут создаваться поддиректории со временем создания, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys, указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция экспериментальная.
Возвращаемое значение
Путь к экспортированной директории в виде объекта типа bytes.
Исключения
ValueError если нет serving_input_receiver_fn, нет export_outputs, или не найдена контрольная точка.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует граф предсказания как SavedModel в указанную директорию. (устаревший)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущих версиях. Инструкции по обновлению: Эта функция переименована, используйте export_saved_model вместо неё.

Для подробного руководства, см. SavedModel из Estimators.

Этот метод создает новую графу, сначала вызывая serving_input_receiver_fn для получения признаков Tensors, а затем вызывая Estimator 's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в эту графу в новой сессии. Наконец, он создает поддиректорию с отметкой времени ниже заданной export_dir_base, и записывает SavedModel в неё, содержащую одну tf.MetaGraphDef сохраненную из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет обслуживаться, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда получаются от serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение задаёт полный путь исходного файла для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая директорию, в которой будут создаваться поддиректории со временем создания, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция без аргументов, возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированном SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записать SavedModel протокол в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefs. Для подробного руководства, см. Удаление атрибутов со значениями по умолчанию.
Возвращаемое значение
Путь к экспортированной директории в виде объекта типа bytes.
Исключения
ValueError если нет serving_input_receiver_fn, нет export_outputs, или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имен переменных в этой модели.

Возвращаемое значение
Список имён.
Исключения
ValueError Если Estimator ещё не создал контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной по имени.

Аргументы
name Строка или список строк, имя тензора.
Возвращаемое значение
Массив NumPy - значение тензора.
Исключения
ValueError Если Estimator ещё не создал контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Возвращаемое значение
Полный путь к последней контрольной точке или None если контрольная точка не была найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух выходов predict не работает. См.: вопрос/20506

Аргументы
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не вызовет исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). См. Предопределённые Estimators для получения дополнительной информации. Функция должна построить и вернуть одно из следующего:
  • tf.data.Dataset объект — Выходы объекта Dataset должны соответствовать ограничениям ниже.
  • признаки — tf.Tensor или словарь имени признака к значению. признаки потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входов.
  • Кортеж, в этом случае первый элемент извлекается как признаки.
predict_keys Список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, то остальные предсказания отфильтруются из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook . Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir Если в model_dir нет контрольных точек, предсказание выполняется с новыми инициализированными Variables вместо тех, которые восстановлены из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращается model_fn вместо того, чтобы разбивать партию на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.

Выходные данные:

Оцененные значения predictions тензоров.

Возбуждает
ValueError Если длина пакета прогнозов не совпадает, и yield_single_examples равно True.
ValueError Если возникает конфликт между predict_keys и predictions. Например, если predict_keys не равно None, но tf.estimator.EstimatorSpec.predictions не является dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием данных обучения input_fn.

Аргументы
input_fn Функция, предоставляющая данные для обучения в виде мини-пакетов. Подробнее см. Предопределённые оценщики. Функция должна создавать и возвращать один из следующих объектов:
  • Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — это tf.Tensor или словарь имён признаков (строки) к Tensor, а labels — это Tensor или словарь имён меток (строки) к Tensor. И features, и labels используются (features, labels). Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Число шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызовете train(steps=10) дважды, обучение пройдёт в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдут посредине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, установите max_steps вместо этого. Если установлено, max_steps должно быть None.
max_steps Общее число шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдут посредине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
Возвращает
self, для цепочки вызовов.
Возбуждает
ValueError Если оба steps и max_steps не равны None.
ValueError Если либо steps или max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/BoostedTreesEstimator

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API