Итерируемый объект, содержащий все столбцы признаков, используемые моделью. Все элементы множества должны быть экземплярами классов, производных от FeatureColumn.
n_batches_per_layer
количество пачек для сбора статистики на каждом слое. Общее количество пачек равно общему количеству данных, деленному на размер пачки.
model_dir
Директория для сохранения параметров модели, графа и т. д. Ее также можно использовать для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохраненной модели.
n_classes
количество классов меток. По умолчанию — бинарная классификация.
weight_column
Строка или объект NumericColumn, созданный с помощью tf.fc_old.numeric_column, определяющий столбец признаков, представляющий веса. Используется для уменьшения или увеличения весов примеров во время обучения. Он будет умножаться на потерю примера. Если это строка, она используется в качестве ключа для извлечения тензора весов из features. Если это объект NumericColumn, тензор с сырыми данными извлекается по ключу weight_column.key, а затем к нему применяется weight_column.normalizer_fn, чтобы получить тензор весов.
label_vocabulary
Список строк, представляющих возможные значения меток. Если указан, метки должны быть строкового типа и иметь любое значение в label_vocabulary. Если он не указан, это означает, что метки уже закодированы как целые или вещественные числа в [0, 1] для n_classes=2 и закодированы как целые значения в {0, 1,..., n_classes-1} для n_classes>2. Кроме того, будут ошибки, если словарь не предоставлен, а метки являются строками.
n_trees
количество деревьев, которые нужно создать.
max_depth
максимальная глубина растущего дерева.
learning_rate
параметр уменьшения, используемый при добавлении дерева в модель.
l1_regularization
множитель регуляризации, применяемый к абсолютным весам листов дерева. Это значение на случай. Хорошее значение по умолчанию — 1./(n_batches_per_layer*batch_size).
l2_regularization
множитель регуляризации, применяемый к квадратичным весам листов дерева. Это значение на случай. Хорошее значение по умолчанию — 1./(n_batches_per_layer*batch_size).
tree_complexity
коэффициент регуляризации для наказания деревьев с большим количеством листов. Это значение на случай. Хорошее значение по умолчанию — 1./(n_batches_per_layer*batch_size).
min_node_weight
min_node_weight: минимальное значение хи-квадрат, которое должен иметь узел, чтобы разбиение было рассмотрено. Это значение на случай. Значение будет сравниваться с sum(leaf_hessian)/(batch_size * n_batches_per_layer).
config
объект RunConfig для настройки параметров выполнения.
center_bias
Требуется ли центрирование смещения. Центрирование смещения относится к первому узлу в первом дереве, возвращающему прогноз, который согласован с исходным распределением меток. Например, для задач регрессии первый узел вернёт среднее значение меток. Для задач бинарной классификации он вернет логарифмическую вероятность метки 1.
pruning_mode
одно из none, pre, post для обозначения отсутствия обрезки, предварительной обрезки (не разделять узел, если не наблюдается достаточного прироста) и последующей обрезки (построить дерево до максимальной глубины, а затем обрезать ветви с отрицательным приростом). Для предварительной и последующей обрезки НЕОБХОДИМО указать tree_complexity >0.
quantile_sketch_epsilon
вещественное число от 0 до 1. Ограничение ошибки для вычисления квантиля. Используется только для столбцов признаков с плавающей точкой, и количество ячеек, генерируемых на признак с плавающей точкой, равно 1/quantile_sketch_epsilon.
train_in_memory
bool, если значение истинно, предполагается, что данные находятся в памяти, т. е. input_fn должен возвращать весь набор данных как одну пачку, n_batches_per_layer должно быть установлено равным 1, num_worker_replicas должно быть равно 1, и num_ps_replicas должно быть равно 0 в tf.Estimator.RunConfig.
Исключения
ValueError
при вводе неправильных аргументов или запросе неподдерживаемых функций.
Совместимость с Eager Execution
Оценка может использоваться при включенном режиме eager execution. Обратите внимание, что input_fn и все обработчики выполняются внутри контекста графа, поэтому они должны быть написаны так, чтобы быть совместимыми с режимом графа. Обратите внимание, что input_fn код, использующий tf.data, как правило, работает в режимах графа и eager.
Отображает имя директории, в которой сохраняются метрики оценки.
Аргументы
name
Название оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Строка, представляющая путь к директории, содержащей метрики оценки.
Функция, строящая входные данные для оценки. См. Предопределенные оценщики для получения дополнительной информации. Функция должна строить и возвращать одно из следующего:
Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): где features — тензор tf.Tensor или словарь имени признака строки к Tensor, а labels — тензор Tensor или словарь имени метки строки к Tensor. И features и labels потребляются model_fn. Они должны удовлетворять ожиданию model_fn от входов.
steps
Количество шагов, на которых оценивается модель. Если None, выполняется оценка до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks
Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path
Путь к конкретной контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с новыми инициализированными Variables вместо восстановленных из контрольной точки.
name
Название оценки, если пользователю нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn, с ключами по имени, а также запись global_step, содержащую значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценщиков словарь содержит loss (средняя потеря на мини-пачку) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean.
Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.
Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графа модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, при его отсутствии, самый последний контрольный пункт) в граф. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.
Для переменных и tf.MetaGraphDefs, каталог экспорта с отметкой времени ниже export_dir_base, и записывает в него SavedModel , содержащий tf.MetaGraphDef для данного режима и связанных с ним сигнатур.
Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, с именами, соответствующими тем же ключам. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая сигнатура будет использована, когда запрос на обработку не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные — всегда входными приемниками, предоставляемыми serving_input_receiver_fn.
Для обучения и оценки train_op хранится в дополнительном наборе, а потеря, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.
Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь к целевому каталогу (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который нужно скопировать. Например, простейший случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Аргументы
export_dir_base
Строка, содержащая каталог, в котором создавать каталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map
Словарь сопоставлений tf.estimator.ModeKeys с input_receiver_fn , где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver.
assets_extra
Словарь, определяющий, как заполнить каталог assets.extra в экспортированном SavedModel, или None , если дополнительные ресурсы не нужны.
as_text
Нужно ли записывать SavedModel протокол в текстовом формате.
checkpoint_path
Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
Возвращает
Путь к каталогу экспорта в виде объекта байтов.
Возбуждает
ValueError
если какой-либо input_receiver_fn является None, нет export_outputs , или не найден контрольный пункт.
Чем выше значение, тем важнее соответствующий признак.
Аргументы
normalize
Если True, нормализует важность признаков.
Возвращает
feature_importances
упорядоченный словарь, где ключи — имена столбцов признаков, а значения — важности. Он отсортирован по важности.
Возбуждает
ValueError
При попытке нормализации пустого ансамбля или ансамбля деревьев, у которых нет разбиений. Или при попытке нормализации, если важности признаков имеют отрицательные значения.
Функция, предоставляющая входные данные для предсказания в виде мини-пакетов. См. Пресозданные оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): Где features — tf.Tensor или словарь имен признаков типа string к Tensor и labels — Tensor или словарь имён меток типа string к Tensor . Оба features и labels используются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
predict_keys
список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, возвращаются все ключи в словаре предсказаний, а также два новых ключа 'dfc' и 'bias'. Если None, возвращает все ключи в словаре предсказаний, а также два новых ключа 'dfc' и 'bias'.
hooks
Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path
Путь к определённому контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если в model_dir нет контрольных пунктов, предсказание выполняется с вновь инициализированными Variables вместо восстановленных из контрольного пункта.
Возвращает
Оценённые значения тензоров predictions . Тензоры predictions будут содержать как минимум два ключа 'dfc' и 'bias' для объяснений модели. Значение dfc соответствует вкладу каждого признака в общее предсказание для данного экземпляра (положительное значение указывает, что признак увеличивает вероятность выбора класса 1, отрицательное — уменьшает). Значение dfc — упорядоченный словарь, где ключи — имена столбцов признаков, а значения — вклады. Он отсортирован по абсолютному значению вклада (например, OrderedDict([('age', -0.54), ('gender', 0.4), ('fare', 0.21)])). Значение 'bias' будет одинаковым для всех экземпляров и соответствует вероятности (классификация) или предсказанию (регрессия) распределения обучающих данных.
Возбуждает
ValueError
при неправильных аргументах или запросе неподдерживаемых функций.
Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor , а затем вызвав Estimator's model_fn для генерации графа модели на основе этих признаков. Восстанавливает указанный контрольный пункт (или, при его отсутствии, самый последний контрольный пункт) в эту графу в новой сессии. Наконец, создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает в него SavedModel , содержащий единственный tf.MetaGraphDef , сохранённый из этой сессии.
Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, с именами, соответствующими тем же ключам. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая сигнатура будет использована, когда запрос на обработку не указывает её. Для каждой сигнатуры выходы предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные — всегда входными приемниками, предоставляемыми serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Параметр experimental_mode может быть использован для экспорта одной графы train/eval/predict как SavedModel. См. experimental_export_all_saved_models для полной документации.
Аргументы
export_dir_base
Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModel.
Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator метод model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в эту графу в новой сессии. Наконец, он создает каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает SavedModel в него, содержащий единственную tf.MetaGraphDef сохранённую из этой сессии.
Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий на то, какая подпись будет использована, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются приемниками входных данных, предоставленными serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Аргументы
export_dir_base
Строка, содержащая каталог, в котором будут созданы подкаталоги с отметкой времени, содержащие экспортированные SavedModel.
Обратите внимание, что чередование двух выходов predict не работает. См.: issue/20506
Аргументы
input_fn
Функция, которая создаёт признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). Дополнительную информацию можно найти в разделе Предварительно сконфигурированные оценщики. Функция должна создавать и возвращать одно из следующего:
Объект tf.data.Dataset — Выходы объекта Dataset должны соответствовать тем же ограничениям, что и ниже.
признаки — tf.Tensor или словарь из имени признака в виде строки к Tensor. Признаки используются model_fn. Они должны соответствовать ожидаемому формату входных данных model_fn.
Кортеж, в этом случае первым элементом будет извлечены признаки.
predict_keys
Список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, то остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks
Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path
Путь к конкретному контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если контрольных пунктов в model_dir нет, предсказание выполняется с новыми инициализированными Variables вместо восстановленных из контрольного пункта.
yield_single_examples
Если False, возвращает всю партию, как возвращает model_fn вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру партии.
Возвращает
Оценённые значения тензоров predictions.
Исключения
ValueError
Если длина партии предсказаний не совпадает, и yield_single_examples является True.
ValueError
Если есть конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.
Обучает модель с использованием обучающих данных input_fn.
Аргументы
input_fn
Функция, которая предоставляет обучающие данные в виде мини-пакетов. Дополнительную информацию можно найти в разделе Предварительно сконфигурированные оценщики. Функция должна создавать и возвращать одно из следующего:
Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): где features — tf.Tensor или словарь из имени признака в виде строки к Tensor, а labels — Tensor или словарь из имени метки в виде строки к Tensor. И features и labels используются model_fn. Они должны соответствовать ожидаемому формату входных данных model_fn.
hooks
Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps
Количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps происходит пошагово. Если вы вызываете train(steps=10) дважды, то обучение происходит в общей сложности 20 шагами. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения 20 шагов. Если вы не хотите пошагового поведения, задайте max_steps. Если установлено, max_steps должно быть None.
max_steps
Общее количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до достижения max_steps шагов. Два вызова train(steps=100) означает 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означает, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners
Список объектов CheckpointSaverListener. Используется для обратных вызовов, выполняемых непосредственно перед или после сохранения контрольных пунктов.
