Итерируемый объект, содержащий все используемые моделью столбцы признаков. Все элементы набора должны быть экземплярами классов, производных от FeatureColumn.
n_batches_per_layer
количество пакетов для сбора статистики на каждом слое.
head
экземпляр Head , определённый для Estimator.
model_dir
Каталог для сохранения параметров модели, графа и т.д. Также может быть использован для загрузки контрольных точек из каталога в estimator для продолжения обучения ранее сохранённой модели.
weight_column
Строка или _NumericColumn , созданный с помощью tf.feature_column.numeric_column , определяющий столбец признаков, представляющий веса. Используется для уменьшения или увеличения весов примеров во время обучения. Умножается на потери примера. Если это строка, она используется в качестве ключа для извлечения тензора весов из features. Если это _NumericColumn, извлекается необработанный тензор по ключу weight_column.key, затем применяется функция нормализации weight_column.normalizer_fn для получения тензора весов.
n_trees
количество деревьев, которые необходимо создать.
max_depth
максимальная глубина вырастания дерева.
learning_rate
параметр усыхания, используемый при добавлении дерева в модель.
l1_regularization
множитель регуляризации, применяемый к абсолютным весам листов дерева.
l2_regularization
множитель регуляризации, применяемый к квадратным весам листов дерева.
tree_complexity
коэффициент регуляризации, который накладывает штраф на деревья с большим количеством листов.
min_node_weight
минимальное значение Гессиана, которое должен иметь узел, чтобы разбиение было принято во внимание. Значение сравнивается с sum(leaf_hessian)/ (batch_size * n_batches_per_layer).
config
объект RunConfig для настройки параметров выполнения.
center_bias
Необходимо ли проводить центрирование смещения. Центрирование смещения относится к первому узлу в первом дереве, возвращающему прогноз, согласованный с исходным распределением меток. Например, для задач регрессии первый узел вернет среднее значение меток. Для задач бинарной классификации он вернёт лог-коэффициент для априорной вероятности метки 1.
pruning_mode
Один из none, pre, post для указания отсутствия обрезки, предварительной обрезки (не разделять узел, если нет достаточного прироста) и последующей обрезки (построить дерево до максимальной глубины, а затем обрезать ветви с отрицательным приростом). Для предварительной и последующей обрезки НЕОБХОДИМО указать tree_complexity>0.
quantile_sketch_epsilon
Число с плавающей запятой от 0 до 1. Граница ошибки для вычисления квантиля. Используется только для числовых столбцов признаков, и количество ведер, сгенерированных на числовой признак, равно 1/quantile_sketch_epsilon.
Исключения
ValueError
при передаче неправильных аргументов или запросе неподдерживаемых функций.
Атрибуты
config
model_dir
model_fn
Возвращает model_fn, который связан с self.params.
Отображает имя каталога, куда выводятся метрики оценки.
Аргументы
name
Название оценки, если нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются раздельно в TensorBoard.
Возвращаемое значение
Строка, являющаяся путём каталога, содержащего метрики оценки.
Функция, которая строит входные данные для оценки. См. Предопределённые Estimator для получения дополнительной информации. Функция должна строить и возвращать один из следующих объектов:
Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): Где features является tf.Tensor или словарем с именами признаков в виде строк и Tensor, а labels является Tensor или словарем с именами меток в виде строк и Tensor. Оба features и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
steps
Количество шагов, на которых нужно оценить модель. Если None, оценка выполняется до тех пор, пока input_fn не выдаст исключение конца ввода.
hooks
Список экземпляров подклассов tf.train.SessionRunHook. Используются для обратных вызовов внутри вызова оценки.
checkpoint_path
Путь до конкретной контрольной точки для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированным Variables вместо восстановленных из контрольной точки.
name
Название оценки, если нужно выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются раздельно в TensorBoard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, которая содержит значение глобального шага, на котором была выполнена эта оценка. Для предопределённых estimator, словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean.
Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.
Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую диаграмму, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator`s model_fn в переданном режиме для генерации графика модели на основе этих признаков и меток и восстанавливает заданную контрольную точку (или, при её отсутствии, последнюю контрольную точку) в график. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.
Для переменных и tf.MetaGraphDefs, временной каталог экспорта под export_dir_base, и в нём записывается SavedModel , содержащий tf.MetaGraphDef для заданного режима и его соответствующих сигнатур.
Для предсказания экспортированные MetaGraphDef предоставят по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого model_fn, с именами ключей, совпадающими с ключами словаря. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если в запросе на обслуживание не указана. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда — получатели входных данных, предоставленные serving_input_receiver_fn.
Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Он должен быть словарем, где каждый ключ указывает путь к результату (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Аргументы
export_dir_base
Строка, содержащая каталог, в котором будут созданы подкаталоги со временем, содержащие экспортированные SavedModels.
input_receiver_fn_map
Словарь отображений ключей tf.estimator.ModeKeys на input_receiver_fn , где input_receiver_fn — функция без аргументов, возвращающая соответствующий подкласс InputReceiver.
assets_extra
Словарь, определяющий, как заполнить каталог assets.extra внутри экспортированных SavedModel, или None если дополнительные ресурсы не нужны.
as_text
Нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path
Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
Возвращаемое значение
Путь к каталогу экспорта в виде объекта байтов.
Исключения
ValueError
Если любой input_receiver_fnNone, предоставлены не все export_outputs или контрольная точка не найдена.
Чем выше значение, тем важнее соответствующий признак.
Аргументы
normalize
Если True, нормализовать важность признаков.
Возвращаемое значение
feature_importances
упорядоченный словарь, где ключи — имена столбцов признаков, а значения — важности. Он отсортирован по важности.
Исключения
ValueError
При попытке нормализации на пустом ансамбле или ансамбле деревьев, у которых нет разделов. Или при попытке нормализации, когда важности признаков имеют отрицательные значения.
Функция, которая предоставляет входные данные для предсказания в виде мини-пакетов. См. Предопределённые оценщики для получения дополнительной информации. Функция должна создавать и возвращать одно из следующего:
Объект tf.data.Dataset: Выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): где features — tf.Tensor или словарь имен признаков (строка) к Tensor, а labels — Tensor или словарь имён меток (строка) к Tensor. И features и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
predict_keys
Список str, имя ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, то остальная часть прогнозов будет отфильтрована из словаря, за исключением 'bias' и 'dfc', которые всегда будут в словаре. Если None, возвращает все ключи в словаре прогнозов, а также два новых ключа 'dfc' и 'bias'.
hooks
Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path
Путь к конкретной контрольной точке для предсказания. Если None, используется самая последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, прогноз выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки.
Возвращает
Оценённые значения тензоров predictions. Тензоры predictions будут содержать, по крайней мере, два ключа 'dfc' и 'bias' для объяснений модели. Значение dfc соответствует вкладу каждого признака в общий прогноз для этого экземпляра (положительное значение указывает на то, что признак делает вероятнее выбор класса 1, а отрицательное — менее вероятнее). Значение dfc — упорядоченный словарь, где ключи — имена столбцов признаков, а значения — вклады. Он отсортирован по модулю вклада (например, OrderedDict([('age', -0.54), ('gender', 0.4), ('fare', 0.21)])). Значение 'bias' будет одинаковым для всех экземпляров, соответствуя вероятности (классификация) или прогнозу (регрессия) распределения обучающих данных.
Исключения
ValueError
при задании неправильных аргументов или запросе недоступных функций.
Этот метод создаёт новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator этого model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта со временем ниже указанного export_dir_base, и записывает в него SavedModel содержащий одну tf.MetaGraphDef сохранённую из этой сессии.
Экспортированные MetaGraphDef предоставят по одному SignatureDef для каждого элемента словаря export_outputs , возвращаемого model_fn, с именами ключей, совпадающими с ключами словаря. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использована, если в запросе на обслуживание не указана. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда — получатели входных данных, предоставленные serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Он должен быть словарем, где каждый ключ указывает путь к результату (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Параметр experimental_mode может использоваться для экспорта графа отдельного обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полного описания.
Аргументы
export_dir_base
Строка, содержащая директорию, в которой будут созданы поддиректории со временем создания, содержащие экспортированные SavedModels.
Этот метод создает новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator's model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если её нет, последнюю контрольную точку) в эту графу в новой сессии. Наконец, он создаёт поддиректорию с временной меткой в заданной export_dir_base, и записывает в неё SavedModel содержащую единственную tf.MetaGraphDef сохранённую из этой сессии.
Экспортированный MetaGraphDef предоставит один SignatureDef для каждого элемента словаря export_outputs возвращаемого model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использоваться, когда запрос сервера не указывает её. Для каждой сигнатуры выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда получаются от serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно директории assets.extra. Соответствующее значение даёт полный путь исходного файла, который будет скопирован. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Аргументы
export_dir_base
Строка, содержащая директорию, в которой будут созданы поддиректории со временем создания, содержащие экспортированные SavedModels.
Обратите внимание, что чередование двух выходов predict не работает. См.: вопрос/20506
Аргументы
input_fn
Функция, которая создаёт признаки. Предсказание продолжается до тех пор, пока input_fn не сгенерирует исключение конца ввода (tf.errors.OutOfRangeError или StopIteration). Более подробную информацию см. в Premade Estimators. Функция должна создавать и возвращать одно из следующего:
tf.data.Dataset объект -- Выходы объекта Dataset должны соответствовать тем же ограничениям, что и ниже.
features -- tf.Tensor или словарь имен признаков типа string к Tensor. features потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
Кортеж, в котором в качестве признаков используется первый элемент.
predict_keys
Список str, имена ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если используется predict_keys, остальные предсказания из словаря будут отфильтрованы. Если None, возвращает все.
hooks
Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path
Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, предсказание выполняется с вновь инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples
Если False, возвращает всю партию, как возвращается model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, размер первой размерности которых не равен размеру партии.
Возвращаемое значение
Оценённые значения тензоров predictions.
Исключения
ValueError
Если длина пакета прогнозов не совпадает и yield_single_examples является True.
ValueError
Если возникает конфликт между predict_keys и predictions. Например, если predict_keys не является None, но tf.estimator.EstimatorSpec.predictions не является dict.
Обучает модель с использованием обучающих данных input_fn.
Аргументы
input_fn
Функция, предоставляющая обучающие данные в виде мини-пакетов. См. Предопределенные оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
Объект tf.data.Dataset: Выходные данные объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): где features является tf.Tensor или словарем имен признаков (строки) к Tensor, а labels является Tensor или словарем имен меток (строки) к Tensor. И features, и labels используются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks
Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps
Количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps происходит пошагово. Если вы вызываете train(steps=10) дважды, то обучение происходит в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдет в середине, обучение остановится до 20 шагов. Если вы не хотите пошагового поведения, установите max_steps вместо этого. Если задано, то max_steps должно быть None.
max_steps
Общее количество шагов для обучения модели. Если None, обучение продолжается бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если задано, steps должно быть None. Если OutOfRange или StopIteration произойдет в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый вызов выполнил все 100 шагов.
saving_listeners
Список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
