Итерируемый объект, содержащий все столбцы признаков, используемые моделью. Все элементы набора должны быть экземплярами классов, производными от FeatureColumn.
n_batches_per_layer
число батчей для сбора статистики на каждый слой. Общее число батчей равно общему числу данных, деленному на размер батча.
model_dir
Директория для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из директории в оценщик для продолжения обучения ранее сохраненной модели.
label_dimension
Количество целевых значений регрессии на пример.
weight_column
Строка или NumericColumn, созданная tf.fc_old.numeric_column, определяющая столбец признака, представляющий веса. Он используется для уменьшения или повышения важности примеров во время обучения. Он будет умножаться на потерю примера. Если это строка, она используется в качестве ключа для извлечения тензора весов из features. Если это NumericColumn, тензор сырых данных извлекается по ключу weight_column.key, затем weight_column.normalizer_fn применяется к нему, чтобы получить тензор весов.
n_trees
количество деревьев, которые нужно создать.
max_depth
максимальная глубина дерева для роста.
learning_rate
коэффициент усушки, используемый при добавлении дерева к модели.
l1_regularization
множитель регуляризации, применяемый к абсолютным весам листьев дерева.
l2_regularization
множитель регуляризации, применяемый к квадратным весам листьев дерева.
tree_complexity
фактор регуляризации для наказания деревьев с большим количеством листьев.
min_node_weight
min_node_weight: минимальный гессиан, необходимый узлу для рассмотрения разбиения. Значение будет сравниваться с sum(leaf_hessian)/(batch_size * n_batches_per_layer).
config
объект RunConfig для конфигурации параметров выполнения.
center_bias
Требуется ли выравнивание смещения. Выравнивание смещения относится к первому узлу в первом дереве, возвращающему предсказание, соответствующее распределению исходных меток. Например, для регрессионных задач первый узел вернет среднее значение меток. Для задач двоичной классификации он вернет логарифм для вероятности метки 1.
pruning_mode
один из none, pre, post для обозначения отсутствия обрезки, предшествующей обрезки (не разбиение узла, если не наблюдается достаточного прироста) и последующей обрезки (построение дерева до максимальной глубины, а затем обрезка ветвей с отрицательным приростом). Для предшествующей и последующей обрезки ОБЯЗАТЕЛЬНО укажите tree_complexity>0.
quantile_sketch_epsilon
Число от 0 до 1. Граница ошибки для вычисления квантиля. Используется только для численных столбцов признаков, а число ведер, сгенерированных на численный признак, равно 1/quantile_sketch_epsilon.
train_in_memory
bool, если значение true, предполагается, что набор данных находится в памяти, т. е. input_fn должен возвращать весь набор данных как единый батч, n_batches_per_layer должно быть установлено как 1, num_worker_replicas должно быть 1, а num_ps_replicas должно быть 0 в tf.Estimator.RunConfig.
Возбуждения
ValueError
при предоставлении неправильных аргументов или запросе недопустимых функций.
Совместимость с Eager
Оценка может использоваться при включённом режиме eager execution. Обратите внимание, что input_fn и все хуки выполняются в контексте графа, поэтому они должны быть написаны для совместимости с режимом графа. Обратите внимание, что код input_fn с использованием tf.data обычно работает в режимах графа и eager.
Атрибуты
config
model_dir
model_fn
Возвращает model_fn, который привязан к self.params.
Показывает имя директории, куда выгружаются метрики оценки.
Аргументы
name
Имя оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Строка, представляющая путь к каталогу, содержащему метрики оценки.
Функция, которая создает входные данные для оценки. См. Предопределенные оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих объектов:
Объект tf.data.Dataset: Выходы Dataset объекта должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): Где features является tf.Tensor или словарем с именем признака строки к Tensor, а labels - Tensor или словарем с именем метки строки к Tensor. И features и labels потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входов.
steps
Количество шагов для оценки модели. Если None, оценивается до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks
Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path
Путь к определённой контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir. Если в model_dir нет контрольных точек, оценка выполняется с только что инициализированными Variables вместо восстановленных из контрольной точки.
name
Имя оценки, если пользователю необходимо выполнить несколько оценок на различных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в TensorBoard.
Возвращает
Словарь, содержащий метрики оценки, указанные в model_fn по имени, а также запись global_step, которая содержит значение глобального шага, для которого была выполнена эта оценка. Для предопределённых оценщиков словарь содержит loss (средняя потеря на мини-батче) и average_loss (средняя потеря на образец). Предопределённые классификаторы также возвращают accuracy. Предопределённые регрессоры также возвращают label/mean и prediction/mean.
Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.
Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую графу, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator метод model_fn в переданном режиме для генерации графика модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в графе. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с набором переменных в одном каталоге SavedModel.
Для переменных и tf.MetaGraphDefs, каталог экспорта со временем ниже export_dir_base, и записывает в него SavedModel, содержащий tf.MetaGraphDef для заданного режима и его связанных сигнатур.
Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращаемого из model_fn, с именами, совпадающими с ключами. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывая, какая подпись будет использоваться, когда запрос на обработку не указывает конкретную. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — приемники входных данных, предоставленные serving_input_receiver_fn.
Для обучения и оценки train_op хранится в дополнительном наборе, и потеря, метрики и предсказания включаются в SignatureDef для данного режима.
Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Args
export_dir_base
Строка, содержащая каталог, в котором будут созданы подкаталоги со временем, содержащие экспортированные SavedModels.
input_receiver_fn_map
Словарь соответствий tf.estimator.ModeKeys к input_receiver_fn картам, где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующее подклассу InputReceiver.
assets_extra
Словарь, определяющий, как заполнить каталог assets.extra в экспортированном SavedModel, или None при отсутствии дополнительных ресурсов.
as_text
необходимо ли записывать протокол SavedModel в текстовом формате.
checkpoint_path
Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
Returns
Путь к экспортированному каталогу в виде объекта байтов.
Raises
ValueError
если какой-либо input_receiver_fn имеет None, нет export_outputs или не найден контрольный пункт.
Чем выше значение, тем важнее соответствующий признак.
Args
normalize
Если True, нормализуйте важности признаков.
Returns
feature_importances
упорядоченный словарь, где ключи — имена столбцов признаков, а значения — важности. Он отсортирован по важности.
Raises
ValueError
При попытке нормализации пустого ансамбля или ансамбля деревьев, у которых нет разделений. Или при попытке нормализации и отрицательных значениях важностей признаков.
Функция, которая предоставляет входные данные для предсказания в виде мини-пакетов. См. Предварительно созданные оценщики для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): где features — tf.Tensor или словарь с именем признака в виде строки и Tensor, и labels — Tensor или словарь с именем метки в виде строки и Tensor. Оба features и labels используются model_fn. Они должны удовлетворять ожиданию model_fn от входных данных.
predict_keys
список str, имя ключей для предсказания. Оно используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальная часть предсказаний будет отфильтрована из словаря, за исключением 'bias' и 'dfc', которые всегда будут в словаре. Если None, возвращает все ключи в словаре предсказаний, а также два новых ключа 'dfc' и 'bias'.
hooks
Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path
Путь к конкретному контрольному пункту для предсказания. Если None, используется последний контрольный пункт в model_dir. Если в model_dir нет контрольных пунктов, предсказание выполняется с только что инициализированными Variables вместо восстанавливаемых из контрольного пункта.
Yields
Оцененные значения тензоров predictions. Тензоры predictions будут содержать как минимум два ключа 'dfc' и 'bias' для объяснений модели. Значение dfc соответствует вкладу каждого признака в общее предсказание для данного экземпляра (положительное значение означает, что признак увеличивает вероятность выбора класса 1, отрицательное — уменьшает). Значение dfc — это упорядоченный словарь, где ключи — имена столбцов признаков, а значения — вклады. Он отсортирован по абсолютному значению вклада (например, OrderedDict([('age', -0,54), ('gender', 0,4), ('fare', 0,21)])). Значение 'bias' будет одинаковым для всех экземпляров и соответствует вероятности (классификация) или предсказанию (регрессия) распределения обучающих данных.
Raises
ValueError
при предоставлении неверных аргументов или запросе неподдерживаемых функциональных возможностей.
Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator метод model_fn для генерации графика модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, при его отсутствии, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта со временем ниже заданного export_dir_base, и записывает в него SavedModel , содержащий одну tf.MetaGraphDef сохранённую из этой сессии.
Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращаемого model_fn, с именами, соответствующими ключам. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована, когда запрос на обработку не указывает конкретной. Для каждой подписи выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — приемники входных данных, предоставленные serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение даёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Параметр experimental_mode можно использовать для экспорта отдельной графика обучения/валидации/предсказания в формате SavedModel. См. experimental_export_all_saved_models для полной документации.
Аргументы
export_dir_base
Строка, содержащая каталог, в котором будут создаваться временные подкаталоги с экспортированными SavedModel.
Этот метод строит новую графу, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator данного объекта для генерации графы модели на основе этих признаков. Он восстанавливает заданную контрольную точку (или, если ее нет, последнюю контрольную точку) в эту графу в новой сессии. Наконец, он создает временной каталог для экспорта под заданным export_dir_base, и записывает в него SavedModel содержащий единственный tf.MetaGraphDef сохраненный из этой сессии.
Экспортированный MetaGraphDef будет предоставлять по одному SignatureDef для каждого элемента словаря export_outputs возвращаемого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, если в запросе об обслуживании не указана подпись. Для каждой подписи, выходы предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда являются приемниками входных данных, предоставляемыми serving_input_receiver_fn.
Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ указывает путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение указывает полный путь к исходному файлу, который необходимо скопировать. Например, простой случай копирования одного файла без переименования задается как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.
Аргументы
export_dir_base
Строка, содержащая каталог, в котором будут создаваться временные подкаталоги с экспортированными SavedModel.
Обратите внимание, что чередование двух выходов predict не работает. См.: issue/20506
Аргументы
input_fn
Функция, которая строит признаки. Предсказания продолжаются до тех пор, пока input_fn не поднимет исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). См. Предопределённые оценщики для получения дополнительной информации. Функция должна строить и возвращать одно из следующего:
tf.data.Dataset объект -- Выходы объекта Dataset должны удовлетворять тем же ограничениям, что и ниже.
features -- tf.Tensor или словарь имен признаков к Tensor. Признаки потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входов.
Кортеж, в котором в качестве признаков используется первый элемент.
predict_keys
Список имен признаков, которые нужно предсказать. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys, то остальная часть предсказаний будет отфильтрована из словаря. Если None, возвращает все.
hooks
Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path
Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, предсказание выполняется с помощью только что инициализированных Variables вместо тех, которые восстановлены из контрольной точки.
yield_single_examples
Если False, возвращает всю партию, как возвращает model_fn вместо разделения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.
Возвращаемые значения
Значения, полученные в результате вычисления тензоров predictions.
Исключения
ValueError
Если длина пакета прогнозов не совпадает, и yield_single_examples имеет значение True.
ValueError
Если возникает конфликт между predict_keys и predictions. Например, если predict_keys не соответствует None, но tf.estimator.EstimatorSpec.predictions не является dict.
Обучает модель с использованием обучающих данных input_fn.
Аргументы
input_fn
Функция, предоставляющая данные для обучения в виде мини-пакетов. Подробнее см. Предопределенные модели. Функция должна создавать и возвращать один из следующих объектов:
Объект tf.data.Dataset: выводы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
Кортеж (features, labels): где features - это tf.Tensor или словарь имен признаков (строки) к Tensor, а labels - это Tensor или словарь имен меток (строки) к Tensor. И features, и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
hooks
Список экземпляров подкласса tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps
Количество шагов для обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызываете train(steps=10) дважды, то обучение произойдёт в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, пожалуйста, установите max_steps. Если установлено, max_steps должно быть None.
max_steps
Общее количество шагов для обучения модели. Если None, обучение происходит бесконечно или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если установлено, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, поскольку первый вызов выполнил все 100 шагов.
saving_listeners
список объектов CheckpointSaverListener. Используется для обратных вызовов, которые выполняются непосредственно перед или после сохранения контрольных точек.
