ExtraTreesClassifier

классsklearn.ensemble.ExtraTreesClassifier(n_estimators=100, *, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features='sqrt', max_leaf_nodes=None, min_impurity_decrease=0.0, bootstrap=False, oob_score=False, n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None, ccp_alpha=0.0, max_samples=None, monotonic_cst=None)[исходный код]

Классификатор Extra-Trees.

Этот класс реализует метаоцениватель, который обучает несколько рандомизированных деревьев решений (так называемых Extra-Trees) на различных подвыборках набора данных и использует усреднение для повышения точности прогнозирования и контроля переобучения.

Этот оцениватель изначально поддерживает пропущенные значения (NaN) при случайном разбиении. Во время обучения для разбиения непустых значений выбирается случайный порог. Затем непустые значения направляются в левый или правый дочерний узел в зависимости от случайно выбранного порога, а пропущенные значения также случайным образом направляются в левый или правый дочерний узел. Это повторяется для каждого признака, рассматриваемого при каждом разбиении. Из всех вариантов выбирается наилучшее разбиение.

Подробнее см. в Руководстве пользователя.

Параметры:

n_estimatorsint, default=100

Количество деревьев в ансамбле.

Изменено в версии 0.22: Значение по умолчанию n_estimators изменено с 10 на 100 в версии 0.22.

criterion{“gini”, “entropy”, “log_loss”}, default=”gini”

Функция для измерения качества разбиения. Поддерживаются критерии “gini” для нечистоты Джини, а также “log_loss” и “entropy” для информационного выигрыша Шеннона; см. Математическая формулировка. Примечание: этот параметр относится к деревьям.

max_depthint, default=None

Максимальная глубина дерева. Если None, узлы расширяются до тех пор, пока все листья не станут чистыми или пока все листья не будут содержать менее min_samples_split объектов.

min_samples_splitint or float, default=2

Минимальное количество объектов, необходимое для разбиения внутреннего узла:

• Если задано значение int, min_samples_split считается минимальным количеством.
• Если задано значение float, min_samples_split является долей, а ceil(min_samples_split * n_samples) — минимальным количеством объектов для каждого разбиения.

Изменено в версии 0.18: Добавлена возможность задавать доли значениями float.

min_samples_leafint or float, default=1

Минимальное количество объектов, необходимое для конечного узла. Точка разбиения на любой глубине рассматривается только в том случае, если в каждой из левой и правой ветвей остается не менее min_samples_leaf обучающих объектов. Это может сглаживать модель, особенно в задачах регрессии.

• Если задано значение int, min_samples_leaf считается минимальным количеством.
• Если задано значение float, min_samples_leaf является долей, а ceil(min_samples_leaf * n_samples) — минимальным количеством объектов в каждом узле.

Изменено в версии 0.18: Добавлена возможность задавать доли значениями float.

min_weight_fraction_leaffloat, default=0.0

Минимальная взвешенная доля от общей суммы весов (всех входных объектов), необходимая для конечного узла. Если sample_weight не задан, объекты имеют одинаковый вес.

max_features{“sqrt”, “log2”, None}, int or float, default=”sqrt”

Количество признаков, рассматриваемых при поиске наилучшего разбиения:

• Если задано значение int, при каждом разбиении рассматриваются max_features признаков.
• Если задано значение float, max_features является долей, а при каждом разбиении рассматриваются max(1, int(max_features * n_features_in_)) признаков.
• Если задано значение “sqrt”, то max_features=sqrt(n_features).
• Если задано значение “log2”, то max_features=log2(n_features).
• Если задано значение None, то max_features=n_features.

Изменено в версии 1.1: Значение по умолчанию для max_features изменено с "auto" на "sqrt".

Примечание: поиск разбиения продолжается, пока не будет найдено хотя бы одно допустимое разбиение объектов узла, даже если для этого фактически потребуется проверить больше max_features признаков.

max_leaf_nodesint, default=None

Деревья выращиваются в порядке наилучшего первого с max_leaf_nodes. Наилучшие узлы определяются относительным уменьшением нечистоты. Если задано значение None, количество конечных узлов не ограничено.

min_impurity_decreasefloat, default=0.0

Узел разбивается, если это разбиение приводит к уменьшению нечистоты не меньше указанного значения.

Уравнение взвешенного уменьшения нечистоты имеет следующий вид:

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

где N — общее количество объектов, N_t — количество объектов в текущем узле, N_t_L — количество объектов в левом дочернем узле, а N_t_R — количество объектов в правом дочернем узле.

N, N_t, N_t_R и N_t_L обозначают взвешенные суммы, если передан параметр sample_weight.

Добавлено в версии 0.19.

bootstrapbool, default=False

Используются ли бутстрэп-выборки при построении деревьев. Если задано значение False, для построения каждого дерева используется весь набор данных.

oob_scorebool or callable, default=False

Использовать ли вневыборочные объекты для оценки качества обобщения. По умолчанию используется accuracy_score. Чтобы использовать пользовательскую метрику, передайте вызываемый объект с сигнатурой metric(y_true, y_pred). Доступно только при bootstrap=True.

Пример оценки ошибки по вневыборочным объектам (OOB) см. в примере Ошибки OOB для случайных лесов.

n_jobsint, default=None

Количество задач, выполняемых параллельно. fit, predict, decision_path и apply выполняются параллельно для деревьев. None означает 1, если только не используется контекст joblib.parallel_backend. -1 означает использование всех процессоров. Подробнее см. в глоссарии.

random_stateint, RandomState instance or None, default=None

Управляет тремя источниками случайности:

• бутстрэп-выборкой объектов, используемой при построении деревьев (если задано bootstrap=True)
• выборкой признаков, рассматриваемых при поиске наилучшего разбиения каждого узла (если задано max_features < n_features)
• выбором разбиений для каждого из max_features

Подробнее см. в глоссарии.

verboseint, default=0

Управляет подробностью вывода при обучении и прогнозировании.

warm_startbool, default=False

Если задано значение True, повторно используется результат предыдущего вызова fit и в ансамбль добавляются новые оцениватели; в противном случае обучается совершенно новый лес. Подробнее см. в глоссарии и разделе Обучение дополнительных деревьев.

class_weight{“balanced”, “balanced_subsample”}, dict or list of dicts, default=None

Веса классов в виде {class_label: weight}. Если не заданы, предполагается, что вес всех классов равен единице. Для задач с несколькими выходами можно передать список словарей в том же порядке, что и столбцы y.

Обратите внимание: для задач с несколькими выходами (включая многоклассовую разметку) веса следует задавать для каждого класса каждого столбца в отдельном словаре. Например, для многоклассовой классификации с четырьмя метками следует использовать [{0: 1, 1: 1}, {0: 1, 1: 5}, {0: 1, 1: 1}, {0: 1, 1: 1}], а не [{1:1}, {2:5}, {3:1}, {4:1}].

Режим “balanced” использует значения y для автоматической настройки весов, обратно пропорциональных частоте классов во входных данных, по формуле n_samples / (n_classes * np.bincount(y))

Режим “balanced_subsample” аналогичен “balanced”, но веса вычисляются для бутстрэп-выборки каждого выращиваемого дерева.

Для нескольких выходов веса каждого столбца y перемножаются.

Обратите внимание: если задан sample_weight, эти веса перемножаются с ним (передается через метод fit).

ccp_alphanon-negative float, default=0.0

Параметр сложности, используемый для минимальной обрезки по критерию «стоимость—сложность». Будет выбрано поддерево с наибольшей стоимостью сложности, меньшей ccp_alpha. По умолчанию обрезка не выполняется. Подробнее см. в разделе Минимальная обрезка по критерию «стоимость—сложность». Пример такой обрезки см. в разделе Построение деревьев решений с последующей обрезкой по критерию «стоимость—сложность».

Добавлено в версии 0.22.

max_samplesint or float, default=None

Если bootstrap имеет значение True, количество объектов, выбираемых из X для обучения каждого базового оценивателя.

• Если задано значение None (по умолчанию), выбираются X.shape[0] объектов независимо от sample_weight.
• Если задано значение int, выбираются max_samples объектов.
• Если задано значение float, выбираются max_samples * X.shape[0] объектов без весов или max_samples * sample_weight.sum() объектов с весами.

Добавлено в версии 0.22.

Изменено в версии 1.9: Значение float max_samples для объектов с весами теперь рассчитывается относительно sample_weight.sum(), а не X.shape[0].

monotonic_cstarray-like of int of shape (n_features), default=None

Задает ограничение монотонности для каждого признака.

• 1: монотонно возрастает
• 0: без ограничений
• -1: монотонно убывает

Если monotonic_cst имеет значение None, ограничения не применяются.

Ограничения монотонности не поддерживаются для:

• многоклассовой классификации (т. е. если n_classes > 2),
• классификации с несколькими выходами (т. е. если n_outputs_ > 1).

Ограничения применяются к вероятности положительного класса.

Подробнее см. в Руководстве пользователя.

Добавлено в версии 1.4.

Атрибуты:

estimator_ExtraTreeClassifier

Шаблон дочернего оценивателя, используемый для создания коллекции обученных подоценивателей.

Добавлено в версии 1.2: Имя base_estimator_ изменено на estimator_.

estimators_list of DecisionTreeClassifier

Коллекция обученных подоценивателей.

classes_ndarray of shape (n_classes,) or a list of such arrays

Метки классов (задача с одним выходом) или список массивов меток классов (задача с несколькими выходами).

n_classes_int or list

Количество классов (задача с одним выходом) или список, содержащий количество классов для каждого выхода (задача с несколькими выходами).

feature_importances_ndarray of shape (n_features,)

Важность признаков на основе нечистоты.

n_features_in_int

Количество признаков, полученных при вызове fit.

Добавлено в версии 0.24.

feature_names_in_ndarray of shape (n_features_in_,)

Имена признаков, полученные при вызове fit. Определяется только тогда, когда X содержит имена признаков, представленные строками.

Добавлено в версии 1.0.

n_outputs_int

Количество выходов при выполнении fit.

oob_score_float

Оценка обучающего набора, полученная с помощью вневыборочной оценки. Этот атрибут существует только тогда, когда oob_score имеет значение True.

oob_decision_function_ndarray of shape (n_samples, n_classes) or (n_samples, n_classes, n_outputs)

Функция принятия решений, вычисленная для обучающего набора с помощью вневыборочной оценки. Если n_estimators мало, может случиться так, что точка данных ни разу не окажется вне бутстрэп-выборки. В этом случае oob_decision_function_ может содержать NaN. Этот атрибут существует только тогда, когда oob_score имеет значение True.

estimators_samples_list of arrays

Подмножество выбранных объектов для каждого базового оценивателя.

См. также

ExtraTreesRegressor

Регрессор Extra-Trees со случайными разбиениями.

RandomForestClassifier

Классификатор случайного леса с оптимальными разбиениями.

RandomForestRegressor

Регрессор ансамбля, использующий деревья с оптимальными разбиениями.

Примечания

Значения по умолчанию для параметров, управляющих размером деревьев (например, max_depth, min_samples_leaf и т. д.), приводят к построению полностью выращенных и необрезанных деревьев, которые на некоторых наборах данных могут быть очень большими. Чтобы сократить потребление памяти, следует контролировать сложность и размер деревьев, задавая значения этих параметров.

Ссылки

[1]

P. Geurts, D. Ernst и L. Wehenkel, «Extremely randomized trees», Machine Learning, 63(1), 3–42, 2006.

Примеры

>>> from sklearn.ensemble import ExtraTreesClassifier
>>> from sklearn.datasets import make_classification
>>> X, y = make_classification(n_features=4, random_state=0)
>>> clf = ExtraTreesClassifier(n_estimators=100, random_state=0)
>>> clf.fit(X, y)
ExtraTreesClassifier(random_state=0)
>>> clf.predict([[0, 0, 0, 0]])
array([1])

apply(X)[исходный код]

Применяет деревья леса к X и возвращает индексы листьев.

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные объекты. Внутренний тип данных будет преобразован в dtype=np.float32. Если передана разреженная матрица, она будет преобразована в разреженную матрицу csr_matrix.

Возвращает:

X_leavesndarray of shape (n_samples, n_estimators)

Для каждой точки данных x в X и каждого дерева в лесу возвращает индекс листа, в который попадает x.

decision_path(X)[исходный код]

Возвращает путь принятия решения в лесу.

Добавлено в версии 0.18.

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные объекты. Внутренний тип данных будет преобразован в dtype=np.float32. Если передана разреженная матрица, она будет преобразована в разреженную матрицу csr_matrix.

Возвращает:

indicatorsparse matrix of shape (n_samples, n_nodes)

Возвращает матрицу индикаторов узлов, в которой ненулевые элементы показывают, что объекты проходят через соответствующие узлы. Матрица имеет формат CSR.

n_nodes_ptrndarray of shape (n_estimators + 1,)

Столбцы indicator[n_nodes_ptr[i]:n_nodes_ptr[i+1]] содержат значения индикаторов для i-го оценивателя.

fit(X, y, sample_weight=None)[исходный код]

Строит лес деревьев по обучающему набору (X, y).

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные обучающие объекты. Внутренний тип данных будет преобразован в dtype=np.float32. Если передана разреженная матрица, она будет преобразована в разреженную матрицу csc_matrix.

yarray-like of shape (n_samples,) or (n_samples, n_outputs)

Целевые значения (метки классов в классификации, вещественные числа в регрессии).

sample_weightarray-like of shape (n_samples,), default=None

Веса объектов. Если задано значение None, все объекты имеют одинаковый вес. При поиске разбиения в каждом узле игнорируются разбиения, которые создают дочерние узлы с нулевым или отрицательным суммарным весом. В задаче классификации также игнорируются разбиения, в результате которых вес любого отдельного класса в одном из дочерних узлов становится отрицательным.

Возвращает:

selfobject

Обученный оцениватель.

get_metadata_routing()[исходный код]

Возвращает маршрутизацию метаданных этого объекта.

О том, как работает механизм маршрутизации, см. в Руководстве пользователя.

Возвращает:

routingMetadataRequest

Объект MetadataRequest, содержащий сведения о маршрутизации.

get_params(deep=True)[исходный код]

Возвращает параметры этого оценивателя.

Параметры:

deepbool, default=True

Если задано значение True, возвращаются параметры этого оценивателя и содержащихся в нем подобъектов, которые являются оценивателями.

Возвращает:

paramsdict

Сопоставление имен параметров с их значениями.

predict(X)[исходный код]

Предсказывает класс для X.

Предсказанный класс входного объекта определяется голосованием деревьев леса с учетом оценок вероятностей. Иными словами, выбирается класс с наибольшей средней оценкой вероятности по всем деревьям.

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные объекты. Внутренний тип данных будет преобразован в dtype=np.float32. Если передана разреженная матрица, она будет преобразована в разреженную матрицу csr_matrix.

Возвращает:

yndarray of shape (n_samples,) or (n_samples, n_outputs)

Предсказанные классы.

predict_log_proba(X)[исходный код]

Предсказывает логарифмы вероятностей классов для X.

Предсказанные логарифмы вероятностей классов для входного объекта вычисляются как логарифм средних предсказанных вероятностей классов деревьев леса.

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные объекты. Внутренний тип данных будет преобразован в dtype=np.float32. Если передана разреженная матрица, она будет преобразована в разреженную матрицу csr_matrix.

Возвращает:

pndarray of shape (n_samples, n_classes), or a list of such arrays

Вероятности классов для входных объектов. Порядок классов соответствует порядку в атрибуте classes_.

predict_proba(X)[исходный код]

Предсказывает вероятности классов для X.

Предсказанные вероятности классов для входного объекта вычисляются как среднее предсказанных вероятностей классов деревьев леса. Вероятность класса для отдельного дерева равна доле объектов этого класса в листе.

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные объекты. Внутренний тип данных будет преобразован в dtype=np.float32. Если передана разреженная матрица, она будет преобразована в разреженную матрицу csr_matrix.

Возвращает:

pndarray of shape (n_samples, n_classes), or a list of such arrays

Вероятности классов для входных объектов. Порядок классов соответствует порядку в атрибуте classes_.

score(X, y, sample_weight=None)[исходный код]

Возвращает точность на предоставленных данных и метках.

В многометочной классификации это точность подмножества — строгая метрика, поскольку для каждого образца требуется правильно предсказать весь набор меток.

Параметры:

Xмассивоподобный объект формы (n_samples, n_features)

Тестовые образцы.

yмассивоподобный объект формы (n_samples,) или (n_samples, n_outputs)

Истинные метки для X.

sample_weightмассивоподобный объект формы (n_samples,), по умолчанию=None

Веса образцов.

Возвращает:

scorefloat

Средняя точность self.predict(X) относительно y.

set_fit_request(Разделитель параметров, доступных только по ключевому слову (PEP 3102), sample_weight:bool|None|str='$UNCHANGED$') → ExtraTreesClassifier[исходный код]

Настраивает, следует ли запрашивать передачу метаданных методу fit.

Обратите внимание, что этот метод актуален только в том случае, если данный оцениватель используется как подоцениватель внутри метаоценивателя и маршрутизация метаданных включена с помощью enable_metadata_routing=True (см. sklearn.set_config). Информацию о работе механизма маршрутизации см. в Руководстве пользователя.

Для каждого параметра доступны следующие варианты:

• True: метаданные запрашиваются и передаются в fit, если они предоставлены. Если метаданные не предоставлены, запрос игнорируется.
• False: метаданные не запрашиваются, и метаоцениватель не будет передавать их в fit.
• None: метаданные не запрашиваются, и метаоцениватель вызовет ошибку, если пользователь их предоставит.
• str: метаданные следует передать метаоценивателю под указанным псевдонимом вместо исходного имени.

Значение по умолчанию (sklearn.utils.metadata_routing.UNCHANGED) сохраняет текущий запрос. Это позволяет изменять запрос для одних параметров, не затрагивая остальные.

Добавлено в версии 1.3.

Параметры:

sample_weightstr, True, False или None, по умолчанию=sklearn.utils.metadata_routing.UNCHANGED

Маршрутизация метаданных для параметра sample_weight в fit.

Возвращает:

selfobject

Обновленный объект.

set_params(**params)[исходный код]

Задает параметры этого оценивателя.

Метод работает как с простыми оценивателями, так и с вложенными объектами (например, Pipeline). Параметры последних имеют вид <component>__<parameter>, что позволяет обновлять каждый компонент вложенного объекта.

Параметры:

**paramsdict

Параметры оценивателя.

Возвращает:

selfэкземпляр оценивателя

Экземпляр оценивателя.

set_score_request(Разделитель параметров, доступных только по ключевому слову (PEP 3102), sample_weight:bool|None|str='$UNCHANGED$') → ExtraTreesClassifier[исходный код]

Настраивает, следует ли запрашивать передачу метаданных методу score.

Обратите внимание, что этот метод актуален только в том случае, если данный оцениватель используется как подоцениватель внутри метаоценивателя и маршрутизация метаданных включена с помощью enable_metadata_routing=True (см. sklearn.set_config). Информацию о работе механизма маршрутизации см. в Руководстве пользователя.

Для каждого параметра доступны следующие варианты:

• True: метаданные запрашиваются и передаются в score, если они предоставлены. Если метаданные не предоставлены, запрос игнорируется.
• False: метаданные не запрашиваются, и метаоцениватель не будет передавать их в score.
• None: метаданные не запрашиваются, и метаоцениватель вызовет ошибку, если пользователь их предоставит.
• str: метаданные следует передать метаоценивателю под указанным псевдонимом вместо исходного имени.

Значение по умолчанию (sklearn.utils.metadata_routing.UNCHANGED) сохраняет текущий запрос. Это позволяет изменять запрос для одних параметров, не затрагивая остальные.

Добавлено в версии 1.3.

Параметры:

sample_weightstr, True, False или None, по умолчанию=sklearn.utils.metadata_routing.UNCHANGED

Маршрутизация метаданных для параметра sample_weight в score.

Возвращает:

selfobject

Обновленный объект.

Примеры из галереи

Построение разделяющих поверхностей ансамблей деревьев на наборе данных iris

Хеширующее преобразование признаков с помощью полностью случайных деревьев

Основные нововведения scikit-learn 1.6