KNeighborsClassifier

classsklearn.neighbors.KNeighborsClassifier(n_neighbors=5, *, weights='uniform', algorithm='auto', leaf_size=30, p=2, metric='minkowski', metric_params=None, n_jobs=None)[исходный код]

Классификатор, реализующий голосование k ближайших соседей.

Подробнее см. в Руководстве пользователя.

Параметры:

n_neighborsint, default=5

Количество соседей, используемых по умолчанию для запросов kneighbors.

weights{‘uniform’, ‘distance’}, callable or None, default=’uniform’

Функция весов, используемая при прогнозировании. Возможные значения:

• ‘uniform’ : одинаковые веса. Все точки в каждой окрестности имеют одинаковый вес.
• ‘distance’ : вес точек обратно пропорционален расстоянию до них. В этом случае близкие к точке запроса соседи оказывают большее влияние, чем более удалённые.
• [callable] : определённая пользователем функция, которая принимает массив расстояний и возвращает массив той же формы, содержащий веса.

См. пример Классификация методом ближайших соседей, демонстрирующий влияние параметра weights на границу принятия решений.

algorithm{‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, default=’auto’

Алгоритм, используемый для поиска ближайших соседей:

• ‘ball_tree’ использует BallTree
• ‘kd_tree’ использует KDTree
• ‘brute’ использует полный перебор.
• ‘auto’ пытается выбрать наиболее подходящий алгоритм на основе значений, переданных методу fit.

Примечание: при обучении на разреженных входных данных этот параметр переопределяется, и используется полный перебор.

leaf_sizeint, default=30

Размер листа, передаваемый BallTree или KDTree. Он может влиять на скорость построения и выполнения запросов, а также на объём памяти, необходимый для хранения дерева. Оптимальное значение зависит от характера задачи.

pfloat, default=2

Параметр степени для метрики Минковского. При p = 1 он эквивалентен использованию manhattan_distance (l1), а при p = 2 — euclidean_distance (l2). Для произвольного p используется minkowski_distance (l_p). Значение этого параметра должно быть положительным.

metricstr or callable, default=’minkowski’

Метрика для вычисления расстояния. По умолчанию используется “minkowski”, которая при p = 2 соответствует стандартному евклидову расстоянию. Допустимые значения метрики см. в документации scipy.spatial.distance и в списке метрик distance_metrics.

Если metric имеет значение “precomputed”, предполагается, что X является матрицей расстояний, и во время обучения она должна быть квадратной. X может быть разреженным графом; в этом случае соседями могут считаться только элементы, отличные от нуля.

Если metric — вызываемая функция, она принимает на вход два массива, представляющих одномерные векторы, и должна возвращать одно значение, указывающее расстояние между этими векторами. Это работает с метриками Scipy, но менее эффективно, чем передача названия метрики в виде строки.

metric_paramsdict, default=None

Дополнительные именованные аргументы для функции метрики.

n_jobsint, default=None

Количество параллельных задач для поиска соседей. None означает 1, если только не используется контекст joblib.parallel_backend. -1 означает использование всех процессоров. Подробнее см. в глоссарии. Не влияет на метод fit.

Атрибуты:

classes_array of shape (n_classes,)

Метки классов, известные классификатору

effective_metric_str or callble

Используемая метрика расстояния. Она совпадает с параметром metric или является его синонимом, например ‘euclidean’, если параметр metric установлен в ‘minkowski’, а параметр p — в 2.

effective_metric_params_dict

Дополнительные именованные аргументы для функции метрики. Для большинства метрик они совпадают с параметром metric_params, но могут также содержать значение параметра p, если атрибут effective_metric_ установлен в ‘minkowski’.

n_features_in_int

Количество признаков, обнаруженных во время обучения.

Добавлено в версии 0.24.

feature_names_in_ndarray of shape (n_features_in_,)

Названия признаков, обнаруженных во время обучения. Определяется только в том случае, если X содержит названия признаков, представленные строками.

Добавлено в версии 1.0.

n_samples_fit_int

Количество образцов в обучающих данных.

outputs_2d_bool

Имеет значение False, если во время обучения форма y равна (n_samples, ) или (n_samples, 1); в противном случае имеет значение True.

См. также

RadiusNeighborsClassifier

Классификатор на основе соседей в пределах фиксированного радиуса.

KNeighborsRegressor

Регрессия на основе k ближайших соседей.

RadiusNeighborsRegressor

Регрессия на основе соседей в пределах фиксированного радиуса.

NearestNeighbors

Обучатель без учителя для реализации поиска соседей.

Примечания

Обсуждение выбора algorithm и leaf_size см. в разделе Ближайшие соседи онлайн-документации.

Предупреждение

Для алгоритмов ближайших соседей, если два соседа, сосед k+1 и k, имеют одинаковые расстояния, но разные метки, результаты будут зависеть от порядка обучающих данных.

https://en.wikipedia.org/wiki/K-nearest_neighbor_algorithm

Примеры

>>> X = [[0], [1], [2], [3]]
>>> y = [0, 0, 1, 1]
>>> from sklearn.neighbors import KNeighborsClassifier
>>> neigh = KNeighborsClassifier(n_neighbors=3)
>>> neigh.fit(X, y)
KNeighborsClassifier(...)
>>> print(neigh.predict([[1.1]]))
[0]
>>> print(neigh.predict_proba([[0.9]]))
[[0.666 0.333]]

fit(X, y)[исходный код]

Обучает классификатор k ближайших соседей на обучающем наборе данных.

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features) or (n_samples, n_samples) if metric=’precomputed’

Обучающие данные.

y{array-like, sparse matrix} of shape (n_samples,) or (n_samples, n_outputs)

Целевые значения.

Возвращает:

selfKNeighborsClassifier

Обученный классификатор k ближайших соседей.

get_metadata_routing()[исходный код]

Получает маршрутизацию метаданных этого объекта.

О том, как работает механизм маршрутизации, см. в Руководстве пользователя.

Возвращает:

routingMetadataRequest

Объект MetadataRequest, содержащий информацию о маршрутизации.

get_params(deep=True)[исходный код]

Получает параметры этого оценщика.

Параметры:

deepbool, default=True

Если значение True, возвращает параметры этого оценщика и содержащихся в нём подобъектов, которые являются оценщиками.

Возвращает:

paramsdict

Имена параметров, сопоставленные с их значениями.

kneighbors(X=None, n_neighbors=None, return_distance=True)[исходный код]

Находит K соседей точки.

Возвращает индексы соседей каждой точки и расстояния до них.

Параметры:

X{array-like, sparse matrix}, shape (n_queries, n_features), or (n_queries, n_indexed) if metric == ‘precomputed’, default=None

Точка или точки запроса. Если значение не задано, возвращаются соседи каждой индексированной точки. В этом случае точка запроса не считается соседом самой себя.

n_neighborsint, default=None

Количество соседей для каждого образца. По умолчанию используется значение, переданное конструктору.

return_distancebool, default=True

Нужно ли возвращать расстояния.

Возвращает:

neigh_distndarray of shape (n_queries, n_neighbors)

Массив расстояний до точек; присутствует только при return_distance=True.

neigh_indndarray of shape (n_queries, n_neighbors)

Индексы ближайших точек в матрице выборки.

Примеры

В следующем примере мы создаём класс NearestNeighbors на основе массива, представляющего наш набор данных, и запрашиваем ближайшую точку к [1,1,1]

>>> samples = [[0., 0., 0.], [0., .5, 0.], [1., 1., .5]]
>>> from sklearn.neighbors import NearestNeighbors
>>> neigh = NearestNeighbors(n_neighbors=1)
>>> neigh.fit(samples)
NearestNeighbors(n_neighbors=1)
>>> print(neigh.kneighbors([[1., 1., 1.]]))
(array([[0.5]]), array([[2]]))

Как видно, он возвращает [[0.5]] и [[2]], то есть элемент находится на расстоянии 0.5 и является третьим элементом выборки (индексация начинается с 0). Можно также выполнить запрос для нескольких точек:

>>> X = [[0., 1., 0.], [1., 0., 1.]]
>>> neigh.kneighbors(X, return_distance=False)
array([[1],
       [2]]...)

kneighbors_graph(X=None, n_neighbors=None, mode='connectivity')[исходный код]

Вычисляет (взвешенный) граф k соседей для точек в X.

Параметры:

X{array-like, sparse matrix} of shape (n_queries, n_features), or (n_queries, n_indexed) if metric == ‘precomputed’, default=None

Точка или точки запроса. Если значение не задано, возвращаются соседи каждой индексированной точки. В этом случае точка запроса не считается соседом самой себя. Для metric='precomputed' форма должна быть (n_queries, n_indexed). В противном случае форма должна быть (n_queries, n_features).

n_neighborsint, default=None

Количество соседей для каждого образца. По умолчанию используется значение, переданное конструктору.

mode{‘connectivity’, ‘distance’}, default=’connectivity’

Тип возвращаемой матрицы: ‘connectivity’ возвращает матрицу связности с единицами и нулями, а в режиме ‘distance’ рёбра представляют собой расстояния между точками; тип расстояния зависит от выбранного параметра метрики класса NearestNeighbors.

Возвращает:

Asparse-matrix of shape (n_queries, n_samples_fit)

n_samples_fit — количество образцов в обучающих данных. A[i, j] задаёт вес ребра, соединяющего i с j. Матрица имеет формат CSR.

См. также

NearestNeighbors.radius_neighbors_graph

Вычисляет (взвешенный) граф соседей для точек в X.

Примеры

>>> X = [[0], [3], [1]]
>>> from sklearn.neighbors import NearestNeighbors
>>> neigh = NearestNeighbors(n_neighbors=2)
>>> neigh.fit(X)
NearestNeighbors(n_neighbors=2)
>>> A = neigh.kneighbors_graph(X)
>>> A.toarray()
array([[1., 0., 1.],
       [0., 1., 1.],
       [1., 0., 1.]])

predict(X)[исходный код]

Предсказывает метки классов для предоставленных данных.

Параметры:

X{array-like, sparse matrix} of shape (n_queries, n_features), or (n_queries, n_indexed) if metric == ‘precomputed’, or None

Тестовые образцы. Если None, возвращаются прогнозы для всех индексированных точек; в этом случае точки не считаются соседями самих себя.

Возвращает:

yndarray of shape (n_queries,) or (n_queries, n_outputs)

Метки классов для каждого образца данных.

predict_proba(X)[исходный код]

Возвращает оценки вероятностей для тестовых данных X.

Параметры:

X{array-like, sparse matrix} of shape (n_queries, n_features), or (n_queries, n_indexed) if metric == ‘precomputed’, or None

Тестовые образцы. Если None, возвращаются прогнозы для всех индексированных точек; в этом случае точки не считаются соседями самих себя.

Возвращает:

pndarray of shape (n_queries, n_classes), or a list of n_outputs of such arrays if n_outputs > 1.

Вероятности классов для входных образцов. Классы упорядочены лексикографически.

score(X, y, sample_weight=None)[исходный код]

Возвращает среднюю точность на заданных тестовых данных и метках.

В многометочной классификации это точность подмножества — строгая метрика, поскольку для каждого образца требуется правильно предсказать весь набор меток.

Параметры:

Xarray-like of shape (n_samples, n_features), or None

Тестовые образцы. Если None, используются прогнозы для всех индексированных точек; в этом случае точки не считаются соседями самих себя. Это означает, что knn.fit(X, y).score(None, y) неявно выполняет перекрёстную проверку с исключением одного наблюдения и эквивалентен cross_val_score(knn, X, y, cv=LeaveOneOut()), но обычно работает значительно быстрее.

yarray-like of shape (n_samples,) or (n_samples, n_outputs)

Истинные метки для X.

sample_weightarray-like of shape (n_samples,), default=None

Веса образцов.

Возвращает:

scorefloat

Средняя точность self.predict(X) относительно y.

set_params(**params)[исходный код]

Задаёт параметры этого оценщика.

Метод работает как с простыми оценщиками, так и с вложенными объектами (например, Pipeline). Параметры последних имеют вид <component>__<parameter>, что позволяет обновлять каждый компонент вложенного объекта.

Параметры:

**paramsdict

Параметры оценщика.

Возвращает:

selfestimator instance

Экземпляр оценщика.

set_score_request(*, sample_weight:bool|None|str='$UNCHANGED$') → KNeighborsClassifier[исходный код]

Настраивает, следует ли запрашивать передачу метаданных методу score.

Обратите внимание, что этот метод имеет значение только тогда, когда данный оценщик используется как подоценщик в составе метаоценщика и маршрутизация метаданных включена с помощью enable_metadata_routing=True (см. sklearn.set_config). О том, как работает механизм маршрутизации, см. в Руководстве пользователя.

Для каждого параметра доступны следующие варианты:

• True: метаданные запрашиваются и передаются в score, если они предоставлены. Если метаданные не предоставлены, запрос игнорируется.
• False: метаданные не запрашиваются, и метаоценщик не передаёт их в score.
• None: метаданные не запрашиваются, и метаоценщик выдаёт ошибку, если пользователь их предоставляет.
• str: метаданные должны передаваться метаоценщику под указанным псевдонимом вместо исходного имени.

Значение по умолчанию (sklearn.utils.metadata_routing.UNCHANGED) сохраняет существующий запрос. Это позволяет изменить запрос для одних параметров, не меняя его для остальных.

Добавлено в версии 1.3.

Параметры:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

Маршрутизация метаданных для параметра sample_weight в score.

Возвращает:

selfobject

Обновлённый объект.