KNeighborsClassifier

classsklearn.neighbors.KNeighborsClassifier(n_neighbors=5, *, weights='uniform', algorithm='auto', leaf_size=30, p=2, metric='minkowski', metric_params=None, n_jobs=None)[source]

Классификатор, реализующий голосование k-ближайших соседей.

Подробнее см. в Руководстве пользователя.

Параметры:

n_neighborsint, по умолчанию=5

Количество соседей, используемых по умолчанию для запросов kneighbors.

weights{‘uniform’, ‘distance’}, callable или None, по умолчанию=’uniform’

Функция весов, используемая в прогнозировании. Возможные значения:

• ‘uniform’ : равные веса. Все точки в каждом окрестности имеют равные веса.
• ‘distance’ : веса точек обратно пропорциональны их расстоянию. В этом случае, более близкие соседи точки запроса окажут большее влияние, чем соседи, которые находятся дальше.
• [callable] : функция, определенная пользователем, которая принимает массив расстояний и возвращает массив той же формы, содержащий веса.

Обратитесь к примеру, озаглавленному Классификация ближайших соседей, демонстрирующему влияние параметра weights на границу решений.

algorithm{‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, по умолчанию=’auto’

Алгоритм, используемый для вычисления ближайших соседей:

• ‘ball_tree’ будет использовать BallTree
• ‘kd_tree’ будет использовать KDTree
• ‘brute’ будет использовать поиск с применением грубой силы.
• ‘auto’ попытается определить наиболее подходящий алгоритм на основе значений, переданных методу fit.

Примечание: подгонка на разреженном входе переопределит значение этого параметра, используя поиск с применением грубой силы.

leaf_sizeint, по умолчанию=30

Размер листа, передаваемый в BallTree или KDTree. Это может повлиять на скорость построения и запроса, а также на объем памяти, необходимый для хранения дерева. Оптимальное значение зависит от природы задачи.

pfloat, по умолчанию=2

Параметр степени для метрики Минковского. При p = 1, это эквивалентно использованию manhattan_distance (l1), а euclidean_distance (l2) при p = 2. Для произвольного p используется minkowski_distance (l_p). Этот параметр должен быть положительным.

metricstr или callable, по умолчанию=’minkowski’

Метрика, используемая для вычисления расстояний. По умолчанию «minkowski», что приводит к стандартному евклидову расстоянию при p = 2. См. документацию scipy.spatial.distance и перечисленные метрики в distance_metrics для допустимых значений метрик.

Если метрика «precomputed», X предполагается матрицей расстояний и должна быть квадратной при подгонке. X может быть разреженной граф, в этом случае только «ненулевые» элементы могут считаться соседями.

Если метрика является вызываемой функцией, она принимает два массива, представляющие 1D векторы в качестве входных данных и должна возвращать одно значение, указывающее расстояние между этими векторами. Это работает для метрик Scipy, но менее эффективно, чем передача имени метрики в виде строки.

metric_paramsdict, по умолчанию=None

Дополнительные ключевые аргументы для функции метрики.

n_jobsint, по умолчанию=None

Количество параллельных задач для поиска соседей. None означает 1, если не в контексте joblib.parallel_backend. -1 означает использование всех процессоров. См. Глоссарий для получения дополнительной информации. Не влияет на метод fit.

Атрибуты:

classes_массив формы (n_classes,)

Метки классов, известные классификатору

effective_metric_str или callable

Используемая метрика расстояния. Она будет такой же, как и параметр metric или его синоним, например, ‘euclidean’, если параметр metric установлен на ‘minkowski’ и параметр p установлен на 2.

effective_metric_params_dict

Дополнительные ключевые аргументы для функции метрики. Для большинства метрик будет таким же, как параметр metric_params, но также может содержать значение параметра p, если атрибут effective_metric_ установлен на ‘minkowski’.

n_features_in_int

Количество признаков, увиденных во время подгонки.

Добавлен в версии 0.24.

feature_names_in_ndarray формы (n_features_in_,)

Имена признаков, увиденные во время подгонки. Определены только тогда, когда X имеет имена признаков, которые все строки.

Добавлен в версии 1.0.

n_samples_fit_int

Количество образцов в подогнанных данных.

outputs_2d_bool

False, когда форма y равна (n_samples, ) или (n_samples, 1) во время подгонки, иначе True.

См. также

RadiusNeighborsClassifier

Классификатор, основанный на соседях в фиксированном радиусе.

KNeighborsRegressor

Регрессия, основанная на k-ближайших соседях.

RadiusNeighborsRegressor

Регрессия, основанная на соседях в фиксированном радиусе.

NearestNeighbors

Неконтролируемый обучающий алгоритм для реализации поиска соседей.

Примечания

См. Ближайшие соседи в онлайн-документации для обсуждения выбора algorithm и leaf_size.

Предупреждение

Что касается алгоритмов ближайших соседей, если обнаружено, что у двух соседей, соседа k+1 и k, одинаковые расстояния, но разные метки, результаты будут зависеть от порядка тренировочных данных.

https://en.wikipedia.org/wiki/K-nearest_neighbor_algorithm

Примеры

>>> X = [[0], [1], [2], [3]]
>>> y = [0, 0, 1, 1]
>>> from sklearn.neighbors import KNeighborsClassifier
>>> neigh = KNeighborsClassifier(n_neighbors=3)
>>> neigh.fit(X, y)
KNeighborsClassifier(...)
>>> print(neigh.predict([[1.1]]))
[0]
>>> print(neigh.predict_proba([[0.9]]))
[[0.666... 0.333...]]

fit(X, y)[source]

Обучение классификатора k-ближайших соседей на обучающей выборке.

Параметры:

X{array-like, sparse matrix} формы (n_samples, n_features) или (n_samples, n_samples) если metric=’precomputed’

Обучающие данные.

y{array-like, sparse matrix} формы (n_samples,) или (n_samples, n_outputs)

Целевые значения.

Возвращает:

selfKNeighborsClassifier

Обученный классификатор k-ближайших соседей.

get_metadata_routing()[source]

Получить маршрутизацию метаданных этого объекта.

Пожалуйста, ознакомьтесь с Руководством пользователя о том, как работает механизм маршрутизации.

Возвращает:

routingMetadataRequest

А MetadataRequest , содержащий информацию о маршрутизации.

get_params(deep=True)[source]

Получить параметры для этого оценивателя.

Параметры:

deepbool, по умолчанию=True

Если True, возвращает параметры для этого оценивателя и содержащихся вложенных подобъектов, которые являются оценивателями.

Возвращает:

paramsdict

Имена параметров, сопоставленные со значениями.

kneighbors(X=None, n_neighbors=None, return_distance=True)[source]

Найти K-ближайших соседей точки.

Возвращает индексы и расстояния до ближайших соседей каждой точки.

Параметры:

X{массив-подобный объект, разреженная матрица}, форма (n_запросов, n_признаков), или (n_запросов, n_индексированных), если метрика == ‘precomputed’, по умолчанию=None

Точка или точки запроса. Если не предоставлено, возвращаются соседи каждой индексированной точки. В этом случае точка запроса не считается своим собственным соседом.

n_neighborsint, по умолчанию=None

Количество соседей, необходимых для каждой выборки. По умолчанию – значение, переданное конструктору.

return_distancebool, по умолчанию=True

Возвращать ли расстояния.

Возвращает:

neigh_distмассив формы (n_запросов, n_соседей)

Массив, представляющий длины до точек, присутствует только если return_distance=True.

neigh_indмассив формы (n_запросов, n_соседей)

Индексы ближайших точек в матрице популяции.

Примеры

В следующем примере мы создаем класс NearestNeighbors из массива, представляющего наш набор данных, и спрашиваем, какая точка ближе всего к [1,1,1]

>>> samples = [[0., 0., 0.], [0., .5, 0.], [1., 1., .5]]
>>> from sklearn.neighbors import NearestNeighbors
>>> neigh = NearestNeighbors(n_neighbors=1)
>>> neigh.fit(samples)
NearestNeighbors(n_neighbors=1)
>>> print(neigh.kneighbors([[1., 1., 1.]]))
(array([[0.5]]), array([[2]]))

Как вы можете видеть, он возвращает [[0.5]], и [[2]], что означает, что элемент находится на расстоянии 0.5 и является третьим элементом образцов (индексы начинаются с 0). Вы также можете запросить несколько точек:

>>> X = [[0., 1., 0.], [1., 0., 1.]]
>>> neigh.kneighbors(X, return_distance=False)
array([[1],
       [2]]...)

kneighbors_graph(X=None, n_neighbors=None, mode='connectivity')[source]

Вычислить (взвешенный) граф k-соседей для точек в X.

Параметры:

X{массив-подобный объект, разреженная матрица} формы (n_запросов, n_признаков), или (n_запросов, n_индексированных), если метрика == ‘precomputed’, по умолчанию=None

Точка или точки запроса. Если не предоставлено, возвращаются соседи каждой индексированной точки. В этом случае точка запроса не считается своим собственным соседом. Для metric='precomputed' форма должна быть (n_запросов, n_индексированных). В противном случае форма должна быть (n_запросов, n_признаков).

n_neighborsint, по умолчанию=None

Количество соседей для каждой выборки. По умолчанию – значение, переданное конструктору.

mode{‘connectivity’, ‘distance’}, по умолчанию=’connectivity’

Тип возвращаемой матрицы: ‘connectivity’ вернет матрицу связности с единицами и нулями, в ‘distance’ рёбра – расстояния между точками, тип расстояния зависит от выбранного параметра метрики в классе NearestNeighbors.

Возвращает:

Aразреженная матрица формы (n_запросов, n_выборок_подгонки)

n_samples_fit – это количество образцов в подогнанных данных. A[i, j] даёт вес ребра, соединяющего i с j. Матрица имеет формат CSR.

См. также

NearestNeighbors.radius_neighbors_graph

Вычислить (взвешенный) граф соседей для точек в X.

Примеры

>>> X = [[0], [3], [1]]
>>> from sklearn.neighbors import NearestNeighbors
>>> neigh = NearestNeighbors(n_neighbors=2)
>>> neigh.fit(X)
NearestNeighbors(n_neighbors=2)
>>> A = neigh.kneighbors_graph(X)
>>> A.toarray()
array([[1., 0., 1.],
       [0., 1., 1.],
       [1., 0., 1.]])

predict(X)[source]

Предсказать метки классов для предоставленных данных.

Параметры:

X{массив-подобный объект, разреженная матрица} формы (n_запросов, n_признаков), или (n_запросов, n_индексированных), если метрика == ‘precomputed’, или None

Тестовые образцы. Если None, прогнозы для всех индексированных точек возвращаются; в этом случае точки не считаются своими собственными соседями.

Возвращает:

yмассив формы (n_запросов,) или (n_запросов, n_выходов)

Метки классов для каждой выборки данных.

predict_proba(X)[source]

Возвратить оценки вероятностей для тестовых данных X.

Параметры:

X{массив-подобный объект, разреженная матрица} формы (n_запросов, n_признаков), или (n_запросов, n_индексированных), если метрика == ‘precomputed’, или None

Тестовые образцы. Если None, прогнозы для всех индексированных точек возвращаются; в этом случае точки не считаются своими собственными соседями.

Возвращает:

pмассив формы (n_запросов, n_классов), или список из n_выходов таких массивов, если n_выходов > 1.

Вероятности классов входных образцов. Классы упорядочены по лексикографическому порядку.

score(X, y, sample_weight=None)[source]

Возвращает среднюю точность на заданных тестовых данных и метках.

В многоклассовой классификации это точность подмножества, которая является жёсткой метрикой, поскольку для каждого образца требуется, чтобы каждый набор меток был предсказан верно.

Параметры:

Xarray-like of shape (n_samples, n_features), or None

Тестовые образцы. Если None, используются предсказания для всех индексированных точек; в этом случае точки не считаются своими соседями. Это означает, что knn.fit(X, y).score(None, y) неявно выполняет процедуру перекрестной проверки «один раз выбросить» и эквивалентно cross_val_score(knn, X, y, cv=LeaveOneOut()), но обычно намного быстрее.

yarray-like of shape (n_samples,) or (n_samples, n_outputs)

Истинные метки для X.

sample_weightarray-like of shape (n_samples,), default=None

Веса образцов.

Возвращает:

scorefloat

Средняя точность self.predict(X) по отношению к y.

set_params(**params)[source]

Устанавливает параметры этого оценщика.

Метод работает как с простыми оценщиками, так и с вложенными объектами (такими как Pipeline). У последних есть параметры в формате <component>__<parameter>, что позволяет обновлять каждый компонент вложенного объекта.

Параметры:

**paramsdict

Параметры оценщика.

Возвращает:

selfestimator instance

Экземпляр оценщика.

set_score_request(*, sample_weight:bool|None|str='$UNCHANGED$') → KNeighborsClassifier[source]

Запрашивает метаданные, переданные в метод score.

Обратите внимание, что этот метод актуален только если enable_metadata_routing=True (см. sklearn.set_config). Пожалуйста, ознакомьтесь с Руководством пользователя по работе механизма маршрутизации.

Варианты для каждого параметра:

• True: метаданные запрашиваются и передаются в score при наличии. Запрос игнорируется, если метаданных нет.
• False: метаданные не запрашиваются, и мета-оценщик не передаст их в score.
• None: метаданные не запрашиваются, и мета-оценщик выдаст ошибку, если пользователь их предоставит.
• str: метаданные должны быть переданы мета-оценщику с этим заданным псевдонимом вместо исходного имени.

По умолчанию (sklearn.utils.metadata_routing.UNCHANGED) сохраняется существующий запрос. Это позволяет изменить запрос для некоторых параметров и не для других.

Добавлен в версии 1.3.

Примечание

Этот метод актуален только если этот оценщик используется в качестве под-оценщика мета-оценщика, например, внутри Pipeline. В противном случае он не имеет эффекта.

Параметры:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

Маршрутизация метаданных для параметра sample_weight в score.

Возвращает:

selfobject

Обновленный объект.