fetch_20newsgroups_vectorized

sklearn.datasets.fetch_20newsgroups_vectorized(*, subset='train', remove=(), data_home=None, download_if_missing=True, return_X_y=False, normalize=True, as_frame=False, n_retries=3, delay=1.0)[source]

Загрузка и векторизация набора данных 20 новостных групп (классификация).

Скачивает его при необходимости.

Это удобная функция; преобразование выполняется с использованием параметров по умолчанию для CountVectorizer. Для более продвинутого использования (фильтрация стоп-слов, извлечение n-грам и т. д.), объедините fetch_20newsgroups с настраиваемым CountVectorizer, HashingVectorizer, TfidfTransformer или TfidfVectorizer.

Полученные подсчеты нормализуются с помощью sklearn.preprocessing.normalize, если normalize не установлено в значение False.

Классы	20
Всего образцов	18846
Размерность	130107
Признаки	вещественные

Дополнительные сведения см. в Руководстве пользователя.

Параметры:

subset{‘train’, ‘test’, ‘all’}, по умолчанию=’train’

Выбор набора данных для загрузки: ‘train’ для обучающего набора, ‘test’ для тестового набора, ‘all’ для обоих, с перемешанным порядком.

removeкортеж, по умолчанию=()

Может содержать любой поднабор (‘headers’, ‘footers’, ‘quotes’). Каждый из этих типов текста будет распознаваться и удаляться из сообщений новостных групп, предотвращая переобучение классификатора на метаданных.

‘headers’ удаляет заголовки новостных групп, ‘footers’ удаляет блоки в конце сообщений, похожие на подписи, а ‘quotes’ удаляет строки, которые кажутся цитированием другого сообщения.

data_homeстрока или путь, по умолчанию=None

Указывает папку для загрузки и кэширования наборов данных. Если None, все данные scikit-learn хранятся в подпапках ‘~/scikit_learn_data’.

download_if_missingbool, по умолчанию=True

Если False, при отсутствии данных локально возникает исключение OSError, вместо попытки загрузить данные с сайта источника.

return_X_ybool, по умолчанию=False

Если True, возвращает (data.data, data.target), вместо объекта Bunch.

Добавлен в версии 0.20.

normalizebool, по умолчанию=True

Если True, нормализует вектор признаков каждого документа до единичной нормы, используя sklearn.preprocessing.normalize.

Добавлен в версии 0.22.

as_framebool, по умолчанию=False

Если True, данные представляют собой DataFrame pandas, содержащий столбцы с соответствующими типами данных (числовые, строковые или категориальные). Целевое значение — DataFrame или Series pandas в зависимости от количества target_columns.

Добавлен в версии 0.24.

n_retriesint, по умолчанию=3

Количество попыток при возникновении ошибок HTTP.

Добавлен в версии 1.5.

delayfloat, по умолчанию=1.0

Количество секунд между попытками.

Добавлен в версии 1.5.

Возвращаемые значения:

bunchBunch

Объект типа словаря, с следующими атрибутами.

data: {разреженная матрица, dataframe} формы (n_samples, n_features)

Матрица входных данных. Если as_frame является True, то data — DataFrame pandas со столбцами типа разреженные матрицы.

target: {массив NumPy, серия} формы (n_samples,)

Метки целевых значений. Если as_frame является True, то target — серия pandas.

target_names: список формы (n_classes,)

Названия классов целевых значений.

DESCR: строка

Полное описание набора данных.

frame: dataframe формы (n_samples, n_features + 1)

Присутствует только при as_frame=True. DataFrame pandas со столбцами data и target.

Добавлен в версии 0.24.

(data, target)кортеж, если return_X_y равно True

data и target будут иметь формат, определенный в описании Bunch выше.

Добавлен в версии 0.20.

Примеры

>>> from sklearn.datasets import fetch_20newsgroups_vectorized
>>> newsgroups_vectorized = fetch_20newsgroups_vectorized(subset='test')
>>> newsgroups_vectorized.data.shape
(7532, 130107)
>>> newsgroups_vectorized.target.shape
(7532,)

Примеры галереи

Влияние сложности модели

Мультикатегориальная логистическая регрессия с L1-нормализацией на наборе данных 20newsgroups

Граница Джонсона–Линденбаума для встраивания с помощью случайных проекций