fetch_20newsgroups_vectorized

sklearn.datasets.fetch_20newsgroups_vectorized(*, subset='train', remove=(), data_home=None, download_if_missing=True, return_X_y=False, normalize=True, as_frame=False, n_retries=3, delay=1.0)[исходный код]

Загрузить и преобразовать в векторы набор данных 20 групп новостей (классификация).

При необходимости загрузить его.

Это вспомогательная функция; преобразование выполняется с настройками по умолчанию для CountVectorizer. Для более сложного использования (фильтрация стоп-слов, извлечение n-грамм и т. д.) объедините fetch_20newsgroups с пользовательским CountVectorizer, HashingVectorizer, TfidfTransformer или TfidfVectorizer.

Полученные частоты нормализуются с помощью sklearn.preprocessing.normalize, если normalize не установлено в False.

Классы	20
Всего образцов	18846
Размерность	130107
Признаки	вещественные

Подробнее см. в руководстве пользователя.

Параметры:

subset{‘train’, ‘test’, ‘all’}, default=’train’

Выберите загружаемый набор данных: ‘train’ — обучающая выборка, ‘test’ — тестовая выборка, ‘all’ — обе выборки в перемешанном порядке.

removetuple, default=()

Может содержать любое подмножество из (‘headers’, ‘footers’, ‘quotes’). Каждый из этих элементов обозначает тип текста, который будет обнаружен и удалён из сообщений групп новостей, чтобы классификаторы не переобучались на метаданных.

‘headers’ удаляет заголовки сообщений групп новостей, ‘footers’ удаляет блоки в конце сообщений, похожие на подписи, а ‘quotes’ удаляет строки, которые выглядят как цитаты из другого сообщения.

data_homestr or path-like, default=None

Укажите папку для загрузки и кэширования наборов данных. Если значение равно None, все данные scikit-learn сохраняются во вложенных папках ‘~/scikit_learn_data’.

download_if_missingbool, default=True

Если значение равно False, вызовите OSError, если данные недоступны локально, вместо попытки загрузить их с исходного сайта.

return_X_ybool, default=False

Если значение равно True, возвращает (data.data, data.target) вместо объекта Bunch.

Добавлено в версии 0.20.

normalizebool, default=True

Если значение равно True, нормализует вектор признаков каждого документа до единичной нормы с помощью sklearn.preprocessing.normalize.

Добавлено в версии 0.22.

as_framebool, default=False

Если значение равно True, данные представлены в виде pandas DataFrame со столбцами соответствующих типов (числовыми, строковыми или категориальными). Целевая переменная представлена в виде pandas DataFrame или Series в зависимости от количества target_columns.

Добавлено в версии 0.24.

n_retriesint, default=3

Количество повторных попыток при возникновении ошибок HTTP.

Добавлено в версии 1.5.

delayfloat, default=1.0

Количество секунд между повторными попытками.

Добавлено в версии 1.5.

Возвращает:

bunchBunch

Объект, подобный словарю, со следующими атрибутами.

data: {sparse matrix, dataframe} of shape (n_samples, n_features)

Матрица входных данных. Если as_frame равно True, data — это pandas DataFrame с разреженными столбцами.

target: {ndarray, series} of shape (n_samples,)

Метки целевых классов. Если as_frame равно True, target — это pandas Series.

target_names: list of shape (n_classes,)

Названия целевых классов.

DESCR: str

Полное описание набора данных.

frame: dataframe of shape (n_samples, n_features + 1)

Присутствует только при условии as_frame=True. Pandas DataFrame с data и target.

Добавлено в версии 0.24.

(data, target)tuple if return_X_y is True

data и target будут иметь формат, определённый в приведённом выше описании Bunch.

Добавлено в версии 0.20.

Примеры

>>> from sklearn.datasets import fetch_20newsgroups_vectorized
>>> newsgroups_vectorized = fetch_20newsgroups_vectorized(subset='test')
>>> newsgroups_vectorized.data.shape
(7532, 130107)
>>> newsgroups_vectorized.target.shape
(7532,)

Примеры из галереи

Влияние сложности модели

Разреженная многоклассовая логистическая регрессия на наборе 20newgroups

Граница Джонсона — Линденштраусса для вложения с помощью случайных проекций