fetch_20newsgroups

sklearn.datasets.fetch_20newsgroups(*, data_home=None, subset='train', categories=None, shuffle=True, random_state=42, remove=(), download_if_missing=True, return_X_y=False, n_retries=3, delay=1.0)[исходный код]

Загружает имена файлов и данные из набора данных 20 newsgroups (классификация).

При необходимости скачивает набор данных.

Классы	20
Всего образцов	18846
Размерность	1
Признаки	текст

Подробнее см. в руководстве пользователя.

Параметры:

data_homeстрока или объект, подобный пути, по умолчанию=None

Задаёт папку для скачивания и кэширования наборов данных. Если значение равно None, все данные scikit-learn сохраняются во вложенные папки ‘~/scikit_learn_data’.

subset{‘train’, ‘test’, ‘all’}, по умолчанию=’train’

Выбирает набор данных для загрузки: ‘train’ — обучающая выборка, ‘test’ — тестовая выборка, ‘all’ — обе выборки в перемешанном порядке.

categoriesмассивоподобный объект, dtype=str, по умолчанию=None

Если значение равно None (по умолчанию), загружаются все категории. Если значение не равно None, загружается список указанных названий категорий (остальные категории игнорируются).

shufflebool, по умолчанию=True

Определяет, нужно ли перемешивать данные. Это может быть важно для моделей, предполагающих, что образцы являются независимыми и одинаково распределёнными (i.i.d.), например для стохастического градиентного спуска.

random_stateint, экземпляр RandomState или None, по умолчанию=42

Определяет генерацию случайных чисел для перемешивания набора данных. Передайте int, чтобы получать воспроизводимый результат при нескольких вызовах функции. См. глоссарий.

removeкортеж, по умолчанию=()

Может содержать любое подмножество значений (‘headers’, ‘footers’, ‘quotes’). Каждое из них обозначает тип текста, который будет обнаружен и удалён из сообщений newsgroups, чтобы классификаторы не переобучались на метаданных.

‘headers’ удаляет заголовки сообщений newsgroups, ‘footers’ удаляет блоки в конце сообщений, похожие на подписи, а ‘quotes’ удаляет строки, которые, по-видимому, цитируют другое сообщение.

Для ‘headers’ используется точный стандарт; остальные фильтры не всегда работают корректно.

download_if_missingbool, по умолчанию=True

Если значение равно False, вызывает OSError, если данные недоступны локально, вместо попытки скачать их с исходного сайта.

return_X_ybool, по умолчанию=False

Если значение равно True, возвращает (data.data, data.target) вместо объекта Bunch.

Добавлено в версии 0.22.

n_retriesint, по умолчанию=3

Количество повторных попыток при возникновении ошибок HTTP.

Добавлено в версии 1.5.

delayfloat, по умолчанию=1.0

Количество секунд между повторными попытками.

Добавлено в версии 1.5.

Возвращает:

bunchBunch

Объект, похожий на словарь, со следующими атрибутами.

dataсписок формы (n_samples,)

Список данных для обучения.

target: ndarray формы (n_samples,)

Целевые метки.

filenames: список формы (n_samples,)

Путь к расположению данных.

DESCR: str

Полное описание набора данных.

target_names: список формы (n_classes,)

Названия целевых классов.

(data, target)кортеж, если return_X_y=True

Кортеж из двух массивов ndarray. Первый содержит двумерный массив формы (n_samples, n_classes), где каждая строка представляет один образец, а каждый столбец — признак. Второй массив формы (n_samples,) содержит целевые значения образцов.

Добавлено в версии 0.22.

Примеры

>>> from sklearn.datasets import fetch_20newsgroups
>>> cats = ['alt.atheism', 'sci.space']
>>> newsgroups_train = fetch_20newsgroups(subset='train', categories=cats)
>>> list(newsgroups_train.target_names)
['alt.atheism', 'sci.space']
>>> newsgroups_train.filenames.shape
(1073,)
>>> newsgroups_train.target.shape
(1073,)
>>> newsgroups_train.target[:10]
array([0, 1, 1, 1, 0, 1, 1, 0, 0, 0])

Примеры в галерее

Извлечение тем с помощью неотрицательной матричной факторизации и Latent Dirichlet Allocation

Бикластеризация документов с помощью алгоритма Spectral Co-clustering

Преобразователь столбцов для разнородных источников данных

Пример конвейера для извлечения и оценки текстовых признаков

Классификация текстового набора данных с полуучителем

Классификация текстовых документов с использованием разреженных признаков

Кластеризация текстовых документов с помощью k-means

Сравнение FeatureHasher и DictVectorizer