tf.keras.datasets.reuters.load_data
Загружает набор данных для классификации новостных сообщений Reuters.
tf.keras.datasets.reuters.load_data(
path='reuters.npz',
num_words=None,
skip_top=0,
maxlen=None,
test_split=0.2,
seed=113,
start_char=1,
oov_char=2,
index_from=3
)
Этот набор данных содержит 11 228 новостных сообщений Reuters, распределённых по 46 темам.
Изначально набор был создан путём анализа и предварительной обработки классического набора данных Reuters-21578, однако код предварительной обработки больше не входит в состав Keras. Подробнее см. в этом обсуждении на GitHub.
Каждое новостное сообщение представлено списком индексов слов (целых чисел). Для удобства слова индексируются по общей частоте встречаемости в наборе данных: например, целое число «3» обозначает третье по частоте слово в данных. Это позволяет быстро выполнять фильтрацию, например: «учитывать только 10 000 наиболее распространённых слов, исключив 20 самых распространённых».
По соглашению «0» не обозначает конкретное слово, а используется для кодирования любого неизвестного слова.
| Аргументы | |
|---|---|
path | путь для кэширования данных (относительно ~/.keras/dataset). |
num_words | целое число или None. Слова ранжируются по частоте встречаемости (в обучающем наборе), и сохраняются только num_words наиболее частых слов. Все менее частые слова будут представлены значением oov_char в последовательностях данных. Если указано None, сохраняются все слова. По умолчанию — None. |
skip_top | пропустить N наиболее часто встречающихся слов (которые могут быть неинформативными). В наборе данных эти слова будут представлены значением oov_char. Значение 0 означает, что слова не пропускаются. По умолчанию — 0. |
maxlen | int или None. Максимальная длина последовательности. Более длинные последовательности будут усечены. None означает отсутствие усечения. По умолчанию — None. |
test_split | Число с плавающей запятой от 0. до 1.. Доля набора данных, используемая в качестве тестовых данных. 0.2 означает, что в качестве тестовых данных используется 20% набора. По умолчанию — 0.2. |
seed | int. Начальное значение для воспроизводимого перемешивания данных. |
start_char | int. Начало последовательности будет отмечено этим символом. Обычно для заполнения используется 0. По умолчанию — 1. |
oov_char | int. Символ для слов вне словаря. Слова, исключённые из-за ограничений num_words или skip_top, будут заменены этим символом. |
index_from | int. Индексировать фактические слова этим индексом и выше. |
| Возвращает | |
|---|---|
Кортеж массивов Numpy: (x_train, y_train), (x_test, y_test). |
x_train, x_test: списки последовательностей, которые представляют собой списки индексов (целых чисел). Если для аргумента num_words было указано конкретное значение, максимально возможное значение индекса равно num_words - 1. Если был указан аргумент maxlen, максимально возможная длина последовательности равна maxlen.
y_train, y_test: списки целочисленных меток (1 или 0).
Примечание: Символ «вне словаря» используется только для слов, которые встречались в обучающем наборе, но не были включены, поскольку не попали в заданный здесь предел num_words. Слова, отсутствовавшие в обучающем наборе, но встретившиеся в тестовом, просто пропускаются.
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/datasets/reuters/load_data