Spec-Zone.ru › TensorFlow

tf.keras.datasets.reuters.load_data

Загружает набор данных для классификации новостных сообщений Reuters.

tf.keras.datasets.reuters.load_data(
    path='reuters.npz',
    num_words=None,
    skip_top=0,
    maxlen=None,
    test_split=0.2,
    seed=113,
    start_char=1,
    oov_char=2,
    index_from=3
)

Этот набор данных содержит 11 228 новостных сообщений Reuters, распределённых по 46 темам.

Изначально набор был создан путём анализа и предварительной обработки классического набора данных Reuters-21578, однако код предварительной обработки больше не входит в состав Keras. Подробнее см. в этом обсуждении на GitHub.

Каждое новостное сообщение представлено списком индексов слов (целых чисел). Для удобства слова индексируются по общей частоте встречаемости в наборе данных: например, целое число «3» обозначает третье по частоте слово в данных. Это позволяет быстро выполнять фильтрацию, например: «учитывать только 10 000 наиболее распространённых слов, исключив 20 самых распространённых».

По соглашению «0» не обозначает конкретное слово, а используется для кодирования любого неизвестного слова.

Аргументы
path путь для кэширования данных (относительно ~/.keras/dataset).
num_words целое число или None. Слова ранжируются по частоте встречаемости (в обучающем наборе), и сохраняются только num_words наиболее частых слов. Все менее частые слова будут представлены значением oov_char в последовательностях данных. Если указано None, сохраняются все слова. По умолчанию — None.
skip_top пропустить N наиболее часто встречающихся слов (которые могут быть неинформативными). В наборе данных эти слова будут представлены значением oov_char. Значение 0 означает, что слова не пропускаются. По умолчанию — 0.
maxlen int или None. Максимальная длина последовательности. Более длинные последовательности будут усечены. None означает отсутствие усечения. По умолчанию — None.
test_split Число с плавающей запятой от 0. до 1.. Доля набора данных, используемая в качестве тестовых данных. 0.2 означает, что в качестве тестовых данных используется 20% набора. По умолчанию — 0.2.
seed int. Начальное значение для воспроизводимого перемешивания данных.
start_char int. Начало последовательности будет отмечено этим символом. Обычно для заполнения используется 0. По умолчанию — 1.
oov_char int. Символ для слов вне словаря. Слова, исключённые из-за ограничений num_words или skip_top, будут заменены этим символом.
index_from int. Индексировать фактические слова этим индексом и выше.
Возвращает
Кортеж массивов Numpy: (x_train, y_train), (x_test, y_test).

x_train, x_test: списки последовательностей, которые представляют собой списки индексов (целых чисел). Если для аргумента num_words было указано конкретное значение, максимально возможное значение индекса равно num_words - 1. Если был указан аргумент maxlen, максимально возможная длина последовательности равна maxlen.

y_train, y_test: списки целочисленных меток (1 или 0).

Примечание: Символ «вне словаря» используется только для слов, которые встречались в обучающем наборе, но не были включены, поскольку не попали в заданный здесь предел num_words. Слова, отсутствовавшие в обучающем наборе, но встретившиеся в тестовом, просто пропускаются.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/datasets/reuters/load_data

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API