tf.keras.datasets.imdb.load_data

Загружает набор данных IMDB.

tf.keras.datasets.imdb.load_data(
    path='imdb.npz',
    num_words=None,
    skip_top=0,
    maxlen=None,
    seed=113,
    start_char=1,
    oov_char=2,
    index_from=3,
    **kwargs
)

Это набор данных из 25 000 отзывов о фильмах с IMDB, размеченных по тональности (положительная/отрицательная). Отзывы предварительно обработаны, и каждый отзыв представлен списком индексов слов (целых чисел). Для удобства слова индексируются по общей частоте встречаемости в наборе данных, так что, например, целое число «3» обозначает третье по частоте слово в данных. Это позволяет быстро выполнять операции фильтрации, например: «учитывать только 10 000 самых распространённых слов, но исключить 20 самых распространённых слов».

По соглашению «0» не обозначает конкретное слово, а используется для кодирования токена заполнения.

Аргументы
`path`	где кэшировать данные (относительно `~/.keras/dataset`).
`num_words`	целое число или None. Слова ранжируются по частоте встречаемости (в обучающей выборке), и сохраняются только `num_words` самых частотных слов. Все менее частотные слова будут представлены значением `oov_char` в данных последовательностей. Если None, сохраняются все слова. Значение по умолчанию — `None`.
`skip_top`	пропустить N наиболее часто встречающихся слов (которые могут быть малоинформативными). Эти слова будут представлены в наборе данных значением `oov_char`. Если задано 0, слова не пропускаются. Значение по умолчанию — `0`.
`maxlen`	целое число или None. Максимальная длина последовательности. Более длинные последовательности будут усечены. None означает отсутствие усечения. Значение по умолчанию — `None`.
`seed`	целое число. Начальное значение для воспроизводимого перемешивания данных.
`start_char`	целое число. Начало последовательности будет помечено этим символом. Обычно для заполнения используется 0. Значение по умолчанию — `1`.
`oov_char`	целое число. Символ для слов вне словаря. Слова, исключённые из-за ограничений `num_words` или `skip_top`, будут заменены этим символом.
`index_from`	целое число. Индексировать фактические слова этим индексом и выше.

Возвращает
Кортеж массивов Numpy: `(x_train, y_train), (x_test, y_test)`.

x_train, x_test: списки последовательностей, представленных списками индексов (целых чисел). Если задан аргумент num_words, максимально возможное значение индекса равно num_words - 1. Если задан аргумент maxlen, наибольшая возможная длина последовательности равна maxlen.

y_train, y_test: списки целочисленных меток (1 или 0).

Примечание: Символ «вне словаря» используется только для слов, которые присутствовали в обучающей выборке, но не включены, поскольку не вошли в отсечку num_words. Слова, отсутствовавшие в обучающей выборке, но встречающиеся в тестовой, просто пропускаются.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/datasets/imdb/load_data