tf.raw_ops.StringNGrams
Создаёт n-граммы из разрозненных строковых данных.
tf.raw_ops.StringNGrams(
data, data_splits, separator, ngram_widths, left_pad, right_pad, pad_width,
preserve_short_sequences, name=None
)
Этот оператор принимает разрозненную тензорную структуру с 1 разрозненным измерением, содержащую только строки, и возвращает разрозненную тензорную структуру с 1 разрозненным измерением, содержащую n-граммы этих строк, объединённых вдоль внутреннего осей.
| Аргументы | |
|---|---|
data | A Tensor типа string. Тензор значений разрозненного строкового тензора, из которого необходимо создать n-граммы. Должен быть одномерным строковым тензором. |
data_splits | A Tensor. Должен быть одного из следующих типов: int32, int64. Тензор разбиений разрозненного строкового тензора, из которого необходимо создать n-граммы. |
separator | A string. Строка для добавления между элементами токена. Используйте "" для отсутствия разделителя. |
ngram_widths | Список ints. Размеры n-грамм, которые нужно создать. |
left_pad | A string. Строка для заполнения левой стороны последовательности n-граммы. Используется только если pad_width != 0. |
right_pad | A string. Строка для заполнения правой стороны последовательности n-граммы. Используется только если pad_width != 0. |
pad_width | Целое число. Количество элементов заполнения, добавляемых к каждой стороне каждой последовательности. Обратите внимание, что заполнение никогда не будет больше, чем 'ngram_widths'-1 независимо от этого значения. Если pad_width=-1, то добавьте max(ngram_widths)-1 элементов. |
preserve_short_sequences | A bool. |
name | Имя операции (необязательно). |
| Возвращаемые значения | |
|---|---|
Кортеж из Tensor объектов (ngrams, ngrams_splits). | |
ngrams | A Tensor типа string. |
ngrams_splits | A Tensor. Имеет тот же тип, что и data_splits. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/raw_ops/StringNGrams