tf.strings.unicode_transcode
Транскодировать входной текст из исходной кодировки в кодировку назначения.
tf.strings.unicode_transcode(
input, input_encoding, output_encoding, errors='replace',
replacement_char=65533, replace_control_characters=False, name=None
)
Входной параметр — это тензор строкового типа любой формы. Выходной параметр — это тензор строкового типа той же формы, содержащий закодированные строки. Выходные строки всегда являются допустимыми строками Unicode. Если вход содержит недопустимые позиции кодирования, атрибут errors задает политику обработки таких позиций. Если используется политика обработки ошибок по умолчанию, недопустимые форматы будут заменены в выводе символом replacement_char. Если политика обработки ошибок устанавливается на ignore, любые недопустимые позиции кодирования во вводе пропускаются и не включаются в вывод. Если политика установлена на strict, любые недопустимые форматы приведут к ошибке InvalidArgument.
Эта операция может использоваться с output_encoding = input_encoding для обеспечения правильного форматирования ввода, даже если он уже находится в требуемой кодировке.
Если вход начинается с символа порядка байтов (BOM), необходимый для определения кодировки (например, если кодировка UTF-16, а BOM указывает на большой порядок байтов), то этот BOM будет прочитан и не будет выведен в выходные данные. Если кодировка входного значения отмечена явной битностью (например, UTF-16-BE), то BOM интерпретируется как неразрывный пробел и сохраняется в выводе (включая всегда для UTF-8).
В конечном итоге, если вход отмечен явной битностью, транскодирование будет верным для всех кодовых точек в источнике. Если вход не отмечен явной битностью, BOM не считается частью самой строки, а как метаданные, и поэтому не сохраняется в выводе.
| Аргументы | |
|---|---|
input | A Tensor типа string. Текст для обработки. Может иметь любую форму. |
input_encoding | A string. Кодировка текста входных строк. Это любая из кодировок, поддерживаемых алгоритмическими преобразователями ICU ucnv. Примеры: "UTF-16", "US ASCII", "UTF-8". |
output_encoding | A string из: "UTF-8", "UTF-16-BE", "UTF-32-BE". Кодировка Unicode для использования в выводе. Должна быть одной из "UTF-8", "UTF-16-BE", "UTF-32-BE". Многобайтовые кодировки будут иметь порядок байтов большого эндиан. |
errors | Необязательный string из: "strict", "replace", "ignore". По умолчанию "replace". Политика обработки ошибок, когда во входном значении обнаружен недопустимый формат. Значение 'strict' приведет к тому, что операция выдаст ошибку InvalidArgument при любом недопустимом формате входных данных. Значение 'replace' (по умолчанию) заставит операцию заменить любой недопустимый формат во вводе кодовой точкой replacement_char Значение 'ignore' заставит операцию пропустить любой недопустимый формат во вводе и не вывести соответствующий символ. |
replacement_char | Необязательный int. По умолчанию 65533. Кодовая точка символа замены, которая используется вместо любого недопустимого формата во вводе, когда errors='replace'. Может быть использована любая допустимая кодовая точка Unicode. Значение по умолчанию — символ замены Unicode по умолчанию — 0xFFFD или U+65533.) Обратите внимание, что для UTF-8 передача символа замены, выразимого в 1 байте, например ' ', сохранит выравнивание строки с исходником, поскольку недопустимые байты будут заменены символом замены размером в 1 байт. Для UTF-16-BE и UTF-16-LE любой символ замены размером в 1 или 2 байта сохранит выравнивание байтов с исходником. |
replace_control_characters | Необязательный bool. По умолчанию False. Нужно ли заменять управляющие символы C0 (00-1F) на replacement_char. По умолчанию — false. |
name | Имя операции (необязательно). |
| Возвращаемое значение | |
|---|---|
A Tensor типа string. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/strings/unicode_transcode
