tensorflow::ops::UnicodeTranscode

#include <string_ops.h>

Транскодировать входной текст из исходной кодировки в целевую кодировку.

Summary

Ввод — это строковый тензор любой формы. Вывод — это строковый тензор той же формы, содержащий транскодированные строки. Строки вывода всегда являются допустимыми строками Юникод. Если вход содержит недопустимые позиции кодирования, атрибут errors устанавливает политику обработки таких позиций. Если используется политика обработки ошибок по умолчанию, недопустимый формат будет заменён в выводе на replacement_char. Если политика ошибок — ignore, любые недопустимые позиции кодирования во входных данных будут пропущены и не будут включены в выходные данные. Если она установлена в strict, любой недопустимый формат приведёт к ошибке InvalidArgument.

Эта операция может использоваться с output_encoding = input_encoding для обеспечения корректного форматирования ввода, даже если он уже находится в желаемой кодировке.

Если вход начинается с метки порядка байтов, необходимой для определения кодировки (например, если кодировка UTF-16, а BOM указывает на большой порядок байтов), эта BOM будет использована и не будет передана в выходные данные. Если кодировка ввода отмечена явной endianностью (например, UTF-16-BE), BOM интерпретируется как пробел и сохраняется в выходных данных (включая всегда для UTF-8).

В итоге, если вход отмечен явной endianностью, транскодирование точно соответствует всем кодовым точкам в исходных данных. Если endianность не отмечена явно, BOM не считается частью самой строки, а как метаданные, поэтому не сохраняется в выходных данных.

Примеры:

tf.strings.unicode_transcode(["Hello", "TensorFlow", "2.x"], "UTF-8", "UTF-16-BE") tf.strings.unicode_transcode(["A", "B", "C"], "US ASCII", "UTF-8").numpy() array([b'A', b'B', b'C'], dtype=object)

Аргументы:

• scope: Объект Scope
• input: Текст для обработки. Может иметь любую форму.
• input_encoding: Кодировка текста входных строк. Это любая из кодировок, поддерживаемых алгоритмическими преобразователями ICU ucnv. Примеры: "UTF-16", "US ASCII", "UTF-8".
• output_encoding: Кодировка Юникода для использования в выводе. Должна быть одной из "UTF-8", "UTF-16-BE", "UTF-32-BE". Многобайтовые кодировки будут big-endian.

Необязательные атрибуты (см. Attrs):

• errors: Политика обработки ошибок, когда в вводе обнаружен неверный формат. Значение 'strict' заставит операцию генерировать ошибку InvalidArgument при любом недопустимом форматировании ввода. Значение 'replace' (по умолчанию) заставит операцию заменить любой недопустимый формат ввода кодовой точкой replacement_char. Значение 'ignore' заставит операцию пропустить любой неверный формат ввода и не генерировать соответствующий выходной символ.
• replacement_char: Кодовая точка символа-замены, которая должна использоваться вместо любого недопустимого форматирования ввода, когда errors='replace'. Любая допустимая кодовая точка Юникода может быть использована. Значение по умолчанию — символ замены Юникода по умолчанию 0xFFFD или U+65533.)

Обратите внимание, что для UTF-8, передача символа замены, выразимого в 1 байте, такого как ' ', сохранит выравнивание строки по отношению к исходным данным, так как недопустимые байты будут заменены символом замены в 1 байте. Для UTF-16-BE и UTF-16-LE любой символ замены в 1 или 2 байта сохранит выравнивание байтов по отношению к исходным данным.

• replace_control_characters: Заменять ли управляющие символы C0 (00-1F) на replacement_char. По умолчанию — false.

Возвращает:

• Output: Строковый тензор, содержащий текст Юникода, закодированный с помощью output_encoding.

Общедоступные атрибуты

Operation operation

::tensorflow::Output output

Общедоступные функции

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding
)

 UnicodeTranscode(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  StringPiece input_encoding,
  StringPiece output_encoding,
  const UnicodeTranscode::Attrs & attrs
)

::tensorflow::Node * node() const 

operator::tensorflow::Input() const 

operator::tensorflow::Output() const 

Общедоступные статические функции

Attrs Errors(
  StringPiece x
)

Attrs ReplaceControlCharacters(
  bool x
)

Attrs ReplacementChar(
  int64 x
)