Класс Normalizer

public final class Normalizer extends Object

Этот класс предоставляет метод normalize, который преобразует текст Unicode в эквивалентную составную или разложенную форму, упрощая сортировку и поиск текста. Метод normalize поддерживает стандартные формы нормализации, описанные в Приложении № 15 к стандарту Unicode — Формы нормализации Unicode.

Символы с диакритическими знаками и другими надстрочными или подстрочными знаками могут быть представлены в Unicode несколькими способами. Например, рассмотрим символ A с акутом. В Unicode его можно представить одним символом (в «составной» форме):

     U+00C1    LATIN CAPITAL LETTER A WITH ACUTE

или двумя отдельными символами (в «разложенной» форме):

     U+0041    LATIN CAPITAL LETTER A
     U+0301    COMBINING ACUTE ACCENT

Однако для пользователя вашей программы обе эти последовательности должны рассматриваться как один и тот же символ «пользовательского уровня» — «A с акутом». При поиске или сравнении текста необходимо обеспечить эквивалентность этих двух последовательностей. Кроме того, необходимо обрабатывать символы с несколькими диакритическими знаками. Иногда порядок комбинируемых диакритических знаков символа имеет значение, а в других случаях последовательности диакритических знаков с разным порядком фактически эквивалентны.

Аналогично, строку «ffi» можно представить тремя отдельными буквами:

     U+0066    LATIN SMALL LETTER F
     U+0066    LATIN SMALL LETTER F
     U+0069    LATIN SMALL LETTER I

или одним символом

     U+FB03    LATIN SMALL LIGATURE FFI

Лигатура ffi не является отдельным семантическим символом и, строго говоря, ей вообще не место в Unicode, но она была включена для совместимости с существующими наборами символов, в которых она уже присутствовала. Стандарт Unicode определяет такие символы, задавая для них «совместимые» разложения на соответствующие семантические символы. При сортировке и поиске часто требуется использовать эти сопоставления.

Метод normalize помогает решить эти задачи, преобразуя текст в канонические составную и разложенную формы, как показано в первом примере выше. Кроме того, можно включить совместимое разложение, чтобы обрабатывать символы совместимости так же, как их эквиваленты. Наконец, метод normalize упорядочивает диакритические знаки в соответствии с каноническим порядком, избавляя от необходимости выполнять их перестановку самостоятельно.

W3C в целом рекомендует обмениваться текстами в NFC. Обратите также внимание, что в большинстве устаревших кодировок символов используются только заранее составленные формы, и часто в них вообще не представлены комбинируемые знаки. Для преобразования в такие кодировки текст Unicode необходимо нормализовать в NFC. Дополнительные примеры использования см. в Приложении к стандарту Unicode.