Класс Normalizer

public final class Normalizer
extends Object

Этот класс предоставляет метод normalize, который преобразует текст Юникод в эквивалентную составную или разложенную форму, что позволяет упростить сортировку и поиск текста. Метод normalize поддерживает стандартные формы нормализации, описанные в Приложении #15 к стандарту Юникод — Формы нормализации Юникод.

Символы с диакритическими знаками или другими украшениями могут быть закодированы в Юникоде несколькими различными способами. Например, рассмотрим символ A с острым ударением. В Юникоде он может быть закодирован как один символ (форма «составная»):

U+00C1    LATIN CAPITAL LETTER A WITH ACUTE

или как два отдельных символа (форма «разложенная»):

U+0041    LATIN CAPITAL LETTER A
      U+0301    COMBINING ACUTE ACCENT

Однако для пользователя вашей программы обе эти последовательности должны обрабатываться как один и тот же символ «пользовательского уровня» — «A с острым ударением». При поиске или сравнении текста необходимо обеспечить, чтобы эти две последовательности обрабатывались как эквивалентные. Кроме того, необходимо обрабатывать символы с более чем одним диакритическим знаком. Иногда порядок сочетания диакритических знаков важен, в то время как в других случаях последовательности знаков с разным порядком действительно эквивалентны.

Аналогично, строка «ffi» может быть закодирована как три отдельных буквы:

U+0066    LATIN SMALL LETTER F
      U+0066    LATIN SMALL LETTER F
      U+0069    LATIN SMALL LETTER I

или как один символ

U+FB03    LATIN SMALL LIGATURE FFI

. Лигатура ffi не является отдельным семантическим символом, и строго говоря, она вообще не должна быть в Юникоде, но она была включена для совместимости с существующими наборами символов, которые её уже предоставляли. Стандарт Юникод определяет такие символы, предоставляя им «совместимые» разложения на соответствующие семантические символы. При сортировке и поиске вы часто захотите использовать эти сопоставления.

Метод normalize помогает решить эти проблемы, преобразуя текст в канонические составные и разложенные формы, как показано в первом примере выше. Кроме того, вы можете выполнить совместимые разложения, чтобы вы могли обрабатывать совместимые символы так же, как и их эквиваленты. Наконец, метод normalize переупорядочивает диакритические знаки в правильном каноническом порядке, чтобы вам не приходилось беспокоиться об этом переупорядочении самостоятельно.

W3C, как правило, рекомендует обмениваться текстами в формате NFC. Обратите также внимание, что большинство устаревших кодировок символов используют только прекомпонованные формы и часто не кодируют знаки объединения сами по себе. Для преобразования в такие кодировки символов текст Юникод должен быть нормализован к NFC. Для получения дополнительных примеров использования см. Приложение к стандарту Юникод.

public static String normalize(CharSequence src,
                               Normalizer.Form form)

public static boolean isNormalized(CharSequence src,
                                   Normalizer.Form form)