Класс Normalizer

public final class Normalizer extends Object

Этот класс предоставляет метод normalize, который преобразует текст Unicode в эквивалентную составную или разложенную форму, что позволяет упростить сортировку и поиск текста. Метод normalize поддерживает стандартные формы нормализации, описанные в Unicode Standard Annex #15 — Unicode Normalization Forms.

Символы с диакритическими знаками или другими украшениями могут быть закодированы в Unicode несколькими различными способами. Например, рассмотрим символ A-с остротой. В Unicode он может быть закодирован как один символ (форма "составная"):

      U+00C1    LATIN CAPITAL LETTER A WITH ACUTE

или как два отдельных символа (форма "разложенная"):

      U+0041    LATIN CAPITAL LETTER A
      U+0301    COMBINING ACUTE ACCENT

Однако для пользователя вашей программы обе эти последовательности должны обрабатываться как один и тот же символ "A с острой наклонной чертой". При поиске или сравнении текста необходимо убедиться, что эти две последовательности обрабатываются как эквивалентные. Кроме того, необходимо обрабатывать символы с более чем одним диакритическим знаком. Иногда порядок комбинирующих диакритических знаков важен, в то время как в других случаях последовательности диакритических знаков в разных порядках являются действительно эквивалентными.

Аналогично, строка "ffi" может быть закодирована как три отдельных буквы:

      U+0066    LATIN SMALL LETTER F
      U+0066    LATIN SMALL LETTER F
      U+0069    LATIN SMALL LETTER I

или как один символ

      U+FB03    LATIN SMALL LIGATURE FFI

Лигатура ffi не является отдельным семантическим символом и, строго говоря, не должна быть в Unicode вообще, но она была включена для совместимости с существующими наборами символов, которые уже её предоставляли. Стандарт Unicode идентифицирует такие символы, присваивая им "совместимые" разложения на соответствующие семантические символы. При сортировке и поиске часто требуется использовать эти сопоставления.

Метод normalize помогает решить эти проблемы, преобразуя текст в канонические составные и разложенные формы, как показано в первом примере выше. Кроме того, вы можете настроить его на выполнение совместимых разложений, чтобы вы могли обрабатывать совместимые символы так же, как и их эквиваленты. Наконец, метод normalize переупорядочивает диакритические знаки в правильный канонический порядок, чтобы вы не беспокоились о переупорядочивании диакритических знаков самостоятельно.

W3C обычно рекомендует обмениваться текстами в формате NFC. Обратите также внимание, что большинство устаревших кодировок символов используют только составные формы и часто не кодируют никакие комбинирующие знаки сами по себе. Для преобразования в такие кодировки символов текст Unicode необходимо нормализовать в формате NFC. Для получения дополнительных примеров использования см. Unicode Standard Annex.