Класс Normalizer

public final class Normalizer extends Object

Этот класс предоставляет метод normalize, который преобразует текст Юникода в эквивалентную составную или разложенную форму, что упрощает сортировку и поиск текста. Метод normalize поддерживает стандартные формы нормализации, описанные в Приложении к стандарту Юникод #15 — Формы нормализации Юникода.

Символы с диакритическими знаками или другими украшениями могут быть закодированы в Юникоде несколькими различными способами. Например, рассмотрим символ A-с ударением. В Юникоде он может быть закодирован как один символ (форма "составная"):

      U+00C1    LATIN CAPITAL LETTER A WITH ACUTE

или как два отдельных символа (форма "разложенная"):

      U+0041    LATIN CAPITAL LETTER A
      U+0301    COMBINING ACUTE ACCENT

Однако для пользователя вашей программы обе эти последовательности должны рассматриваться как один и тот же символ "A с острым ударением". При поиске или сравнении текста необходимо гарантировать, что эти две последовательности обрабатываются как эквивалентные. Кроме того, необходимо обрабатывать символы с несколькими диакритическими знаками. Иногда порядок комбинирующих диакритических знаков существенен, в то время как в других случаях последовательности диакритических знаков в разном порядке могут быть эквивалентными.

Аналогично, строка "ffi" может быть закодирована как три отдельных буквы:

      U+0066    LATIN SMALL LETTER F
      U+0066    LATIN SMALL LETTER F
      U+0069    LATIN SMALL LETTER I

или как один символ

      U+FB03    LATIN SMALL LIGATURE FFI

. Лигатура ffi не является отдельным семантическим символом, и строго говоря, она не должна быть в Юникоде вообще, но она была включена для совместимости с существующими наборами символов, которые уже ее предоставляли. Стандарт Юникода идентифицирует такие символы, предоставляя им "совместимые" разложения на соответствующие семантические символы. При сортировке и поиске часто требуется использовать эти отображения.

Метод normalize помогает решить эти проблемы, преобразуя текст в канонические составную и разложенную формы, как показано в первом примере выше. Кроме того, вы можете настроить его на выполнение совместимых разложений, чтобы вы могли обрабатывать совместимые символы так же, как и их эквиваленты. Наконец, метод normalize переупорядочивает диакритические знаки в правильный канонический порядок, чтобы вам не нужно было беспокоиться о переупорядочении диакритических знаков самостоятельно.

W3C обычно рекомендует обмениваться текстами в формате NFC. Также обратите внимание, что большинство устаревших кодировок символов используют только предварительно составленные формы и часто не кодируют никакие комбинирующие знаки сами по себе. Для преобразования в такие кодировки символов текст Юникода должен быть нормализован в NFC. Более подробные примеры использования см. в Приложении к стандарту Юникод.