Класс Normalizer

public final class Normalizer extends Object

Этот класс предоставляет метод normalize, который преобразует текст Unicode в эквивалентную составную или разложенную форму, что позволяет упростить сортировку и поиск текста. Метод normalize поддерживает стандартные формы нормализации, описанные в Приложении к стандарту Unicode #15 — Формы нормализации Unicode.

Символы с диакритическими знаками или другими украшениями могут быть закодированы в Unicode несколькими различными способами. Например, рассмотрим символ A-с остро́й. В Unicode он может быть закодирован как одиночный символ (форма «составной»):

      U+00C1    LATIN CAPITAL LETTER A WITH ACUTE

или как два отдельных символа (форма «разложенной»):

      U+0041    LATIN CAPITAL LETTER A
      U+0301    COMBINING ACUTE ACCENT

Однако для пользователя вашей программы обе эти последовательности должны обрабатываться как один и тот же «символ пользовательского уровня» «A с острой». При поиске и сравнении текста необходимо гарантировать, что эти две последовательности обрабатываются как эквивалентные. Кроме того, необходимо обрабатывать символы с более чем одним диакритическим знаком. Иногда порядок комбинирующих диакритических знаков важен, а в других случаях последовательности диакритических знаков в разном порядке являются эквивалентными.

Аналогично, строка «ffi» может быть закодирована как три отдельных буквы:

      U+0066    LATIN SMALL LETTER F
      U+0066    LATIN SMALL LETTER F
      U+0069    LATIN SMALL LETTER I

или как один символ

      U+FB03    LATIN SMALL LIGATURE FFI

Лигатура ffi не является отдельным семантическим символом, и строго говоря, она не должна вообще присутствовать в Unicode, но она была включена для совместимости с существующими наборами символов, которые уже её предоставляли. Стандарт Unicode идентифицирует такие символы, предоставляя им «совместимые» разложения на соответствующие семантические символы. При сортировке и поиске вы часто захотите использовать эти сопоставления.

Метод normalize помогает решить эти проблемы, преобразовывая текст в канонические составные и разложенные формы, как показано в первом примере выше. Кроме того, вы можете выполнить совместимые разложения, чтобы обрабатывать совместимые символы так же, как и их эквиваленты. Наконец, метод normalize переупорядочивает диакритические знаки в правильном каноническом порядке, чтобы вам не нужно было беспокоиться о переупорядочении диакритических знаков самостоятельно.

W3C обычно рекомендует обмениваться текстами в формате NFC. Обратите также внимание, что большинство устаревших кодировок символов используют только составные формы и часто не кодируют никакие комбинирующие знаки сами по себе. Для преобразования в такие кодировки символов текст Unicode необходимо нормализовать в формате NFC. Более подробные примеры использования см. в Приложении к стандарту Unicode.