Класс Normalizer

public final class Normalizer extends Object

Этот класс предоставляет метод normalize, который преобразует текст Unicode в эквивалентную составную или разложенную форму, упрощая сортировку и поиск текста. Метод normalize поддерживает стандартные формы нормализации, описанные в Приложении № 15 к стандарту Unicode — Формы нормализации Unicode.

Символы с диакритическими знаками или другими надстрочными и подстрочными знаками могут кодироваться в Unicode несколькими разными способами. Например, возьмём символ A с акутом. В Unicode его можно закодировать одним символом (в «составной» форме):

     U+00C1    LATIN CAPITAL LETTER A WITH ACUTE

или двумя отдельными символами (в «разложенной» форме):

     U+0041    LATIN CAPITAL LETTER A
     U+0301    COMBINING ACUTE ACCENT

Однако для пользователя вашей программы обе эти последовательности должны рассматриваться как один и тот же символ «пользовательского уровня» — «A с акутом». При поиске или сравнении текста необходимо обеспечить эквивалентность этих двух последовательностей. Кроме того, нужно обрабатывать символы с несколькими диакритическими знаками. Иногда порядок комбинируемых с символом диакритических знаков имеет значение, а в других случаях последовательности знаков в разном порядке фактически эквивалентны.

Аналогичным образом строка «ffi» может кодироваться тремя отдельными буквами:

     U+0066    LATIN SMALL LETTER F
     U+0066    LATIN SMALL LETTER F
     U+0069    LATIN SMALL LETTER I

или одним символом

     U+FB03    LATIN SMALL LIGATURE FFI

Лигатура ffi не является отдельным семантическим символом и, строго говоря, вообще не должна была бы входить в Unicode, но она была включена для совместимости с существующими наборами символов, в которых она уже присутствовала. Стандарт Unicode обозначает такие символы, задавая для них «совместимые» разложения на соответствующие семантические символы. При сортировке и поиске часто требуется использовать эти соответствия.

Метод normalize помогает решить эти проблемы, преобразуя текст в канонические составную и разложенную формы, как показано в первом примере выше. Кроме того, можно включить совместимое разложение, чтобы обрабатывать совместимые символы так же, как их эквиваленты. Наконец, метод normalize переставляет диакритические знаки в правильном каноническом порядке, избавляя от необходимости выполнять такую перестановку самостоятельно.

W3C обычно рекомендует обмениваться текстами в NFC. Также обратите внимание, что в большинстве устаревших кодировок символов используются только предварительно составленные формы, и часто в них вообще не кодируются комбинируемые знаки отдельно. Для преобразования в такие кодировки текст Unicode необходимо нормализовать до NFC. Дополнительные примеры использования см. в Приложении к стандарту Unicode.