1.1 Наборы символов

Обработка наборов символов исходного кода в C и родственных языках довольно сложна. Стандарт C обсуждает два набора символов, но на самом деле их как минимум четыре.

Вводимые в CPP файлы могут быть в любом наборе символов. Первым действием CPP, ещё до поиска границ строк, является преобразование файла в набор символов, используемый для внутренней обработки. Этот набор называется в стандарте C исходным набором символов. Он должен быть изоморфным ISO 10646, также известному как Unicode. CPP использует кодировку UTF-8 Unicode.

Наборы символов входных файлов задаются с помощью опции -finput-charset=.

Все предварительные обработки (предмет остальной части данного руководства) выполняются в исходном наборе символов. Если вы запросите текстовый вывод из препроцессора с опцией -E, он будет в UTF-8.

После завершения предварительной обработки строковые и символьные константы преобразуются ещё раз в вычислительный набор символов. Этот набор символов находится под управлением пользователя; по умолчанию используется UTF-8, соответствующий исходному набору символов. Широкие строковые и символьные константы имеют свой собственный набор символов, который не называется конкретно в стандарте. Опять же, он находится под управлением пользователя. По умолчанию используется UTF-16 или UTF-32, какой из них подходит к типу wchar_t целевой машины в порядке байтов целевой машины.¹ Восьмеричные и шестнадцатеричные последовательности escape не преобразуются; '\x12' имеет значение 0x12 независимо от текущего выбранного вычислительного набора символов. Все остальные escape-последовательности заменяются символом в исходном наборе символов, который они представляют, а затем преобразуются в вычислительный набор символов, как и неэкранированные символы.

В идентификаторах символы за пределами диапазона ASCII могут быть заданы с помощью escape-последовательностей ‘\u’ и ‘\U’ или использоваться напрямую в кодировке ввода. Если соблюдение строгого соответствия ISO C90 задано с помощью опции, такой как -std=c90, или используется -fno-extended-identifiers, то эти конструкции не допускаются в идентификаторах.