Программы пишутся с использованием набора символов Юникод. Информацию об этом наборе символов и связанных кодировках можно найти по адресу http://www.unicode.org/.

Платформа Java SE отслеживает стандарт Юникод по мере его развития. Точная версия Юникода, используемая данной версией, указана в документации класса Character.

Версии языка программирования Java до JDK 1.1 использовали Юникод 1.1.5. Переход к более новым версиям стандарта Юникод произошёл в JDK 1.1 (до Юникода 2.0), JDK 1.1.7 (до Юникода 2.1), Java SE 1.4 (до Юникода 3.0), Java SE 5.0 (до Юникода 4.0), Java SE 7 (до Юникода 6.0) и Java SE 8 (до Юникода 6.2).

Стандарт Юникод изначально разрабатывался как кодировка символов с фиксированной шириной 16 бит. Позже он был изменён, чтобы позволить символы, представление которых требует более 16 бит. Диапазон допустимых кодовых точек теперь от U+0000 до U+10FFFF, используя шестнадцатеричное обозначение U+n. Символы, кодовые точки которых больше U+FFFF, называются дополнительными символами. Для представления всего диапазона символов, используя только 16-битные единицы, стандарт Юникод определяет кодировку UTF-16. В этой кодировке дополнительные символы представляются парами 16-битных кодовых единиц, первая из диапазона старших суррогатов (U+D800 до U+DBFF), вторая — из диапазона младших суррогатов (U+DC00 до U+DFFF). Для символов в диапазоне U+0000 до U+FFFF значения кодовых точек и кодовых единиц UTF-16 совпадают.

Язык программирования Java представляет текст в последовательностях 16-битных кодовых единиц, используя кодировку UTF-16.

Некоторые API платформы Java SE, в основном в классе Character, используют 32-битные целые числа для представления кодовых точек как отдельных сущностей. Платформа Java SE предоставляет методы для преобразования между 16-битными и 32-битными представлениями.

В этом спецификации используются термины кодовая точка и кодовая единица UTF-16, где представление актуально, и общий термин символ, где представление не имеет значения для обсуждения.

За исключением комментариев (§3.7), идентификаторов и содержимого символьных и строковых литералов (§3.10.4, §3.10.5), все элементы ввода (§3.5) в программе образуются только из символов ASCII (или экранирования Юникода (§3.3), которые приводят к символам ASCII).

ASCII (ANSI X3.4) — это американский стандартный код для обмена информацией. Первые 128 символов кодировки Юникод UTF-16 — это символы ASCII.

Поток исходного символов Юникода преобразуется в последовательность токенов, используя следующие три лексических шага, которые применяются последовательно:

На каждом шаге используется самое длинное возможное преобразование, даже если результат в конечном итоге не является корректной программой, в то время как другое лексическое преобразование было бы корректным. Есть одно исключение: если лексическое преобразование происходит в контексте типа (§4.11) и поток ввода содержит два или более последовательных > символа, за которыми следует не-> символ, то каждый > символ должен быть преобразован в токен численного оператора сравнения >.

Компилятор языка программирования Java ("компилятор Java") сначала распознаёт Unicode-экранирование в своём вводе, преобразуя ASCII-символы \u, за которыми следуют четыре шестнадцатеричных цифры, в единицу кода UTF-16 (§3.1) для указанного шестнадцатеричного значения, и оставляя все остальные символы без изменений. Для представления дополнительных символов требуются два последовательных Unicode-экранирования. Этот этап преобразования приводит к последовательности символов Unicode на входе.

Здесь \, u и шестнадцатеричные цифры — всё ASCII-символы.

Помимо обработки, подразумеваемой грамматикой, для каждого символа на входе, являющегося обратной косой чертой \, обработка ввода должна учитывать, сколько других \ символов последовательно предшествуют ему, отделяя его от не-\ символа или начала потока ввода. Если это число чётное, то \ может начинать Unicode-экранирование; если нечётное, то \ не может начинать Unicode-экранирование.

Если допустимая \ не следует за u, то она рассматривается как RawInputCharacter и остаётся частью потока экранированного Unicode.

Если допустимая \ следует за u или более чем за одной u, и последняя u не следует за четырьмя шестнадцатеричными цифрами, то происходит ошибка времени компиляции.

Символ, созданный Unicode-экранированием, не участвует в дальнейших Unicode-экранированиях.

Язык программирования Java определяет стандартный способ преобразования программы, написанной на Unicode, в ASCII, который изменяет программу в форму, обрабатываемую ASCII-инструментами. Преобразование включает преобразование всех Unicode-экранирований в исходном тексте программы в ASCII путём добавления дополнительной u – например, \uxxxx превращается в \uuxxxx – одновременно с преобразованием не-ASCII-символов в исходном тексте в Unicode-экранирования, содержащие по одному u каждый.

Эта преобразованная версия так же приемлема для компилятора Java и представляет точно такую же программу. Точный исходный код Unicode может быть позже восстановлен из этой ASCII-формы путём преобразования каждой последовательности экранирования, где присутствует несколько u, в последовательность символов Unicode с одной u меньше, одновременно преобразуя каждую последовательность экранирования с одной u в соответствующий одиночный символ Unicode.

Компилятор Java должен использовать обозначение \uxxxx в качестве формата вывода для отображения символов Unicode, когда подходящий шрифт недоступен.

Компилятор Java далее делит последовательность символов Unicode на строки, распознавая разделители строк.

Строки завершаются символами ASCII CR, или LF, или CR LF. Два символа CR, непосредственно за которыми следует LF, считаются одним разделителем строк, а не двумя.

Разделитель строки указывает завершение // формы комментария (§3.7).

Определяемые разделителями строк строки могут определять номера строк, генерируемые компилятором Java.

Результат — последовательность разделителей строк и символов ввода, которые являются терминальными символами для третьего этапа процесса токенизации.

Символы ввода и разделители строк, полученные в результате обработки экранирования (§3.3), а затем распознавания строк ввода (§3.4), сводятся к последовательности элементов ввода.

Те элементы ввода, которые не являются пробелами или комментариями, являются токенами. Токены являются терминальными символами синтаксической грамматики (§2.3).

Пробелы (§3.6) и комментарии (§3.7) могут служить для разделения токенов, которые, будучи смежными, могли бы быть проанализированы по-другому. Например, ASCII-символы - и = на входе могут образовывать операторный токен -= (§3.12), только если нет никаких вмещающихся пробелов или комментариев.

В качестве особой уступки для совместимости с некоторыми операционными системами, символ ASCII SUB (\u001a, или control-Z) игнорируется, если это последний символ в потоке экранированного ввода.

Рассмотрим два токена x и y в результирующем потоке ввода. Если x предшествует y, то мы говорим, что x находится слева от y, и что y находится справа от x.

class Empty {
}

Пробелы определяются как ASCII-пробел, табуляция, символ перевода страницы и разделители строк (§3.4).

Существует два вида комментариев:

Эти правила подразумевают следующие свойства:

/* this comment /* // /** ends here: */

Лексическая грамматика подразумевает, что комментарии не встречаются внутри символьных (§3.10.4) или строковых (§3.10.5) литералов.

Идентификатор — это последовательность неограниченной длины символов Java и цифр Java, первая из которых должна быть символом Java.

Символ "символ Java" — это символ, для которого метод Character.isJavaIdentifierStart(int) возвращает true.

Символ "символ или цифра Java" — это символ, для которого метод Character.isJavaIdentifierPart(int) возвращает true.

К "символам Java" относятся прописные и строчные латинские буквы ASCII A-Z (\u0041-\u005a), а также a-z (\u0061-\u007a), по историческим причинам, символ подчеркивания ASCII (_, или \u005f) и знак доллара ($, или \u0024). Знак $ следует использовать только в автоматически сгенерированном коде или, в редких случаях, для доступа к имеющимся именам в устаревших системах.

К "цифрам Java" относятся цифры ASCII 0-9 (\u0030-\u0039).

Буквы и цифры могут быть взяты из всего набора символов Unicode, который поддерживает большинство используемых сегодня письменных систем, включая обширные наборы для китайского, японского и корейского языков. Это позволяет программистам использовать в своих программах идентификаторы, написанные на их родных языках.

Идентификатор не может иметь то же написание (последовательность символов Unicode) что и ключевое слово (§3.9), булево значение (§3.10.3) или значение null (§3.10.7), в противном случае возникнет ошибка компиляции.

Два идентификатора одинаковы только если они идентичны, то есть имеют одинаковые символы Unicode для каждой буквы или цифры. Идентификаторы, имеющие одинаковый внешний вид, могут быть различными.

50 последовательностей символов, образованных латинскими буквами ASCII, зарезервированы для использования в качестве ключевых слов и не могут использоваться в качестве идентификаторов (§3.8).

abstract   continue   for          new         switch
assert     default    if           package     synchronized
boolean    do         goto         private     this
break      double     implements   protected   throw
byte       else       import       public      throws
case       enum       instanceof   return      transient
catch      extends    int          short       try
char       final      interface    static      void
class      finally    long         strictfp    volatile
const      float      native       super       while

Ключевые слова const и goto зарезервированы, хотя в настоящее время не используются. Это позволяет компилятору Java создавать более информативные сообщения об ошибках, если эти ключевые слова C++ неправильно используются в программах.

Хотя true и false могут показаться ключевыми словами, технически они являются булевыми литералами (§3.10.3). Аналогично, null, хотя и может выглядеть как ключевое слово, технически является литералом null (§3.10.7).

Двенадцать токенов, образованных из ASCII-символов, являются разделителями (знаками препинания).

(   )   {   }   [   ]   ;   ,   .   ...   @   ::

38 токенов, образованных из ASCII-символов, являются операторами.

=   >   <   !   ~   ?   :   ->
==  >=  <=  !=  &&  ||  ++  --
+   -   *   /   &   |   ^   %   <<   >>   >>>
+=  -=  *=  /=  &=  |=  ^=  %=  <<=  >>=  >>>=