Класс StringTokenizer

Множество разделителей (символы, разделяющие токены) может быть указано либо во время создания, либо на основе каждого токена.

Экземпляр класса StringTokenizer ведет себя одним из двух способов, в зависимости от того, был ли он создан с флагом returnDelims, имеющим значение true или false:

• Если флаг равен false, символы-разделители служат для разделения токенов. Токен — это максимальная последовательность последовательных символов, которые не являются разделителями.
• Если флаг равен true, символы-разделители сами считаются токенами. Таким образом, токен — это либо один символ-разделитель, либо максимальная последовательность последовательных символов, которые не являются разделителями.

Объект StringTokenizer внутренне поддерживает текущую позицию в строке, подлежащей токенизации. Некоторые операции перемещают эту текущую позицию дальше, минуя обработанные символы.

Токен возвращается путем взятия подстроки строки, которая использовалась для создания объекта StringTokenizer.

Следующий пример демонстрирует использование токенизатора. Код:

     StringTokenizer st = new StringTokenizer("this is a test");
     while (st.hasMoreTokens()) {
         System.out.println(st.nextToken());
     }
 

выводит следующий вывод:

     this
     is
     a
     test
 

Класс StringTokenizer является устаревшим классом, который сохраняется по причинам совместимости, хотя его использование в новом коде не рекомендуется. Рекомендуется использовать метод split класса String или пакет java.util.regex вместо него.

Следующий пример иллюстрирует, как метод String.split может быть использован для разделения строки на основные токены:

     String[] result = "this is a test".split("\\s");
     for (String r : result)
         System.out.println(r);
 

выводит следующий вывод:

     this
     is
     a
     test