Класс StringTokenizer

Набор разделителей (символов, разделяющих токены) может быть задан либо во время создания, либо на уровне каждого токена.

Экземпляр StringTokenizer ведет себя одним из двух способов, в зависимости от того, был ли он создан с флагом returnDelims, имеющим значение true или false:

• Если флаг равен false, символы разделителей служат для разделения токенов. Токен — это максимальная последовательность последовательных символов, которые не являются разделителями.
• Если флаг равен true, символы разделителей сами считаются токенами. Таким образом, токен — это либо один символ разделителя, либо максимальная последовательность последовательных символов, которые не являются разделителями.

Объект StringTokenizer внутренне поддерживает текущую позицию в строке, подлежащей токенизации. Некоторые операции продвигают эту текущую позицию, пропуская обработанные символы.

Токен возвращается путем взятия подстроки строки, которая была использована для создания объекта StringTokenizer.

Ниже приведен пример использования токенайзера. Код:

     StringTokenizer st = new StringTokenizer("this is a test");
     while (st.hasMoreTokens()) {
         System.out.println(st.nextToken());
     }
 

выводит следующий результат:

     this
     is
     a
     test
 

StringTokenizer — это устаревший класс, который сохраняется по соображениям совместимости, хотя его использование в новом коде не рекомендуется. Рекомендуется, чтобы любой, кто ищет эту функциональность, использовал метод split класса String или пакет java.util.regex вместо этого.

Следующий пример иллюстрирует, как метод String.split может использоваться для разбиения строки на основные токены:

     String[] result = "this is a test".split("\\s");
     for (int x=0; x<result.length; x++)
         System.out.println(result[x]);
 

выводит следующий результат:

     this
     is
     a
     test