Класс StringTokenizer

Набор разделителей (символы, разделяющие токены) может быть указан либо во время создания, либо для каждого токена.

Экземпляр StringTokenizer ведет себя одним из двух способов, в зависимости от того, был ли он создан с флагом returnDelims, имеющим значение true или false:

• Если флаг равен false, символы-разделители служат для разделения токенов. Токен — это максимальная последовательность последовательных символов, которые не являются разделителями.
• Если флаг равен true, символы-разделители сами считаются токенами. Таким образом, токен — это либо один символ-разделитель, либо максимальная последовательность последовательных символов, которые не являются разделителями.

Объект StringTokenizer внутренне поддерживает текущую позицию в строке, подлежащей токенизации. Некоторые операции продвигают эту текущую позицию мимо обработанных символов.

Токен возвращается путем взятия подстроки из строки, которая использовалась для создания объекта StringTokenizer.

Вот один пример использования токенизатора. Код:

     StringTokenizer st = new StringTokenizer("this is a test");
     while (st.hasMoreTokens()) {
         System.out.println(st.nextToken());
     }
 

выводит следующий вывод:

     this
     is
     a
     test
 

StringTokenizer — это устаревший класс, который сохраняется для совместимости, хотя его использование в новом коде не рекомендуется. Рекомендуется использовать метод split класса String или пакет java.util.regex вместо него.

Следующий пример иллюстрирует, как метод String.split можно использовать для разделения строки на основные токены:

     String[] result = "this is a test".split("\\s");
     for (int x=0; x<result.length; x++)
         System.out.println(result[x]);
 

выводит следующий вывод:

     this
     is
     a
     test