Класс StringTokenizer

Набор разделителей (символов, которые отделяют токены) можно указать при создании объекта или отдельно для каждого токена.

Экземпляр StringTokenizer работает одним из двух способов в зависимости от того, был ли он создан с флагом returnDelims, имеющим значение true или false:

• Если флаг имеет значение false, символы-разделители служат для разделения токенов. Токен — это максимальная последовательность подряд идущих символов, не являющихся разделителями.
• Если флаг имеет значение true, символы-разделители сами считаются токенами. Таким образом, токеном является либо один символ-разделитель, либо максимальная последовательность подряд идущих символов, не являющихся разделителями.

Объект StringTokenizer внутренне хранит текущую позицию в разбираемой строке. Некоторые операции перемещают эту позицию за обработанные символы.

Токен возвращается путем извлечения подстроки из строки, которая использовалась для создания объекта StringTokenizer.

Ниже приведен пример использования токенизатора. Код:

    StringTokenizer st = new StringTokenizer("this is a test");
    while (st.hasMoreTokens()) {
        System.out.println(st.nextToken());
    }

выводит следующий результат:

    this
    is
    a
    test

StringTokenizer — устаревший класс, сохраненный для обеспечения совместимости, хотя его использование в новом коде не рекомендуется. Тем, кому требуется эта функциональность, рекомендуется использовать метод split класса String или пакет java.util.regex.

В следующем примере показано, как метод String.split можно использовать для разбиения строки на базовые токены:

    String[] result = "this is a test".split("\\s");
    for (String r : result)
        System.out.println(r);

выводит следующий результат:

    this
    is
    a
    test