Класс StringTokenizer

Набор разделителей (символов, разделяющих токены) может быть указан либо во время создания, либо отдельно для каждого токена.

Экземпляр StringTokenizer ведет себя одним из двух способов в зависимости от того, был ли он создан с флагом returnDelims, имеющим значение true или false:

• Если флаг равен false, символы-разделители служат для разделения токенов. Токен представляет собой максимальную последовательность идущих подряд символов, не являющихся разделителями.
• Если флаг равен true, символы-разделители сами считаются токенами. Таким образом, токен представляет собой либо один символ-разделитель, либо максимальную последовательность идущих подряд символов, не являющихся разделителями.

Объект StringTokenizer внутренне отслеживает текущую позицию в токенизируемой строке. Некоторые операции смещают эту текущую позицию вперед за пределы обработанных символов.

Токен возвращается путем взятия подстроки из строки, которая использовалась для создания объекта StringTokenizer.

Ниже приведен один из примеров использования токенизатора. Код:

    StringTokenizer st = new StringTokenizer("this is a test");
    while (st.hasMoreTokens()) {
        System.out.println(st.nextToken());
    }

выводит следующий результат:

    this
    is
    a
    test

StringTokenizer — это устаревший класс, сохраненный для обеспечения совместимости, хотя его использование в новом коде не рекомендуется. Всем, кому требуется данная функциональность, рекомендуется использовать метод split класса String или пакет java.util.regex.

Следующий пример иллюстрирует, как метод String.split может использоваться для разбиения строки на базовые токены:

    String[] result = "this is a test".split("\\s");
    for (String r : result)
        System.out.println(r);

выводит следующий результат:

    this
    is
    a
    test