Класс BreakIterator

public abstract class BreakIterator extends Object implements Cloneable

Требования к реализации:

Реализация анализа границ символов по умолчанию соответствует правилам разбиения на расширенные графемные кластеры консорциума Unicode. Дополнительные сведения см. в разделе Границы графемных кластеров приложения № 29 к стандарту Unicode.

Примечание по реализации:

Реализации BreakIterator по умолчанию выполняют эквивалент вызова setText(""), если текст не был задан с помощью setText(String) или setText(CharacterIterator), а экземпляр BreakIterator вызвал операцию поиска границы. Экземпляры BreakIterator, возвращаемые фабричными методами этого класса, предназначены только для естественных языков, а не для текста на языках программирования. Однако можно определить подклассы для токенизации языка программирования.

Примеры:

Создание и использование границ текста:

public static void main(String args[]) {
     if (args.length == 1) {
         String stringToExamine = args[0];
         //print each word in order
         BreakIterator boundary = BreakIterator.getWordInstance();
         boundary.setText(stringToExamine);
         printEachForward(boundary, stringToExamine);
         //print each sentence in reverse order
         boundary = BreakIterator.getSentenceInstance(Locale.US);
         boundary.setText(stringToExamine);
         printEachBackward(boundary, stringToExamine);
         printFirst(boundary, stringToExamine);
         printLast(boundary, stringToExamine);
     }
}

Вывод каждого элемента в прямом порядке:

public static void printEachForward(BreakIterator boundary, String source) {
    int start = boundary.first();
    for (int end = boundary.next();
         end != BreakIterator.DONE;
         start = end, end = boundary.next()) {
         System.out.println(source.substring(start,end));
    }
}

Вывод каждого элемента в обратном порядке:

public static void printEachBackward(BreakIterator boundary, String source) {
    int end = boundary.last();
    for (int start = boundary.previous();
         start != BreakIterator.DONE;
         end = start, start = boundary.previous()) {
        System.out.println(source.substring(start,end));
    }
}

Вывод первого элемента:

public static void printFirst(BreakIterator boundary, String source) {
    int start = boundary.first();
    int end = boundary.next();
    System.out.println(source.substring(start,end));
}

Вывод последнего элемента:

public static void printLast(BreakIterator boundary, String source) {
    int end = boundary.last();
    int start = boundary.previous();
    System.out.println(source.substring(start,end));
}

Вывод элемента в указанной позиции:

public static void printAt(BreakIterator boundary, int pos, String source) {
    int end = boundary.following(pos);
    int start = boundary.previous();
    System.out.println(source.substring(start,end));
}

Поиск следующего слова:

public static int nextWordStartAfter(int pos, String text) {
    BreakIterator wb = BreakIterator.getWordInstance();
    wb.setText(text);
    int last = wb.following(pos);
    int current = wb.next();
    while (current != BreakIterator.DONE) {
        for (int p = last; p < current; p++) {
            if (Character.isLetter(text.codePointAt(p)))
                return last;
        }
        last = current;
        current = wb.next();
    }
    return BreakIterator.DONE;
}

(Итератор, возвращаемый методом BreakIterator.getWordInstance(), уникален тем, что возвращаемые им позиции границ не обозначают одновременно начало и конец итерируемого фрагмента. Иными словами, итератор границ предложений возвращает границы, каждая из которых обозначает конец одного предложения и начало следующего. Для итератора границ слов символы между двумя границами могут образовывать слово либо знаки препинания или пробельные символы между словами. В приведённом выше коде используется простая эвристика для определения того, какая граница является началом слова: если символы между этой границей и следующей содержат хотя бы одну букву (это может быть буква алфавита, иероглиф CJK, слог хангыль, символ каны и т. д.), то текст между этими границами является словом; в противном случае это текст между словами.)

С версии:

1.1

См. также:

• CharacterIterator