Класс BreakIterator

public abstract class BreakIterator extends Object implements Cloneable

Требования к реализации:

Реализация анализа границ символов по умолчанию соответствует правилам разбиения расширенных кластеров графем Консорциума Юникода. Для получения более подробной информации обратитесь к разделу «Границы кластера графем» в приложении Unicode Standard Annex #29: Границы кластера графем.

Примечание об реализации:

По умолчанию реализация BreakIterator выполнит эквивалент вызова setText(""), если текст не был установлен ни с помощью setText(String), ни с помощью setText(CharacterIterator), и операция поиска границы вызывается экземпляром BreakIterator. Экземпляры BreakIterator, возвращаемые фабричными методами этого класса, предназначены только для использования с естественными языками, а не для текстов языков программирования. Однако можно определить подклассы, которые токенизируют язык программирования.

Примеры:

Создание и использование границ текста:

public static void main(String args[]) {
     if (args.length == 1) {
         String stringToExamine = args[0];
         //print each word in order
         BreakIterator boundary = BreakIterator.getWordInstance();
         boundary.setText(stringToExamine);
         printEachForward(boundary, stringToExamine);
         //print each sentence in reverse order
         boundary = BreakIterator.getSentenceInstance(Locale.US);
         boundary.setText(stringToExamine);
         printEachBackward(boundary, stringToExamine);
         printFirst(boundary, stringToExamine);
         printLast(boundary, stringToExamine);
     }
}

Вывод каждого элемента по порядку:

public static void printEachForward(BreakIterator boundary, String source) {
    int start = boundary.first();
    for (int end = boundary.next();
         end != BreakIterator.DONE;
         start = end, end = boundary.next()) {
         System.out.println(source.substring(start,end));
    }
}

Вывод каждого элемента в обратном порядке:

public static void printEachBackward(BreakIterator boundary, String source) {
    int end = boundary.last();
    for (int start = boundary.previous();
         start != BreakIterator.DONE;
         end = start, start = boundary.previous()) {
        System.out.println(source.substring(start,end));
    }
}

Вывод первого элемента:

public static void printFirst(BreakIterator boundary, String source) {
    int start = boundary.first();
    int end = boundary.next();
    System.out.println(source.substring(start,end));
}

Вывод последнего элемента:

public static void printLast(BreakIterator boundary, String source) {
    int end = boundary.last();
    int start = boundary.previous();
    System.out.println(source.substring(start,end));
}

Вывод элемента в указанной позиции:

public static void printAt(BreakIterator boundary, int pos, String source) {
    int end = boundary.following(pos);
    int start = boundary.previous();
    System.out.println(source.substring(start,end));
}

Поиск следующего слова:

public static int nextWordStartAfter(int pos, String text) {
    BreakIterator wb = BreakIterator.getWordInstance();
    wb.setText(text);
    int last = wb.following(pos);
    int current = wb.next();
    while (current != BreakIterator.DONE) {
        for (int p = last; p < current; p++) {
            if (Character.isLetter(text.codePointAt(p)))
                return last;
        }
        last = current;
        current = wb.next();
    }
    return BreakIterator.DONE;
}

(Итератор, возвращаемый методом BreakIterator.getWordInstance(), уникален тем, что возвращаемые им позиции разрывов не представляют собой и начало, и конец того, что итерируется. То есть, итератор разбиения предложений возвращает разрывы, каждый из которых представляет собой конец одного предложения и начало следующего. С итератором разбиения слов символы между двумя границами могут составлять слово, или они могут быть знаками препинания или пробелами между двумя словами. Приведенный выше код использует простую эвристику для определения того, какая граница является началом слова: если символы между этой границей и следующей границей включают хотя бы одну букву (это может быть буква алфавита, иероглиф КЖ, слог Хангуля, символ Каны и т. д.), то текст между этой границей и следующей является словом; в противном случае это материал между словами.)

С:

1.1

См. также:

• CharacterIterator