Класс BreakIterator

public abstract class BreakIterator
extends Object
implements Cloneable

Класс BreakIterator реализует методы для определения границ в тексте. Экземпляры BreakIterator поддерживают текущую позицию и сканируют текст, возвращая индекс символов, где встречаются границы. Внутренне BreakIterator сканирует текст, используя CharacterIterator, и поэтому может сканировать текст, содержащийся в любом объекте, реализующем этот протокол. Для сканирования объектов String, передаваемых в setText, используется StringCharacterIterator.

Для создания экземпляров различных типов итераторов разбиения используются фабричные методы этого класса. В частности, используйте getWordInstance, getLineInstance, getSentenceInstance, и getCharacterInstance для создания BreakIterator, которые выполняют анализ границ слов, строк, предложений и символов соответственно. Один BreakIterator может работать только с одним типом единиц (словом, строкой, предложением и так далее). Для анализа границ каждого типа единиц необходимо использовать отдельный итератор.

Анализ границ строк определяет, где можно разбить строку текста при переносе на новую строку. Механизм правильно обрабатывает знаки препинания и слова, соединённые дефисом. Фактический перенос строки также должен учитывать ширину строки, и эта задача решается программным обеспечением более высокого уровня.

Анализ границ предложений позволяет осуществлять выбор с правильной интерпретацией точек в числах и аббревиатурах, а также знаков препинания в конце, таких как кавычки и скобки.

Анализ границ слов используется функциями поиска и замены, а также в приложениях для редактирования текста, которые позволяют пользователю выделять слова двойным щелчком мыши. Выделение слов обеспечивает правильную интерпретацию знаков препинания внутри и после слов. Символы, которые не являются частью слова, например, символы или знаки препинания, имеют разрывы слов с обеих сторон.

Анализ границ символов позволяет пользователям взаимодействовать с символами так, как они ожидают, например, при перемещении курсора по строке текста. Анализ границ символов обеспечивает правильное перемещение по строкам символов независимо от способа хранения символа. Возвращаемые границы могут относиться к дополнительным символам, сочетающимся последовательностям символов или группам лигатур. Например, акцентированный символ может храниться как основной символ и диакритический знак. То, что пользователи рассматривают как символ, может отличаться в зависимости от языка.

Экземпляры BreakIterator , возвращаемые фабричными методами этого класса, предназначены только для использования с естественными языками, а не для текстов языков программирования. Однако возможно определить подклассы, которые будут токенизировать язык программирования.

Примеры:

Создание и использование границ текста:

public static void main(String args[]) {
     if (args.length == 1) {
         String stringToExamine = args[0];
         //print each word in order
         BreakIterator boundary = BreakIterator.getWordInstance();
         boundary.setText(stringToExamine);
         printEachForward(boundary, stringToExamine);
         //print each sentence in reverse order
         boundary = BreakIterator.getSentenceInstance(Locale.US);
         boundary.setText(stringToExamine);
         printEachBackward(boundary, stringToExamine);
         printFirst(boundary, stringToExamine);
         printLast(boundary, stringToExamine);
     }
}

Вывод каждого элемента в порядке:

public static void printEachForward(BreakIterator boundary, String source) {
    int start = boundary.first();
    for (int end = boundary.next();
         end != BreakIterator.DONE;
         start = end, end = boundary.next()) {
         System.out.println(source.substring(start,end));
    }
}

Вывод каждого элемента в обратном порядке:

public static void printEachBackward(BreakIterator boundary, String source) {
    int end = boundary.last();
    for (int start = boundary.previous();
         start != BreakIterator.DONE;
         end = start, start = boundary.previous()) {
        System.out.println(source.substring(start,end));
    }
}

Вывод первого элемента:

public static void printFirst(BreakIterator boundary, String source) {
    int start = boundary.first();
    int end = boundary.next();
    System.out.println(source.substring(start,end));
}

Вывод последнего элемента:

public static void printLast(BreakIterator boundary, String source) {
    int end = boundary.last();
    int start = boundary.previous();
    System.out.println(source.substring(start,end));
}

Вывод элемента в указанной позиции:

public static void printAt(BreakIterator boundary, int pos, String source) {
    int end = boundary.following(pos);
    int start = boundary.previous();
    System.out.println(source.substring(start,end));
}

Найти следующее слово:

public static int nextWordStartAfter(int pos, String text) {
    BreakIterator wb = BreakIterator.getWordInstance();
    wb.setText(text);
    int last = wb.following(pos);
    int current = wb.next();
    while (current != BreakIterator.DONE) {
        for (int p = last; p < current; p++) {
            if (Character.isLetter(text.codePointAt(p)))
                return last;
        }
        last = current;
        current = wb.next();
    }
    return BreakIterator.DONE;
}