Клас StringTokenizer пакета java.util призначений для розкладання рядки на складові. Під токенаціей розуміється процес поділу послідовності рядки на частини.
Будучи зручним у використанні, StringTokenizer має серйозні функціональні обмеження. Так StringTokenizer розкладає вхідні рядок на частини відповідно до переданих йому списку роздільників. Він не виконує перевірку на наявність роздільник всередині підрядка і не повертає порожній рядок нульової довжини, якщо у вхідному потоці виявлена послідовність роздільників.
Для створення екземпляра StringTokenizer можна використовувати один з наступних конструкторів:
Розкладає рядок на частини, використовуючи як роздільник символи пробілу "", табуляції "\ t", перекладу рядка "\ n" і повернення каретки "\ r"
StringTokenizer (String str, String delim)
Розкладає рядок на частини, використовуючи як роздільник рядок delim
StringTokenizer (String str, String delim, boolean returnDelims)
Теж що і попередній, але якщо returnDelims встановлений в true, роздільники також повертаються в якості частини рядка
Якщо рядок "str" невизначена, тобто дорівнює null, то викликається виняток NullPointerException.
Приклад використання класу StringTokenizer