[JAVA]StringTokenizer

 

※ Tokenizer란? 자연어처리를 돕는 도구 중에 하나입니다.
※ 이름이 복잡해보이지만 사실 StringTokenizer는 문자열을 나눈다는 점에서 split과 비슷합니다.
또한 자주 쓰이는 메서드는 두가지 밖에 없습니다.

---

StringTokenizer(문자열)
: 띄어쓰기로 나눈다.

jdk doc에 있는 예제

• 띄어쓰기로 나누어진 문자열들을 '토큰'이라고 합니다.
• st.nextToken()
  • 토큰을 차례대로 하나씩 가져옵니다.
• st.hasMoreTokens()
  • 토큰을 더 가져올 수 있는 지 확인합니다.
  • boolean 반환.

---

StringTokenizer(문자열, 구분자)
: 문자열을 구분자로 나눈다.

출력결과