문제내기

다음은 텍스트 분할(토큰화)에 관련된 단어들이다. 다음 보기에서 연관된 단어를 연결하시오.

<보기>

1. 단어 수준 토큰화

2. N-그램 토큰화

3. 문자 수준 토큰화

4. 시퀀스 모델

5. BoW 모델

ㄱ. 단어의 순서를 고려한다.

ㄴ. 집합으로 다룬다.

정답: 단어 수준 토큰화 → 시퀀스 모델 → 단어의 순서를 고려한다.

N-그램 토큰화→ BoW 모델 → 단어의 순서를 무시하고 집합으로 다룬다.