Chapter 52. 토큰화(Tokenization) 기법

• Chapter 52. 토큰화(Tokenization) 기법

• 52.1토큰화의 정의와 필요성

• 52.2문자 수준(Character-Level) 토큰화

• 52.3단어 수준(Word-Level) 토큰화

• 52.4하위 단어(Subword) 토큰화의 개요

• 52.5바이트 쌍 인코딩(Byte Pair Encoding, BPE)

• 52.6WordPiece 알고리즘

• 52.7유니그램(Unigram) 언어 모델 토큰화

• 52.8SentencePiece 프레임워크

• 52.9바이트 수준(Byte-Level) 토큰화

• 52.10어휘 사전(Vocabulary)의 크기와 성능의 관계

• 52.11특수 토큰(Special Token)의 구성과 역할

• 52.12다국어 토큰화의 고려사항