Chapter 52. 토큰화(Tokenization) 기법 Chapter 52. 토큰화(Tokenization) 기법 52.1토큰화의 정의와 필요성 52.2문자 수준(Character-Level) 토큰화 52.3단어 수준(Word-Level) 토큰화 52.4하위 단어(Subword) 토큰화의 개요 52.5바이트 쌍 인코딩(Byte Pair Encoding, BPE) 52.6WordPiece 알고리즘 52.7유니그램(Unigram) 언어 모델 토큰화 52.8SentencePiece 프레임워크 52.9바이트 수준(Byte-Level) 토큰화 52.10어휘 사전(Vocabulary)의 크기와 성능의 관계 52.11특수 토큰(Special Token)의 구성과 역할 52.12다국어 토큰화의 고려사항