Chapter 100. N-gram 모델의 차원의 저주와 데이터 희소성(Sparsity) 극복 방법 Chapter 100. N-gram 모델의 차원의 저주와 데이터 희소성(Sparsity) 극복 방법 100.1N-gram 언어 모델의 파라미터 공간과 어휘 크기의 지수적 관계 100.2차원의 저주(Curse of Dimensionality)의 수학적 정의와 통계적 의미 100.3고차 N-gram에서의 조합 폭발(Combinatorial Explosion) 분석 100.4훈련 코퍼스의 유한성과 관측 빈도의 통계적 신뢰도 한계 100.5영 빈도(Zero Count) 문제: 미관측 N-gram과 확률 추정의 불연속성 100.6데이터 희소 행렬(Sparse Matrix)로서의 N-gram 동시 발생 테이블 분석 100.7과적합(Overfitting) 위험과 훈련 데이터에 대한 편향된 확률 분포 100.8지프의 법칙(Zipf’s Law)과 자연어 빈도 분포의 멱법칙(Power Law) 특성 100.9장거리 문맥(Long-range Context) 포착의 구조적 불가능성 100.10펠리그린 효과(Pellegrini Effect): 어휘 성장률과 신조어 출현 비율 100.11평활화(Smoothing) 기법의 수학적 원리와 확률 질량 재분배 100.12라플라스 평활화(Laplace Smoothing)의 가산 보정과 과도 평활화 문제 100.13제프리-펄스 평활화(Jeffreys-Perks Smoothing)와 사전 분포의 설정 100.14굿-튜링 할인(Good-Turing Discounting)의 빈도 종류(Frequency of Frequencies) 분석 100.15단순 굿-튜링 추정의 수학적 유도와 비모수적 확률 재추정 100.16백오프 모델(Back-off Model)의 계층적 후퇴 전략과 할인 계수 100.17카츠 백오프(Katz Back-off)의 알파 가중치와 확률 정규화 절차 100.18선형 보간법(Linear Interpolation)과 다차수 N-gram의 혼합 가중치 학습 100.19삭제 보간법(Deleted Interpolation)을 통한 교차 검증 기반 가중치 최적화 100.20절대 할인법(Absolute Discounting)의 고정 상수와 확률 분배 메커니즘 100.21크네저-네이 평활화(Kneser-Ney Smoothing)의 연속성 확률(Continuation Probability) 100.22수정 크네저-네이(Modified Kneser-Ney)의 빈도 구간별 차등 할인 전략 100.23위튼-벨 평활화(Witten-Bell Smoothing)와 신규 이벤트 출현 확률 추정 100.24스터피드 백오프(Stupid Back-off)의 비정규화 전략과 대규모 데이터 적용 100.25클래스 기반 N-gram(Class-based N-gram)을 통한 단어 군집 차원 축소 100.26스킵그램(Skip-gram) N-gram과 비연속적 문맥 패턴의 활용 100.27신경망 언어 모델(NNLM)에 의한 연속 공간 확률 추정과 희소성 완화 100.28벤지오(Bengio)의 2003년 NNLM 논문과 분산 표현 기반 일반화 100.29저차원 임베딩을 통한 의미론적 유사 단어 간 확률 전이 100.30차원의 저주 극복에서 분산 표현(Distributed Representation)으로의 패러다임 전환