Chapter 101. 의미론적 표현의 진화: 원핫 인코딩(One-hot)에서 밀집 벡터로의 전환 Chapter 101. 의미론적 표현의 진화: 원핫 인코딩(One-hot)에서 밀집 벡터로의 전환 101.1자연어의 기계적 표현 문제와 수치 벡터화의 필연성 101.2어휘 사전(Vocabulary)의 구축과 단어-인덱스 매핑 체계 101.3원핫 인코딩(One-hot Encoding)의 수학적 정의와 벡터 구조 101.4원핫 벡터의 직교성(Orthogonality)과 의미 무관 표현의 한계 101.5원핫 표현의 고차원 희소성(High-dimensional Sparsity)과 메모리 비효율성 101.6원핫 벡터 간 코사인 유사도(Cosine Similarity)의 항등성 문제 101.7유클리드 거리(Euclidean Distance)를 통한 원핫 벡터 비교의 무의미성 101.8어휘 크기 확장에 따른 원핫 표현의 차원 폭발과 확장성 한계 101.9정수 인코딩(Integer Encoding)의 구조와 서수적 편향(Ordinal Bias) 문제 101.10백오브워즈(Bag-of-Words) 모델과 빈도 기반 문서 표현 101.11TF-IDF(Term Frequency-Inverse Document Frequency) 가중치 수학 101.12TF-IDF의 희소 고차원 문서 벡터와 의미 포착 능력의 제약 101.13잠재 의미 분석(LSA: Latent Semantic Analysis)과 특이값 분해(SVD) 101.14LSA를 통한 차원 축소와 잠재 의미 공간(Latent Semantic Space) 구축 101.15단어-문서 동시 발생 행렬(Co-occurrence Matrix)의 통계적 의의 101.16점별 상호 정보량(PMI: Pointwise Mutual Information)과 연관성 측정 101.17밀집 벡터(Dense Vector)의 개념과 저차원 연속 공간 표현의 장점 101.18분산 표현(Distributed Representation) 가설의 이론적 기초 101.19분포 가설(Distributional Hypothesis): 문맥이 의미를 결정한다는 원리 101.20존 루퍼트 퍼스(J.R. Firth)의 언어학적 통찰과 분포 의미론 101.21밀집 벡터 공간에서의 의미적 유사성과 기하학적 근접성 101.22단어 간 유추 관계(Analogy)의 벡터 산술적 표현 가능성 101.23신경망 기반 단어 임베딩(Word Embedding)의 등장 배경 101.24벤지오(Bengio)의 신경 확률적 언어 모델(NPLM)과 투영 계층 101.25임베딩 행렬(Embedding Matrix)의 구조와 룩업 테이블 연산 101.26사전 훈련(Pre-training)과 전이 학습(Transfer Learning)에서 임베딩의 역할 101.27문맥 독립 임베딩(Static Embedding)의 다의어 처리 한계 101.28문맥 의존 임베딩(Contextual Embedding)으로의 진화 방향 101.29밀집 벡터 표현이 후속 자연어 처리 아키텍처에 미친 구조적 영향 101.30희소 표현에서 밀집 표현으로의 전환이 갖는 패러다임적 의의