Chapter 103. 단어 임베딩의 혁명: Word2Vec의 등장 배경 및 가설

• Chapter 103. 단어 임베딩의 혁명: Word2Vec의 등장 배경 및 가설

• 103.1전통적 자연어 처리의 한계와 의미 표현 혁신의 필요성

• 103.2카운트 기반 모델(Count-based Model)의 통계적 의미 포착과 계산적 병목

• 103.3예측 기반 모델(Prediction-based Model)로의 패러다임 전환

• 103.4Bengio의 신경 확률 언어 모델(Neural Probabilistic Language Model)과 연속 공간 표현의 기원

• 103.5피드포워드 신경망 기반 단어 표현 학습의 구조적 원리와 한계

• 103.6Collobert와 Weston의 다중 과제 학습(Multi-task Learning) 기반 범용 임베딩 시도

• 103.7Mikolov의 순환 신경망 언어 모델(RNNLM)과 순차적 문맥 포착 능력

• 103.8Word2Vec의 등장: 대규모 비지도 학습 기반 단어 벡터의 효율적 훈련

• 103.9분포 가설(Distributional Hypothesis)의 재해석과 Word2Vec의 학습 목적 함수

• 103.10Word2Vec의 핵심 직관: 의미적 유사성과 벡터 공간 근접성의 대응 관계

• 103.11단어 벡터의 선형 규칙성(Linear Regularity) 발견과 의미 산술 연산

• 103.12유추 관계(Analogical Reasoning) 평가: “king - man + woman = queen” 실험의 수학적 분석

• 103.13Word2Vec 학습의 최적화 전략: 계층적 소프트맥스(Hierarchical Softmax)

• 103.14네거티브 샘플링(Negative Sampling)의 확률적 근사와 노이즈 대조 추정(NCE)과의 관계

• 103.15서브샘플링(Subsampling) 기법: 고빈도 단어의 학습 효율 개선 원리

• 103.16훈련 하이퍼파라미터의 영향: 윈도우 크기, 벡터 차원, 학습률, 에포크 수

• 103.17대규모 코퍼스(Google News 1000억 단어)에서의 Word2Vec 훈련과 확장성 검증

• 103.18Word2Vec 벡터의 평가 방법론: 내재적 평가(유추, 유사도)와 외재적 평가(하류 과제)

• 103.19Word2Vec의 학술적 영향과 후속 연구(GloVe, FastText, ELMo)와의 관계 조망

• 103.20정적 단어 임베딩의 본질적 한계와 문맥 의존적 표현 학습으로의 발전 방향