Chapter 32. SVD를 활용한 차원 축소와 주성분 분석(PCA) 기초 Chapter 32. SVD를 활용한 차원 축소와 주성분 분석(PCA) 기초 32.1차원의 저주(Curse of Dimensionality)의 정의와 고차원 데이터의 문제 32.2차원 축소(Dimensionality Reduction)의 목적과 분류 체계 32.3특성 선택(Feature Selection)과 특성 추출(Feature Extraction)의 구분 32.4선형 차원 축소와 비선형 차원 축소의 개요 32.5주성분 분석(Principal Component Analysis)의 정의와 기본 개념 32.6데이터 중심화(Centering)의 필요성과 평균 제거 과정 32.7공분산 행렬(Covariance Matrix)의 정의와 계산 절차 32.8공분산 행렬의 대칭성과 양의 반정부호(Positive Semi-Definite) 성질 32.9PCA의 목적 함수: 분산 최대화(Maximum Variance) 관점의 유도 32.10PCA의 목적 함수: 재구성 오차 최소화(Minimum Reconstruction Error) 관점 32.11두 관점의 동치성(Equivalence) 증명 32.12주성분(Principal Component)의 정의와 순서 결정 원리 32.13제1 주성분의 유도: 라그랑주 승수법을 통한 최적화 32.14후속 주성분의 유도: 직교 제약 조건 하의 순차적 최적화 32.15공분산 행렬의 고유값 분해를 통한 PCA 수행 32.16고유값의 크기와 설명된 분산(Explained Variance)의 관계 32.17누적 설명 분산 비율(Cumulative Explained Variance Ratio)에 의한 차원 선택 32.18스크리 도표(Scree Plot)를 활용한 적정 차원 수 결정 32.19SVD 기반 PCA 알고리즘의 유도와 고유값 분해와의 등가성 32.20SVD 기반 PCA의 계산적 이점: 공분산 행렬 명시적 계산 회피 32.21데이터 행렬의 SVD로부터 주성분 좌표(Score)와 적재량(Loading) 추출 32.22데이터 표준화(Standardization)의 필요성과 상관 행렬 기반 PCA 32.23PCA에서의 데이터 화이트닝(Whitening) 변환의 정의와 목적 32.24ZCA 화이트닝과 PCA 화이트닝의 비교 32.25커널 PCA(Kernel PCA)의 원리와 비선형 차원 축소로의 확장 32.26커널 함수(Kernel Function)의 선택과 커널 행렬(Gram Matrix)의 구성 32.27확률적 PCA(Probabilistic PCA)의 생성 모델과 잠재 변수 해석 32.28증분적 PCA(Incremental PCA)와 대규모 데이터 스트리밍 처리 32.29희소 PCA(Sparse PCA)의 정의와 L1 정규화 기반 해석 가능성 향상 32.30무작위화 PCA(Randomized PCA)의 알고리즘과 계산 효율성 32.31PCA와 독립 성분 분석(ICA)의 비교: 비상관성 대 독립성 32.32PCA와 선형 판별 분석(LDA)의 비교: 비지도 대 지도적 차원 축소 32.33PCA와 t-SNE, UMAP의 비교: 선형 대 비선형 임베딩 32.34PCA의 한계: 선형성 가정과 비선형 구조에 대한 부적합성 32.35PCA의 한계: 이상치(Outlier)에 대한 민감도와 로버스트 PCA 32.36딥러닝에서의 PCA 활용: 입력 전처리와 가중치 초기화 32.37오토인코더(Autoencoder)와 PCA의 수학적 연결과 비선형 일반화 32.38차원 축소의 현대적 관점과 표현 학습(Representation Learning)으로의 전환