7.131 잔차 분석과 수렴 판정

1. 잔차 분석의 목적

비선형 최소 제곱 문제의 해를 구한 후, 잔차(residual) \mathbf{r}(\mathbf{x}^*) = [r_1(\mathbf{x}^*), \ldots, r_m(\mathbf{x}^*)]^T의 통계적 성질과 분포를 분석하여 모델의 적합성(goodness of fit)을 평가하고, 이상치의 존재 여부, 모델 구조의 적절성 등을 진단하는 것이 잔차 분석(residual analysis)의 목적이다.

2. 잔차의 통계적 성질

2.1 정규성 검정

관측 잡음이 정규 분포를 따른다고 가정한 경우, 최적해에서의 잔차도 근사적으로 정규 분포를 따라야 한다. 정규성 검정(normality test)은 이 가정의 타당성을 검증한다.

• 히스토그램과 정규 확률 도(Q-Q plot): 잔차의 분포를 시각적으로 검증한다.
• 샤피로-윌크(Shapiro-Wilk) 검정: 소표본에서의 정규성 통계 검정이다.
• 콜모고로프-스미르노프(Kolmogorov-Smirnov) 검정: 분포의 일치를 검정한다.

2.2 독립성 검정

잔차 사이의 자기 상관(autocorrelation)이 존재하면, 관측 모델이 데이터의 시간적 구조를 충분히 포착하지 못하고 있음을 의미한다. 더빈-왓슨(Durbin-Watson) 통계량이 자기 상관의 검출에 사용된다.

2.3 등분산성(Homoscedasticity)

잔차의 분산이 관측 인덱스나 예측값에 따라 변하지 않아야 한다. 잔차 대 예측값의 산점도에서 체계적인 패턴(나팔 형태 등)이 관찰되면 등분산성이 위반되었음을 나타낸다.

3. 이상치 탐지

3.1 표준화 잔차

잔차를 추정된 표준 편차로 정규화한 표준화 잔차(standardized residual)를 사용한다.

e_i = \frac{r_i(\mathbf{x}^*)}{\hat{\sigma}\sqrt{1 - h_{ii}}}

여기서 \hat{\sigma}^2 = \frac{1}{m - n}\sum r_i^2은 잔차 분산의 추정치, h_{ii}는 모자 행렬(hat matrix) \mathbf{H} = \mathbf{J}(\mathbf{J}^T\mathbf{J})^{-1}\mathbf{J}^T의 대각 원소(레버리지, leverage)이다. \lvert e_i \rvert > 3인 관측을 이상치 후보로 식별한다.

3.2 쿡 거리(Cook’s Distance)

i번째 관측을 제거했을 때 파라미터 추정치의 변화를 측정한다.

D_i = \frac{(\hat{\mathbf{x}}_{(i)} - \hat{\mathbf{x}})^T\mathbf{J}^T\mathbf{J}(\hat{\mathbf{x}}_{(i)} - \hat{\mathbf{x}})}{n\hat{\sigma}^2}

D_i가 큰 관측은 추정에 과도한 영향을 미치는 영향점(influential point)이다.

4. 수렴 판정 기준

비선형 최소 제곱의 반복 알고리즘에서 수렴을 판정하기 위한 다수의 기준이 병행 사용된다.

4.1 그래디언트 기반 기준

\lVert \mathbf{J}_k^T\mathbf{r}_k \rVert_\infty < \epsilon_g

1차 최적 조건의 만족도를 평가한다. \epsilon_g = 10^{-8} 정도가 통상적이다.

4.2 스텝 크기 기준

\frac{\lVert \mathbf{d}_k \rVert}{\lVert \mathbf{x}_k \rVert + \epsilon_x} < \epsilon_s

변수의 변화가 무시할 수 있을 정도로 작으면 수렴으로 판정한다.

4.3 목적 함수 변화 기준

\frac{\lvert f(\mathbf{x}_k) - f(\mathbf{x}_{k+1}) \rvert}{\lvert f(\mathbf{x}_k) \rvert + \epsilon_f} < \epsilon_r

목적 함수의 상대적 변화가 작으면 수렴으로 판정한다.

4.4 최대 반복 횟수

계산 시간의 상한을 설정하기 위한 안전 종료 기준이다.

5. 수렴 실패의 진단

수렴 기준이 만족되지 않고 알고리즘이 최대 반복에 도달한 경우, 다음의 원인을 진단해야 한다.

모델의 부적절성: 모델이 데이터의 실제 관계를 반영하지 못하면, 잔차가 체계적인 패턴을 보인다. 모델 구조의 재검토가 필요하다.

초기점의 부적절성: 비볼록 문제에서 초기점이 좋은 국소 최적해의 수렴 영역 밖에 있는 경우이다. 다중 초기점 전략이 도움이 된다.

수치적 문제: 야코비안의 계수 부족, 파라미터 스케일의 불균형, 반올림 오차의 축적 등이 수렴을 방해할 수 있다.

국소 최소가 아닌 정류점: 안장점 근방에서의 정체가 발생할 수 있다. 헤시안의 고유값 분석이 이를 진단한다.

6. 사후 공분산 추정

최적해 \mathbf{x}^*에서 파라미터의 불확실성은 근사 공분산 행렬로 추정된다.

\text{Cov}(\hat{\mathbf{x}}) \approx \hat{\sigma}^2 (\mathbf{J}^T\mathbf{J})^{-1}

대각 원소의 제곱근이 각 파라미터의 표준 오차를 제공하며, 비대각 원소가 파라미터 간 상관을 나타낸다. 상관이 매우 높은(\lvert \rho_{ij} \rvert > 0.95) 파라미터 쌍은 개별적으로 식별하기 어려우며, 모델의 재매개변수화를 고려해야 한다.

7. 로봇 공학에서의 실용적 고려

로봇 캘리브레이션, SLAM, 센서 융합 등에서 잔차 분석은 시스템의 성능을 평가하고 개선 방향을 식별하는 핵심 도구이다. 잔차의 크기와 분포가 센서의 사양(noise specification)과 일치하는지 확인하고, 체계적 편향이 없는지 검증하는 과정이 필수적이다.

8. 참고 문헌

• Nocedal, J., & Wright, S. J. (2006). Numerical Optimization (2nd ed.). Springer.
• Björck, Å. (1996). Numerical Methods for Least Squares Problems. SIAM.
• Seber, G. A. F., & Wild, C. J. (2003). Nonlinear Regression. Wiley-Interscience.
• Cook, R. D. (1977). “Detection of Influential Observation in Linear Regression.” Technometrics, 19(1), 15–18.

version: 1.0