Chapter 10. 회귀 테스트(Regression Testing)를 위한 골든 데이터셋(Golden Dataset) 구축 전략

Chapter 10. 회귀 테스트(Regression Testing)를 위한 골든 데이터셋(Golden Dataset) 구축 전략
10.1 골든 데이터셋(Golden Dataset)의 정의와 AI 품질 보증에서의 역할
10.1.2 텍스트 감옥의 탈출: 회귀 테스트에서의 ‘정답(Ground Truth)’ 패러다임 변화 - 단순 바이트 일치(Exact Match)에서 의미론적 의도(Semantic Intent) 일치로
10.1.3 결정론적 오라클 작동을 위한 데이터셋의 수학적 필수 요건: 불변성(Invariance)과 엣지 커버리지(Edge Coverage)
10.1.4. 골든 데이터셋 부재 시 발생하는 AI 모델의 ‘조용한 실패(Silent Failure)’ 유형 분석
10.2 데이터셋 유형별 구축 전략과 오라클 매핑
10.2.1 단일 정답형(Single-Turn Exact Match) 데이터셋: 흔들릴 수 없는 사실 정보(Fact) 및 계산 로직 검증용 골든 스탠다드
10.2.2 다중 턴(Multi-Turn) 대화형 시스템 데이터셋: 극한의 문맥 유지(Context Retention) 및 대화 상태 추적(State Tracking) 검증 아키텍처
10.2.3 구조화된 출력(Structured Output) 데이터셋: JSON/XML 스키마 정합성(Schema Consistency) 검증용
10.2.4 구문적 환상을 넘어선 실행의 진실: 실행 기반(Execution-Based) 데이터셋과 SQL/코드 생성 오라클
10.2.5. 부정적 제약(Negative Constraints) 데이터셋: 가드레일 및 안전성 검증을 위한 오답 노트
10.3 고품질 골든 데이터 확보를 위한 소스(Source) 및 파이프라인
10.3.1. 프로덕션 로그(Production Log) 기반의 실제 사용자 데이터(Real-world Data) 마이닝 및 익명화(Anonymization) 파이프라인
10.3.2 인간 전문가(SME) 주도의 ‘Few-shot’ 고품질 예제 작성 방법론
10.3.3 합성 데이터(Synthetic Data) 생성 전략: LLM을 활용한 데이터 증강 및 다양성 확보
10.3.4 데이터의 편향(Bias) 제거와 대표성 확보를 위한 샘플링 기법
10.3.5 엣지 케이스(Edge Case) 및 적대적 예제(Adversarial Example) 의도적 주입 전략
10.3.5.1. 경계값 분석(BVA) 테스트 케이스 생성을 위한 LLM 프롬프팅
10.3.5.2 트로이의 목마(Trojan Horse) 투하: 프롬프트 인젝션(Prompt Injection) 해킹 페이로드가 의도적으로 포함된 적대적 골든 데이터 기법
10.4 결정론적 평가를 지원하는 데이터셋 메타데이터 스키마 설계
10.4.1 입력(Prompt)과 기대 출력(Expected Output)의 기본 쌍(Pair) 구성 아키텍처
10.4.2 평가 기준(Evaluation Criteria) 필드 정의: ‘포함해야 할 키워드’, ‘금지된 단어’, ‘논리 흐름’
10.4.3 허용 오차 범위(Tolerance Level) 설정: 관용과 엄격함의 메타데이터 임계값(Threshold) 조작
10.4.4 참조 지식(Reference Context) 스냅샷 포함: RAG 시스템의 검색 결과 고정(Freezing)
10.4.5 오라클 유형 정밀 태깅(Oracle Type Tagging): 정규식(Regex), 시맨틱(Semantic), 실행(Execution), 제약 형식(Format) 검증 파이프라인의 라우팅(Routing) 지정
10.5 인간 검증(Human-in-the-Loop)을 통한 데이터 신뢰성 확보 (HITL)
10.5.1 어노테이터(Annotator) 간 일치도(Inter-Annotator Agreement, IAA) 측정 및 갈등 해결(Conflict Resolution)
10.5.2 골든 데이터셋의 정답 유효기간 관리 및 정기적 재검토(Periodic Review) 프로세스
10.5.3 인간 전문가와 AI 심판관(AI Judge) 간의 채점 불일치(Discrepancy) 데이터 역분석의 예술
10.5.4 데이터셋 버전 관리(Data Versioning) 도구(DVC 등)를 활용한 결정론적 이력 추적
10.6 회귀 테스트 자동화를 위한 골든 데이터셋의 분할 및 관리
10.6.1 테스트 실행 속도와 비용을 고려한 스모크 테스트(Smoke Test)용 소형셋 구축
10.6.2 전체 기능 검증을 위한 풀(Full) 회귀 테스트셋 구성과 심야 파이프라인(Nightly Pipeline)
10.6.3 도메인별/기능별 카테고리 태깅을 통한 부분 테스트(Partial Testing) 지원 구조
10.6.4 CI/CD 파이프라인 연동을 위한 데이터셋 직렬화 포맷(JSONL, Parquet) 최적화
10.7 모델 업그레이드와 데이터 표류(Data Drift)에 따른 데이터셋 진화 전략
10.7.1 ’더 나은 답변(Better Response)’이 ’기존 정답(Ground Truth)’과 무관하게 다를 때: 골든 데이터셋 갱신의 치명적 공학 딜레마
10.7.2 근본 모델 변경(Model Shift) 이벤트 시 오라클 채점 기준 재조정을 위한 영점(Baseline) 재설정 아키텍처
10.7.3 레거시 시스템 프롬프트(Legacy Prompt)와 이기종 신규 모델 간의 하위 호환성(Backward Compatibility) 검증을 위한 골든 데이터셋 마이그레이션 전략
10.7.4 사용자 피드백 루프(Feedback Loop)를 통한 실패 케이스의 골든 데이터셋 자동 편입
10.8 보안 및 규정 준수(Compliance)를 고려한 데이터셋 관리
10.8.1 PII(개인식별정보) 자동 마스킹 및 합성 데이터 대체 기법
10.8.2 데이터 저장소의 접근 제어 및 감사 로그(Audit Log)
10.8.3 잊혀질 권리(GDPR 등) 대응을 위한 특정 데이터의 물리적 삭제 절차
10.9 사례 연구: 잘못된 골든 데이터셋으로 인한 회귀 테스트 실패 및 교훈
10.9.1 과적합(Overfitting)된 프롬프트 예제 데이터가 범용성을 해친 사례
10.9.2 모호한 평가 기준(Ambiguous Criteria)이 초래한 오라클의 신뢰도 하락
10.9.3 지식 베이스(Knowledge Base) 업데이트가 반영되지 않은 구형 골든 데이터의 오류
10.10 합성 데이터(Synthetic Data) 생성의 딜레마와 유출(Data Leakage) 방지
10.10.1 모델 본인이 생성한 데이터를 스스로 정답지로 삼는 모델 붕괴(Model Collapse) 현상
10.10.2 평가 데이터가 훈련 로직에 오염되지 않도록 분리하는 Air-Gap 전략
10.10.3 합성 데이터 주입 후 인간 검증자(HITL)의 어노테이션 교차 일치도 추적