3.7 결정론적 정답지 설계 시의 흔한 함정 (Anti-Patterns)

결정론적 정답지(Deterministic Ground Truth)는 불확실한 AI 출력을 평가하는 유일한 닻(Anchor)이다. 그러나 정답지 설계 과정에서 엔지니어와 도메인 전문가(SME)가 흔히 빠지는 아키텍처적 함정(Anti-Patterns)들은 이 닻을 부식시켜 전체 오라클 시스템을 무력화한다. 본 단원에서는 정답지 구축 시 반드시 경계해야 할 대표적인 안티 패턴들을 분석하고 그 파장과 해결책을 논증한다.

1. 과도한 엄격성(Over-Specification)과 취약한 테스트(Test Brittleness)

가장 빈번하게 발생하는 안티 패턴은 자연어 응답의 모든 토큰과 띄어쓰기까지 정확히 일치(Exact Match)하도록 정답지를 강제하는 **‘과도한 엄격성’**이다.

• 증상: “해당 고객의 환불 금액은 10,000원입니다.“라는 정답지를 구축했을 때, 생성형 AI가 “이 고객의 환불 가능 금액은 10,000원입니다.“라고 논리적으로 동일한 응답을 냈음에도 불구하고 문자열 비교 오라클이 이를 Fail로 처리하는 현상이다.
• 파장: 사소한 시스템 프롬프트 업데이트나 모델 버전 변경(Version Drift)만으로도 수천 개의 회귀 테스트(Regression Test)가 일제히 실패하는 **테스트 취성(Test Brittleness)**을 유발한다. 엔지니어는 기능 개발보다 깨진 정답지를 수정하는 데 더 많은 비용을 소모하게 된다.
• 교정 전략: 정답지의 평가 범위를 ’의미론적 핵심(Semantic Core)’으로 축소하라. 전체 문장을 비교하는 대신, 정규표현식이나 JSON 구조화를 통해 추출된 핵심 변수(예: {"refund_amount": 10000})만을 결정론적 비교의 대상으로 삼는 강타입(Strongly Typed) 추출 아키텍처로 전환해야 한다.

2. 정답지의 현행화 누락(Stale Ground Truth)

비즈니스 로직은 끊임없이 변화하지만, 한 번 구축된 골든 데이터셋(Golden Dataset)이 유지보수되지 않고 방치되는 현상이다.

• 증상: 작년 금융 규제에 맞춰 작성된 ’주택담보대출 LTV 70%’라는 정답지가, 규제가 ’80%’로 완화된 올해에도 여전히 테스트 파이프라인에서 실행되며 오답을 정답으로 강요하는 현상이다. LLM이 최신 RAG 지식 베이스를 바탕으로 ’80%’라는 올바른 값을 도출했음에도, 구형 정답지 오라클이 이를 실패로 처리한다.
• 파장: 오라클에 대한 개발팀의 신뢰가 붕괴한다. “테스트가 실패해도 어차피 정답지가 옛날 것이니 배포하자“는 식의 ’깨진 유리창 증후군(Broken Windows Theory)’이 조직 내에 만연하게 된다.
• 교정 전략: 정답지를 코드(Truth-as-Code)처럼 취급하고, 비즈니스 규칙 변경 시 정답지 업데이트를 CI/CD 파이프라인의 필수 요구사항(Required Review)으로 강제 맵핑하는 동기화 전략이 요구된다.

3. 환각(Hallucination)의 정답지 편입 (Data Poisoning)

인간 라벨러(Human Labeler)의 피로도 또는 검증을 위해 LLM 그 자체를 동원한 합성 데이터(Synthetic Data) 생성 과정에서, 잘못된 추론이 정답지 내부로 스며드는 현상이다.

• 증상: 대량의 골든 데이터셋을 구축하기 위해 LLM에게 정답 생성을 일임한 뒤, 인간의 교차 검증(Cross-validation) 없이 이를 그대로 오라클의 기준 데이터로 커밋(Commit)하는 경우다.
• 파장: 모델은 오답을 정답으로 채점받으며 기형적인 편향(Bias)을 학습하게 되고(Model Collapse), 평가 시스템은 거짓을 수호하는 에코 체임버(Echo Chamber)로 전락한다.
• 교정 전략: 정답지 생성 파이프라인에 반드시 인간 전문가(Human-in-the-Loop)의 승인(Approval) 단계를 두거나, 생성 모델과 평가 모델 사이에 에어 갭(Air-gap)을 두어 완전히 독립된 이기종 검증 시스템(Heterogeneous Verification)을 거치도록 격리해야 한다.

결정론적 정답지 설계는 단순히 “맞고 틀림“의 기준을 세우는 것이 아니라, 오라클이라는 엄격한 재판관에게 쥐어줄 법전을 편찬하는 고도의 공학적 작업이다. 안티 패턴들에 잠식된 맹목적인 정답지는 차라리 없는 것만 못한 시스템 마비의 주범이 됨을 명심해야 한다.