3.3.3.1 모호한 입력에 대한 ’모른다’는 답변의 정답 처리 기준

결정론적 정답지(Deterministic Ground Truth) 설계 원칙의 세 번째이자 가장 치명적인 축은 ’경계 조건(Edge Case)의 명시적 정의’다. AI 기반 소프트웨어 테스트에서 가장 잡기 어려운 버그는 모델이 완전히 틀린 말을 할 때가 아니라, 무지(Ignorance)를 인정해야 할 순간에 그럴싸한 거짓말(Hallucination)을 지어낼 때 발생한다.

이러한 ‘과잉 친절(Sycophancy)’ 형 환각을 통제하기 위해, 오라클은 모호하거나 정보가 누락된 입력에 대해 모델이 “모른다“고 답변하는 행위 자체를 강력한 정답(Pass)으로 처리하는 명시적인 기준을 가져야 한다.

1. 자연어 부정(Natural Language Negation)의 위험성

사용자의 질의가 모호할 때, 모델이 “제공된 정보만으로는 답변하기 어렵습니다“라고 출력하도록 기대하는 것은 가장 위험한 안티 패턴(Anti-Pattern)이다.

왜냐하면 모델 버전이 바뀌거나 Temperature 파라미터가 조금만 흔들려도, “잘 모르겠습니다”, “정확한 파악이 불가능합니다” 등으로 출력 형태가 무한히 파편화되기 때문이다.
오라클은 이 수많은 변형을 코사인 유사도(Cosine Similarity)나 정규표현식으로 모두 방어할 수 없으며, 필연적으로 채점 오류(Test Brittleness)를 일으킨다.

2. 결정론적 무지(Deterministic Abstention)의 캡슐화

’모른다’는 상태는 오라클 파이프라인이 즉각적으로 인식하여 다음 흐름(예: 상담원 연결, 재질의 요청)으로 분기할 수 있도록 강제로 구조화(Structured)되어야 한다. 이를 위해 정답지는 ’무지’를 명시적인 에러 코드나 시스템 플래그로 캡슐화(Encapsulation)해야 한다.

잘못된 정답지 스키마:
{"expected_answer": "정보 없음"}

결정론적 정답지 스키마:

{
  "test_id": "EDGE_AMB_001",
  "query": "그 사람의 나이는?", // '그 사람'이 누구인지 컨텍스트 누락
  "expected_state": {
    "is_answerable": false,
    "reason_code": "INCOMPLETE_CONTEXT",
    "required_param": ["person_name"]
  }
}


이 구조화된 정답지를 통해, 오라클은 텍스트의 의미론적(Semantic) 분석이라는 무거운 짐을 내려놓고, 모델이 반환한 JSON의 `is_answerable` 불리언(Boolean) 값과 `reason_code`의 문자열이 완벽히 일치하는지 $O(1)$의 속도로 기계적인 검증을 단행할 수 있다.

## 3.  무지의 세분화: "도메인 밖" vs "정보 부족"


정답지를 설계할 때, 엔지니어는 AI가 대답하지 못하는 상황을 두 가지 논리적 궤도로 분리하여 스키마를 정의해야 한다.

1. **도메인 이탈 (Out-Of-Domain):** "서울의 내일 날씨는?"처럼 시스템의 목적(예: 사내 인사 규정 챗봇)과 완전히 무관한 질문이다. 이 경우 정답지의 기댓값은 `{"action": "DECLINE"}`이 되어야 한다.
2. **정보 부족 (Insufficient Information):** "어제 승인된 내 휴가 결재자는 누구야?"처럼 목적에는 부합하나 핵심 파라미터(사용자의 사번)가 모호한 질문이다. 이 경우 정답지의 기댓값은 `{"action": "CLARIFY", "missing_entity": "employee_id"}`가 되어야 한다.

결론적으로, 훌륭한 오라클 시스템은 AI가 아는 것을 뱉어내는 능력보다, 모르는 것을 정확한 기계적 규약(Machine-Readable Contract)에 따라 선언하는 **'메타 인지(Meta-cognition)'** 능력을 철저히 검증해야 한다. 모호성을 회피하지 않고 스키마로 포섭하는 것, 그것이 결정론적 정답지의 진정한 강제성이다.