3.9.2 정답지 메타데이터(Metadata)와 시계열성 타임스탬프(Temporal Stamp) 결합 방법론

3.9.2 정답지 메타데이터(Metadata)와 시계열성 타임스탬프(Temporal Stamp) 결합 방법론

결정론적 정답지(Deterministic Ground Truth)가 맞이하는 가장 거대한 엔지니어링적 위협은 ’시간의 흐름’이다. 비즈니스 로직은 유기체와 같아서 매일 새로운 정책, 금리 변경, 프로모션 갱신으로 인해 그 상태 공간(State Space)을 바꾼다. “A 상품의 이자율은 3%이다“라는 완벽했던 과거의 정답지는, 금리가 4%로 인상된 다음 날부터 시스템 전체의 회귀 테스트(Regression Test)를 붉은색(Fail)으로 물들이는 오라클의 부채(Debt)로 전락하게 된다.

이를 방어하기 위해, 현대의 골든 데이터셋(Golden Dataset)은 단순한 (질의, 정답) 쌍을 넘어 데이터의 ’유효 수명(Lifespan)’을 정의하는 시계열성 메타데이터(Temporal Metadata)를 반드시 결합해야 한다.

1. 정답지의 유효 윈도우(Validity Window) 설계

단순히 updated_at(수정 일자)을 기록하는 수준의 타임스탬프는 오라클 검증에 아무런 논리적 도움을 주지 못한다. 정답지 메타데이터는 데이터베이스의 이력 관리(Slowly Changing Dimension, SCD Type 2) 기법을 차용하여, 해당 정답이 비즈니스적으로 참(True)으로 인정받는 명시적인 시간 구간을 가져야 한다.

  • 안티 패턴 (정적 정답지):
    {"query": "여름 프로모션 할인율?", "expected_value": "30%"}
  • 결정론적 시계열 패턴: 
    {
  "test_id": "PROMO_Q3_001",
  "query": "여름 프로모션 할인율을 알려줘",
  "expected_value": "30%",
  "metadata": {
    "valid_from": "2023-06-01T00:00:00Z",
    "valid_to": "2023-08-31T23:59:59Z",
    "biz_rule_version": "v3.1.2"
  }
}


이제 오라클은 맹목적으로 문자열을 비교하지 않는다. 런타임(Runtime)에 CI/CD 파이프라인의 시스템 시각(Current System Time)이나 목업(Mock)으로 주입된 섀도우 타임(Shadow Time)을 `valid_from` 및 `valid_to` 윈도우와 대조한다. 만약 현재 시각이 9월 1일이라면, 오라클은 이 테스트 케이스를 '만료됨(Expired)'으로 분류하고 평가 대상에서 기계적으로 제외(Skip)시킨다. 위양성(False Positive) 에러를 원천적으로 차단하는 것이다.

## 2.  시계열 분기(Temporal Branching) 기반의 다중 오라클


AI 챗봇은 사용자가 과거의 사건을 물어볼 때와 미래를 물어볼 때 각각 다른 지식(Knowledge)을 인출하여 대답할 수 있는 '시제 추론(Tense Reasoning)' 능력을 갖추어야 한다. 이를 검증하기 위해 오라클 파이프라인은 단일 쿼리에 대해 다중 시계열 정답지를 구축하는 시계열 분기 검증을 수행한다.

동일한 질문(`"A 상품의 이율이 어떻게 돼?"`)에 대해 오라클은 시스템의 가상 시간을 조작하며 모델을 압박한다.
1. **과거 컨텍스트 시딩(Seeding):** `system_time = "2023-05-15"` 주입. 오라클은 `valid_to`가 6월 1일 이전인 정답지(예: 3%)와 AI의 응답을 대조한다.
2. **현재/미래 컨텍스트 시딩:** `system_time = "2023-07-01"` 주입. 오라클은 `valid_from`이 6월 1일 이후인 정답지(예: 4%)와 대조한다.

이러한 메타데이터 기반의 시계열 스위칭 체계가 없다면, 매번 비즈니스 로직이 배포될 때마다 엔지니어들은 수만 개의 테스트 케이스를 일일이 수동(Manual)으로 찾아 엎어치기(Overwrite)해야 하는 끔찍한 노동에 시달리게 된다.

## 3.  타임스탬프와 연동된 오라클 가지치기(Pruning)


시계열 타임스탬프가 결합된 정답지는 데이터 부채(Data Debt)를 스스로 청소하는 자가 정화 기능을 확보한다. CI 파이프라인의 `Nightly Build(심야 빌드)` 프로세스에 유효 기간이 만료된(`valid_to < NOW()`) 골든 데이터셋 레코드를 자동으로 아카이빙(Archiving) 저장소로 넘겨버리는 스크립트 하나만 배치하면 된다.

정리하자면, AI 주도 개발에서 정답지(Ground Truth)는 돌에 새겨진 십계명이 아니다. 오라클이 살아 숨 쉬는 팩트(Fact)의 세계를 정확하게 대변하려면, 정답지 스키마 자체에 '시간과 만료의 개념'을 수학적으로 프로그래밍해 두는 메타데이터 엔지니어링이 필수적이다.