15.7.2. 고비용(GPT-4 등) 평가 모델과 저비용(Rule-based) 오라클의 계층적 적용 전략

엔터프라이즈 AI 시스템에서 모든 테스트 단언문(Assertion)을 파라미터 수백억 규모의 GPT-4나 Claude Opus와 같은 SOTA(State-Of-The-Art) 판단 모델(Judge Model)에게 위임하는 것은 파편을 잡기 위해 대포를 쏘는 격이다. 오라클 평가는 평가의 복잡도(Complexity of Evaluation)와 평가의 금전적 비용(Cost of Evaluation)이 정비례하도록 설계되어야 한다.

이를 달성하기 위한 가장 효과적인 FinOps 소프트웨어 공학 패턴은 통과 여부의 1차, 2차, 3차 방어선을 구축하는 계층적 라우팅 게이트웨이(Hierarchical Routing Gateway) 전략이다. 본 절에서는 저비용 결정론적 오라클부터 0-shot 추론력이 극대화된 고비용 오라클까지, 테스트 비용을 최소화하면서도 정확성을 방어하는 필터링 아키텍처를 제시한다.

1. 계층적 방어선 설계 원칙 (Defense-in-Depth for Testing)

계층적 오라클 시스템은 가장 가볍고 결정론적(Deterministic) 연산으로 치명적인 버그를 먼저 걸러내는(Early Exit) 구조를 가진다.

L1. 구문 및 스키마 검사 (Rule-based, Cost: $0)

방식: Pydantic이나 JSON Schema를 통한 필드 타입(Type), 누락, 그리고 정규표현식(Regex)을 이용한 원시적인 패턴 매칭.
역할: 모델이 JSON 형식을 붕괴시키거나 필수 키 값을 빠뜨린 명백한 치명적 버그(Fatal Error)를 컴퓨팅 비용 0원으로 즉시 Fail 처리한다.

L2. 경량 의미론적 부합성 검사 (Local SLM / Embeddings, Cost: Low)

방식: 로컬에 호스팅된 8B 이하의 소형 언어 모델(Small Language Model)이나 임베딩(Embedding) 기반의 코사인 유사도 연산(대체로 $\ge 0.85$ 임계치 사용).
역할: 대충 보기에는 그럴싸하게 생성된 문장이 기존 정답지 구조에서 완전히 벗어났는지(Semantic Drift)를 필터링한다. 여기를 통과하면 대부분의 자잘한 문장 변형은 합격으로 간주된다.

L3. SOTA 기반 심층 논리 검열 (Judge LLM, Cost: High)

방식: GPT-4, Claude 3.5 Sonnet 등을 호출하여 인간 지능에 준하는 논리적 팩트 체크(Fact-checking)를 수행.
역할: L2에서 모호한 결과(Confidence가 낮은 구간)가 나왔을 때나, 환자 처방, 금융 송금액 등 극도로 민감한(Mission-Critical) 도메인 로직이 관여된 케이스만 한정적으로 이곳까지 올려보낸다.

2. 평가 라우팅 알고리즘의 구현

위의 계층을 소프트웨어 코드로 구현할 때, 평가 파이프라인의 분기 로직은 다음과 같이 흐른다.

classDiagram
    class OracleRouter {
        +evaluate(actual, expected) Result
        -run_l1_regex() Result
        -run_l2_similarity() Score
        -run_l3_sota_judge() Result
    }
    
    class TestExecution {
        <<Pipeline>>
    }
    
    TestExecution --> OracleRouter : 위임

이 라우터 내부의 워크플로우를 상태 머신(State Machine)으로 풀어내면 다음과 같다.

stateDiagram-v2
    [*] --> L1_RuleBased
    
    L1_RuleBased --> Fail : 정규식/스키마 위반 (Cost: $0)
    L1_RuleBased --> L2_Similarity : 형식 통과
    
    L2_Similarity --> Pass : 유사도 > 0.95 (명백한 정답)
    L2_Similarity --> Fail : 유사도 < 0.60 (명백한 오답)
    L2_Similarity --> L3_SotaJudge : 0.60 <= 유사도 <= 0.95 (회색 지대)
    
    L3_SotaJudge --> Pass : GPT-4 판정 합격 (비용 발생)
    L3_SotaJudge --> Fail : GPT-4 판정 불합격 (비용 발생)

이 알고리즘의 핵심은 **회색 지대(Gray Area)**의 식별이다. 너무 명백한 정답과 너무 명백한 오답은 값싼 머신 러닝 코사인 유사도가 즉각 쳐내도록 설계하고, 인간조차 헷갈리는 미묘한 차이(뉘앙스, 숨겨진 환각)를 가진 파편들만 값비싼 대형 모델의 판단을 빌리는 것이다.

3. FinOps 임팩트 및 소결

현대 AI 테스팅 환경에서 가장 무서운 병목은 테스트 코드 자체가 자금을 소모한다는 점이다. 고비용/저비용 매트릭스에 기반한 계층적 오라클 전략을 적용하면, CI/CD 환경에서 LLM 검증 비용의 평균 80~90%를 절감할 수 있다.

오라클의 영리함은 얼마나 거대한 판단 모델을 사용하느냐가 아니라, 얼마나 적절한 타이밍에 싼 오라클로 평가를 종료시킬 수 있는가(Early Termination)에 달려있다. 룰 베이스(Rule-base)의 결정론적 엄격함과 SOTA 모델의 유연한 추론력을 융합하는 이 파이프라인 설계는 FinOps 관점에서 AI 테스트 조직의 생존율을 좌우하는 중추가 될 것이다.