3.4.4 의미론적 유사성(Semantic Similarity) 기반의 준(準)결정론적 정답지(Quasi-deterministic Ground Truth)

초엄격한 결정론적 정답지(Deterministic Ground Truth)의 철학과 아키텍처를 엔터프라이즈 환경에 무작정 적용하여 설계하다 보면, MLOps 엔지니어들은 필연적으로 **‘자연어의 형태적 다양성(Morphological Diversity of Natural Language)’**이라는 통제 불가능하고 거대한 장벽에 뼈아프게 부딪히게 된다.

가령 사용자의 “내 주문 취소해 줘“라는 쿼리에 대해, 모델 A가 *“고객님의 제품이 환불되었습니다”*라고 답하고, 다음 날 배포된 모델 B가 *“요청하신 결제 취소가 정상적으로 완료되었습니다”*라고 유창하게 생성했다고 가정해 보자.
인간 도메인 전문가(SME)의 따뜻한 눈에는 두 문장이 비즈니스적으로 완벽히 동일한 의미(Semantics)를 지닌 백 점짜리 훌륭한 답변이지만, 단순 무식한 문자열 매칭(==)이나 원시적인 정규식 부분 문자열(Substring Regex) 검색 알고리즘만을 고집하는 차가운 ‘사실 기반 정답지(Fact-based Ground Truth)’ 시스템에서는, 모델 B의 이 훌륭하고 친절해진 응답을 포맷이 조금 틀어졌다는 이유 하나만으로 멍청하게 FAIL(0점)로 치부해 버리고 릴리즈 파이프라인을 잠가버린다.

이처럼 인간을 응대하는 B2C 챗봇, 외국어 번역, 장문 요약, 창의적 브레인스토밍 등 정답의 표현 형태가 무한히 변주될 수 있는 **주관적이고 서술적인 태스크(Descriptive Tasks)**에서, 1비트의 오류도 허용하지 않는 극단적인 결정론(Extreme Determinism) 체제를 고집하는 것은 오히려 수백 개의 억울한 거짓 양성(False Positive) 회귀 에러 알럿을 매일 아침 양산하여, 결국 개발팀 전체가 화가 나 테스트 시스템에 대한 신뢰를 잃고 대시보드를 꺼버리게 만드는 최악의 독이 된다.

이러한 공학적 교착 상태(Deadlock)를 우아하게 해결하기 위해 아키텍트가 반드시 도입해야 하는 지능형 타협점이자 가장 진보된 채점 기법이 바로 **‘의미론적 유사성 기반의 준(準)결정론적 정답지(Semantic Similarity-based Quasi-deterministic Ground Truth)’**이다.

1. ’자연어의 형태’를 ’수학적 공간’으로 변환하는 임베딩(Vector Embedding) 아키텍처

이 진화된 유형의 메타 정답지 시스템은 거친 텍스트 문자열(String) 그 자체를 절대 정답의 엄격한 기준으로 삼지 않는다. 대신, 목표로 하는 가장 정숙하고 이상적인 답변의 의미 스펙트럼을 수백 차원의 수학적 좌표로 압축한 **‘기준 벡터(Reference Embedding Vector)’**를 오라클의 궁극적인 정답지로 채택한다.

[사전 스키마 기준선 설정 (Prior Baselining)]:
시스템 테스트 리더는 먼저 “환불 정책 안내“에 대한 “가장 이상적이고 완벽한 텍스트 템플릿 정답(Golden Text)“을 인간의 언어로 작성해 둔다. 그런 다음, 이 텍스트를 고성능 임베딩 특화 모델(예: OpenAI의 text-embedding-3-small 또는 사내에 프라이빗하게 호스팅된 도메인 특화 Sentence Transformer) API에 통과시켜 이를 1,536차원의 고차원적인 밀집 벡터(Dense Vector) 실수 배열 조각으로 변환하고, 이 차가운 숫자 배열 자체를 CI 데이터베이스의 정답지 JSON 파일 필드에 버전과 함께 영구적으로 박제(Freeze)하여 저장한다.
[동적 런타임 검증 (Dynamic Runtime Evaluation)]:
릴리즈 배포를 검증하는 파이프라인(CI) 오라클은 런타임 테스트 환경에서 최신 AI 모델 인스턴스가 새롭게 생성해 낸 다채로운 응답 테스트 텍스트를 실시간으로 가로채어 가져온 뒤, 정확히 동일한 버전의 임베딩 모델을 호출하여 해당 텍스트를 즉석에서 ’비교용 출력 벡터(Output Vector)’로 인코딩(Encoding) 변환한다.
[다차원 수학적 거리 계산 (Mathematical Distance Calculation)]:
이후 오라클은 두 텍스트의 뉘앙스를 평가하기 위해 비싸고 느린 거대 LLM 판사(LLM-as-a-Judge)를 무겁게 호출하는 대신, 오직 CPU 메모리 상에서 파이썬 numpy 라이브러리 연산만을 사용하여 매우 빠르고 가볍게 두 벡터(사전에 구워둔 기준 벡터와 방금 뽑아낸 출력 벡터) 사이의 코사인 유사도(Cosine Similarity)나 유클리디안 거리(Euclidean Distance) 스칼라(Scalar) 값을 수학적으로 도출해 낸다.

2. 모호성의 정복: 통제 가능한 수학적 ’준(準)결정론(Quasi-determinism)’의 완벽한 달성

문자열 매칭처럼 결과가 완전히 1 아님 0으로 확연하게 떨어지지 않음에도 불구하고, 이 부동소수점(float) 방식의 아키텍처 이름에 감히 ’결정론(Determinism)’이라는 무겁고 엄격한 수식어가 당당하게 붙을 수 있는 이유는 무엇일까?
그것은 바로 언어가 내포하는 그 지독한 철학적 모호성을 통제 불가능한 또 다른 블랙박스 심판(LLM 판사의 프롬프트)의 *“알아서 똑똑하게 판단해 줘”*라는 낭만적인 위임에 내맡기지 않고, **수석 아키텍트와 엔지니어가 CI 파이프라인에서 1% 단위로 완벽하게 멱살 잡고 통제 가능한 명시적 수치 임계값(Mathematical Threshold) 연산 로직으로 완벽하게 치환(Substitution)**해 내었기 때문이다.

[Python 오라클 단언문(Assert) 아키텍처 예시]:

expected_vector = fetch_golden_vector(test_case_id="FEE-001")
actual_vector = embedding_model.encode(llm_response_text)
similarity_score = calculate_cosine_similarity(expected_vector, actual_vector)

# 준결정론적 비즈니스 릴리즈 파이프라인 통과 조건식
assert similarity_score >= 0.85, f"의미론적 유사도 미달 에러 발생: {similarity_score}"


위의 우아하고 단단한 공학적 방어 코드에서 `0.85`라는 임계값(Threshold)은 시스템 외부 은하가 무너져도 변하지 않는 절대적인 스칼라 컴파일 상수(Constant)이며, 동시에 엔지니어가 각 도메인 비즈니스의 보수성(Conservatism)과 마케팅 부양에 따른 리스크 허용치(Risk Tolerance)에 맞추어 환경 변수(ENV)로 언제든지 다이얼처럼 섬세하게 조절할 수 있는 궁극의 통제 레버리지(Control Leverage)다.

만약 테스트 대상이 인간 생명과 인명 피해가 직결된 '의료 진단 차트 요약 봇'이라면, 아키텍트는 이 임계값을 매우 보수적인 수준인 `0.95` 이상으로 극한까지 끌어올려 단방향의 의미적 정확성을 피가 나도록 뾰족하게 추구할 수 있다. 반대로, 유저에게 유머러스한 농담을 섞어 던져야 하는 'B2C 일상 대화 페르소나 봇'이라면 이 값을 `0.75`로 한참 쿨하게 스케일 다운시켜 언어 모델 특유의 톡톡 튀는 창의성과 자유도를 넓은 가두리 양식장 안에서 허용해 줄 수 있다.

결과적으로 이 아름다운 **준결정론적 정답지 환경(Quasi-deterministic Ground Truth)** 아키텍처는, 도저히 기계 언어 코드로 다루기 힘든 인간 자연어의 끈적한 형태적 자유도(Freedom of Form)와 심연의 의미론(Semantics) 전체를 차가운 `float` 타입의 스칼라(Scalar) 수치 하나로 폭력적이고도 우아하게 압축해 낸다.
조직은 이를 통해, LLM 모델 고유의 창의적 표현력을 최대한 살려내어 고객의 UX 만족도를 높이면서도, 결코 단 한 번의 에러도 뚫고 들어오게 허용할 수 없는 엔터프라이즈 시스템 안정성의 마지노선(Baseline Guardrail)을 수학적으로 철저하고 완고하게 방어하는, 현대 MLOps 생태계의 가장 현실적이고도 파괴적인 강력한 무기로 굳건히 활용하게 된다.