14.4.1 결정론적 지표: 정확도(Accuracy), 포맷 준수율, 스키마 유효성

생성형 AI 모델의 거대한 파라미터가 아무리 사람의 심금을 울리는 화려하고 창의적인 문장을 구사한다 한들, 그 뒤에 연결된 마이크로서비스 아키텍처(MSA)의 엔터프라이즈 백엔드 엔진과 데이터베이스(RDBMS) 파서들은 오직 차갑게 정제된 JSON 텐서 구조만을 이해하고 섭취할 뿐이다.

따라서 CI/CD 평가 대시보드의 가장 최상단 중앙, 즉 배포 승인권자(Manager)의 뇌와 시선이 가장 먼저 닿는 최우선 구역에는, 이 모델이 얼마나 친절한지 묻는 부드러운 뉘앙스 지표가 아니라 **“그래서 이 거대한 확률적 언어 덩어리 모델이, 우리의 엄격한 기계와 얼마나 에러 한 줄 없이 안전하게 통신할 수 있는가?”**를 묻는 100% 흑백 논리의 잔인한 결정론적 지표(Deterministic Metrics) 삼형제가 배치되어야만 한다.

1. 스키마 유효성 및 포맷 준수율 (Schema Validity & Format Compliance Rate)

개발자가 시스템의 뼈대로 정의한 Pydantic 오라클을 런타임에 손상 없이 통과하는 비율이다. 이것은 이 모델 체급의 똑똑함을 칭찬하기 전에 앞서, 모델이 하위 백엔드 파이프라인의 메모리를 참조 오류(NullPointerException)로 붕괴시켜 버릴 파괴적 위험성이 있는지를 판별하는 0순위 생존 조건이다.

• [핵심 지표 정의]: (Pydantic ValidationError 예외 토벌 없이 무사히 직렬화(Serialization)된 응답의 수) / (총테스트 트랜잭션의 수) * 100
• [드릴다운(Drill-down) 세부 지표]:
  대시보드는 이 에러의 원인을 다음 세 가지로 세분화하여 시각적인 파이 차트(Pie Chart) 쪼개어 노출해야 한다.
• 누락률 (Missing Key Rate): 스키마에서 필수 제약(Required)으로 걸어둔 키(예: customer_id, transaction_date)를 모델이 멋대로 빼먹은 채 답변한 비율.
• 타입 오류율 (Type Error Rate): age 필드에 시스템이 요구한 정수형 숫자(25) 대신, 자기 마음대로 자연어 문자열("스무 살")을 뱉어버려 파서를 크래시 내는 비율.
• 구조 파괴율 (Structure Break Rate): 배열(List[])을 요구했는데 객체(Dict{})를 반환하거나 괄호 매칭이 완벽히 깨져버린 치명적 구문 파괴 비율.
• [관제탑 임계값]: 엔터프라이즈 제로-트러스트 환경에서 이 포맷 준수율 지표만큼은 **반드시 언제나 100% (또는 회사 정책에 따라 최소 99.9% 이상)**의 초록색 다이얼을 가리키고 있어야만 배포 CD 밸브가 열린다.

2. 완벽 일치 정확도 (Exact Match Baseline Accuracy)

주관적인 문장 생성(Chatbot) 기능을 떠나, 문서 분류(Classification)나 특정 엔티티 추출(Entity Extraction)과 같이 정답이 고정된 태스크에서, 모델의 출력이 골든 데이터셋의 정답 텍스트 블록과 토큰 스펠링 단 한 글자도 틀리지 않고 100% 동일한지를 차갑게 측정하는 과거 기계학습의 검객이다.

• [지표 정의]: (모델의 추론 텍스트 == S3 골든 데이터의 정답 메타 텍스트)인 완벽 방어 샘플 수 / (총테스트 샘플 수) * 100
• [전략적 가치]: 시를 쓰거나 코드를 짜는 유연한 생성 태스크에서는 ’0%’를 찍어 무용지물이 되지만, ‘고객 감정 분석(Positive/Negative/Neutral)’, ‘라우팅 의도 분류(Intent Classification)’, ’SQL 쿼리의 테이블 명 추출’처럼 정답의 자유도가 완전히 거세된 닫힌 태스크(Closed-task) 영역에서는 파이썬의 == 연산자 하나만으로 모델의 지능 퇴행(Regression)을 가장 압도적이고 극단적으로 발가벗길 수 있는 강력한 판별계가 된다.

3. 도메인 논리 정합성 (Domain Rule & Logic Consistency Rate)

우리가 13장의 재무 영수증 실전 예제에서 치열하게 구현했던 것처럼, 모델이 아무리 이쁘게 JSON 포맷 필드를 채워 뱉어냈더라도, 그 구조 안에 담긴 ’숫자와 팩트의 논리(Logic)’가 인간의 도메인 세계와 물리적으로 모순이 없는지를 2차원으로 측정하는 지표다.

• [지표 정의]: 산술 엔진 스크립트 도무지 에러를 잡지 못하거나, 회사 내부의 SQL조회(DB Lookup) 오라클망과 교차 검증을 벌였음에도 팩트 충돌 모순이 발각되지 않고 온전히 면죄부를 부여받은 응답의 비율.
• [대시보드 실전 예시]:
• 수학 결함률 (Math Error Rate): (영수증 개별 품목 Array 합계 \neq Total Amount 변수) 조건을 어기고 환각을 일으킨 비율.
• 유령 환각률 (Ghost Entity Rate): (생성된 물품명의 SKU 코드가 실제 사내 PostgreSQL 마스터 상품 테이블에 SELECT를 때려봤을 때 존재하지 않는 유령 식별자)인 비율.

이러한 결정론적인 지표 3형제 세트는, 겉잡을 수 없이 확률적이고 변덕스러운 LLM의 두뇌를 엔터프라이즈의 차가운 공학적 수치와 룰 모델로 완벽하게 포박해 버리는 철창이자 수갑의 역할을 수행한다. 대시보드 위에서 이 세 가지 결정론적 게이지가 완벽한 ’초록색 불(Pass)’을 가리키고 있을 때, 비로소 인간 엔지니어는 LLM을 단순한 ’불안한 스타트업의 장난감’이 아니라 ’배포 가능한 신뢰성 높은 소프트웨어 코어 무기’로 대우하고 스위치를 누를 수 있게 된다.