3.2.4.1 설명 가능한 AI(XAI)를 위한 근거 데이터 확보

거대 언어 모델(LLM)과 같은 심층 신경망 구조는 수백억 개의 파라미터가 얽힌 거대한 블랙박스(Black Box)다. 모델이 왜 특정한 출력을 생성했는지 그 내부 연산 과정을 역원인 추적(Reverse Causality Tracking)하는 것은 현대 컴퓨터 과학의 기술적 한계 내에서는 사실상 불가능에 가깝다. 이러한 태생적 불투명성은 치명적인 엔지니어링 리스크를 낳는다. 시스템이 오작동하여 고객에게 손해를 끼쳤을 때, “AI가 그렇게 대답했습니다“라는 변명은 법정이나 감사 당국(Audit Authority)에서 결코 면책 사유가 될 수 없다.

이 지점에서 결정론적 정답지(Deterministic Ground Truth)는 모델의 블랙박스적 한계를 우회하여 **설명 가능한 AI(XAI, Explainable AI)**의 실천적 토대를 구축하는 가장 강력한 수단이 된다.

1. 사후적 설명 가능성(Post-hoc Explainability)의 한계와 정답지의 기능

알고리즘 자체가 스스로의 판단 이유를 투명하게 설명하지 못한다면, 엔지니어는 데이터의 입출력 매핑(Input-Output Mapping)을 통해 외부에서 논리적 당위성을 증명해야 한다.

• 전통적 XAI 기법의 약점: SHAP(Shapley Additive exPlanations)이나 LIME과 같은 통계적 XAI 기법은 피처 가중치(Feature Weight)를 분석하여 ‘유추’ 수준의 해설을 제공할 뿐, “비즈니스 규정에 따라 판단한 결과인가?“라는 결정론적 법적 책임(Accountability)을 증명하지 못한다.
• 정답지 기반의 근거 데이터(Evidentiary Data): 결정론적 정답지는 타겟 시스템에 주입된 입력(Input)에 대해, 시스템이 ’반드시 이렇게 대답해야만 하는 비즈니스적 이유(Rationale)’를 명시적으로 문서화하고 코드화해 둔 원장(Ledger)이다. 모델의 응답이 정답지와 일치한다면, 이는 “모델이 왜 이런 답을 냈는지 완벽히 안다“가 아니라, “모델의 출력이 우리가 사전에 철저한 교차 검증을 거쳐 승인한 결정론적 논리 구조(정답지) 내에서 도출되었음을 확정적으로 보증한다“는 법률적, 공학적 설명 가능성으로 전환된다.

2. RAG 시스템과 결합된 인용(Citation) 오라클의 역할

설명 가능성이 대두되는 가장 대표적인 아키텍처는 검색 증강 생성(RAG) 시스템이다. RAG는 LLM의 지식적 환각을 제어하기 위해 외부 코퍼스(Corpus)를 검색하여 컨텍스트로 제공한다. 이때 시스템의 출력을 방어하기 위한 필수적인 XAI 요소는 ’인용(Citation)의 출처 무결성’이다.

결정론적 정답지는 RAG 파이프라인의 오라클을 위해 설계될 때 단순히 Expected Output Text만을 가지지 않는다. 철저히 구조화된 정답지는 다음을 명시한다.

• Expected Output (결정론적 출력값)
• Source Document ID (출연 근거가 되는 원본 문서의 고유 식별자)
• Exact Line/Paragraph (원본 문서 내 논리 구조의 정확한 위치)

오라클은 AI의 응답을 단순 문자열로 비교하는 것에 그치지 않고, AI가 결괏값 도출을 위해 참조했다고 주장하는 Source Document ID가 정답지에 하드코딩된 ID와 일치하는지, 그리고 그 본문 내용에서 논리적 점프 없이 결론이 도출되었는지를 단언(Assert) 시스템을 통해 검증한다.

결과적으로, 정답지의 존재는 블랙박스인 AI 시스템을 “개발자가 완벽히 통제하고, 입력과 출력의 논리적 인과관계를 언제든지 역추적(Traceback)하여 감사 당국에 제출할 수 있는” 화이트박스(White Box) 수준의 설명력을 지닌 시스템으로 격상시키는 핵심 엔지니어링 척추로 작용한다.