7.9.2 요약(Summarization) 모델의 원문 정보 누락 및 왜곡 탐지

7.9.2 요약(Summarization) 모델의 원문 정보 누락 및 왜곡 탐지

생성형 AI가 엔터프라이즈 환경에서 가장 광범위하게 투입되는 두 번째 영토는 거대한 비정형 텍스트의 요약(Summarization) 태스크다. 긴 임원 회의록, 수십 페이지의 의료 진단 챠트, 복잡한 B2B 법률 계약서를 단 한 문단으로 압축하는 과정에서, 타겟 모델은 필연적으로 치명적인 중요 데이터를 날려버리는 **기억상실(Omission)**과 존재하지 않는 정보를 지어내는 **환각(Hallucination)**이라는 두 가지 불치병에 극도로 취약해진다.

구조화되지 않은 1차원적인 오라클이라면 “요약문이 문법적으로 부드럽게 잘 읽히는가?“라는 유창성(Fluency)만을 어설프게 채점하겠지만, 의료, 피난, 금융, 법률과 같은 고위험(High-stake) 도메인에서는 글의 유창함 따위보다 ’단 하나의 소수점 숫자나 전문 용어가 왜곡되지는 않았는가’라는 정보 무결성(Information Integrity)이 기업의 존폐(생사)를 가른다.

이를 철벽으로 방어하기 위해 설계된 하이브리드 오라클 아키텍처는 대상 테스트 텍스트 요약을 ’팩트 노드 추출(Fact Extraction)’과 ’역방향 모순 검증(Contradiction Check)’의 투트랙(Two-track) 파이프라인으로 강제 분리하여 역전파(Reverse) 방식으로 극한의 채점을 수행한다.

1. 1단계: 원본 문서에서의 핵심 명제(Claim) 자동 추출

하이브리드 오라클 런타임은 제일 먼저 타겟 생성 모델인 ’요약 AI’의 결과물을 쳐다보지도 않는다. 그 이전에 원본(Source) 텍스트 페이로드 자체를 분석하여 절대 훼손되어서는 안 될 핵심 명제들을 정수 추출(Distillation)해 낸다.

  • 원본 문장: “해당 환자는 2023년 5월 12일에 극심한 편두통을 호소하여 신경과 전문의로부터 타일레놀 500mg을 처방받았다.”
  • 오라클 백엔드가 파싱한 명제 리스트(JSON):
  1. "date": "2023-05-12"
  2. "symptom": "극심한 편두통"
  3. "treatment": "타일레놀 500mg"
  4. "department": "신경과"

이처럼 오라클은 추출된 핵심 명제 트리(Node Tree)를 이어질 요약 평가를 위한 ’결정론적 특수 정답지(Ground Truth)’로써 Redis 같은 인메모리 스토어에 일시 락킹(Locking)하여 저장한다.

2. 2단계: 양방향 정보 누락(Omission) 및 왜곡(Distortion) 검사

이제 오라클은 비로소 타겟 모델이 생성한 ’요약문 문자열’을 건네받아, 1단계에서 사전에 은닉해 둔 원본 명제 트리와 양방향(Bi-directional)으로 날카롭게 대조한다.

  • 정보 누락(Omission) 검사 (원본 DB -> 요약문): “가장 중요한 핵심 데이터(타일레놀 500mg)가 요약문에서 증발(Drop)되었는가?” 만약 요약문이 분량 제약을 핑계로 단순히 “환자가 두통으로 약을 받았다“라고 뭉뚱그려 서술하여 약물의 ’고유 식별 종류’와 ‘치사량(용량)’ 데이터를 날려버렸다면, 오라클은 즉시 ‘Recall(재현율) 실패’ 치명적 에러를 로그에 기록한다.
  • 정보 왜곡(Distortion) 검사 (요약문 -> 원본 DB): “요약문에 적혀 있는 고유 명사가 원본 팩트와 1:1로 일치하는가?” 만약 타겟 요약문에 “환자가 5월 12일에 애드빌 500mg을 받았다“라고 버젓이 쓰여 있다면, 오라클 심판관은 요약문에 등장한 애드빌이라는 가짜 명제가 원본 트리의 타일레놀 노드와 완벽히 수학적 모순(Contradiction)됨을 감지한다. 이는 가장 파괴적인 1등급 환각 위반(Hallucination Violation)으로 분류되어 해당 요약 배포는 즉각 Fail 처리(Rollback)된다.

3. 구조화된 지식 그래프(Knowledge Graph) 정합성 평가

요약 모델의 진정한 신뢰성은 단순한 단어 대 단어의 나열 비교를 넘어, “사건의 인과 관계(Causality)와 주술 관계“가 요약 압축 과정에서 손실 없이 보존되었는가를 결정론적으로 채점할 때 완벽히 증명된다.

최신의 진보된 LLM 판사 파이프라인은 타겟 요약문으로부터 [주체(Subject)] -> [관계(Predicate)] -> [객체(Object)]의 지식 트리플(Triplets)을 추출하여 가상의 관계 그래프망을 구성한 뒤, 이 그래프의 연결 구조가 원본 문서의 지식 통사론과 위상학적으로 단 한 군데라도 위배(Topological Violation)되는 곳이 없는지를 딥러닝으로 평가하는 단계로 진화하고 있다. 이는 흔히 인간 평가자가 말하던 “이번 요약본의 글이 너무 짧습니다. 잘린 느낌이에요.“라는 모호하고 주관적인 불만 사항을, “핵심 명제 보존율 98.4%, Entity 왜곡률 0%“라는 결정론적 소프트웨어 엔지니어링 메트릭(Metric)으로 완벽하고 차갑게 치환하는 위대한 성취다.