13.1.2 LLM 기반 추출 시 발생하는 환각(Hallucination) 유형 및 사례

13.1.2 LLM 기반 추출 시 발생하는 환각(Hallucination) 유형 및 사례

결정론적인 정답지(Ground Truth)가 부재한 닫히지 않은 오픈 월드 환경에서 비정형 데이터들의 핵심 엔터티(Entity) 추출을 초거대 언어 모델(LLM)의 확률론적 디코딩 로직에 전적으로 일임했을 때 발생하는 시스템 오류는, 인간이 타이핑하다 저지르는 단순한 오타(Typo) 수준에 결코 그치지 않는다.

트랜스포머(Transformer) 구조의 고차원 어텐션(Attention) 메커니즘은 13.1.1절에서 확인한 물리적 문맥과 위상이 무너진 거친 파편화 데이터를 어떻게든 부드럽게 이어 붙여 확률적으로 복원시키려는 치명적이고 강박적인 언어적 본능을 과도하게 발휘한다. 이 아찔한 복원 과정에서 모델은 스스로 **‘논리적 비약(Logical Leap)’**을 감행하고, 원본 문서에 아예 존재하지도 않는 데이터를 무(無)의 심연에서 창조해 내는 **‘생성적 환각(Generative Hallucination)’**이라는 악마를 탄생시킨다.

이러한 기계적 환각은 그 파괴력의 양상과 백엔드 파이프라인에 미치는 데미지의 궤적에 따라 세 가지 주요 카테고리로 뼈아프게 분류할 수 있다. 오라클 아키텍처 설계자는 적의 이 파괴적인 망상 패턴을 신경망 단위에서 정확히 분석해내야만 가장 완벽하고 융통성 없는 방어 필터를 설계할 수 있다.

1. 데이터 타입 파편화 및 포맷형 환각 (Type & Formatting Hallucination)

가장 빈번하게 발생하며 시스템을 일상적으로 마비시키는 가장 더럽고 기초적인 인프라 환각이다. 파이프라인의 백엔드 엔진은 물리적으로 타협할 수 없는 엄격한 ISO-8601 시스템 표준이나 정제된 Integer 정수형 데이터를 절실히 요구하지만, LLM은 인간에 대한 친절함을 명목으로 온갖 쓸모없는 수식어와 쓰레기 문자열을 결합하여 엔진에 강제 주입해 버린다.

  • [결함 사례 1 - Datetime 붕괴]: MLOps 컴파일러는 계약 완료일을 명확한 YYYY-MM-DD 포맷의 2024-02-15로 요구했다. 그러나 LLM은 무책임하게 "2월 중순쯤(대략 15일 경)"이라고 응답하거나, 심지어 지구상에 존재할 수 없는 폐기물 날짜인 "2024-02-30", 혹은 자전축을 무시한 "2024-13-01"을 대수학적 검증 없이 자신 있게 뱉어낸다. 이는 캘린더 라이브러리의 즉각적인 런타임 폭파(Runtime Exception) 객체를 불러온다.
  • [결함 사례 2 - Numerics 오염]: 대량의 영수증 OCR 추출 파이프라인에서 순수한 정수형 데이터 35000을 기다리고 있었으나, 모델은 화폐 단위 기호와 천 단위 쉼표, 심지어 인간의 감정적 꼬리표 수식어까지 멋대로 덧붙여 "$35,000 (부가세 별도)" 혹은 "약 3만 오천 원가량" 이라는 끔찍한 String 블록을 쏟아낸다. 데이터베이스가 이를 INSERT 하려는 찰나, 즉각적인 DataType 붕괴 에러(Parse Error)를 일으키며 해당 로우 트랜잭션을 전체 롤백(Rollback) 시켜버린다.

2. 논리적 바인딩 붕괴 환각 (Semantic Mapping Hallucination)

하나의 비정형 문서 내에 여러 개의 동격(同格) 속성들이 지저분하게 뒤섞여 있을 때, LLM의 어텐션 윈도우(Attention Window)가 관계 대수적 연결고리의 바인딩(Binding) 포인인터를 완전히 헛짚어 타겟 정보를 교차 오염시키는 무서운 현상이다.

  • [결함 사례 - Entity 교차 감염]: 진단서나 보험 청구서에서 환자(Patient)와 지불 보증인(Guarantor), 그리고 담당 의사(Doctor)의 이름이 문맥상 마구잡이로 혼재되어 있을 경우 발생한다. 공간적 어텐션이 완전히 붕괴된 LLM은 환자 이름 필드(Patient_Name)에 돈을 지불해야 할 보증인의 이름을 박아 넣고, 결제 타겟 청구인에 의사의 이름을 욱여넣는 만행을 저지른다. 이는 문맥 파편화 환경에서 주어와 목적어의 메모리 포인팅(Pointing)을 완전히 상실한 심각한 단기 기억 신경망 뇌 손상의 전형적이고 악랄한 사례 다.

3. 원문 조작 및 절멸적 생환각 (Fabrication & Out-of-Context Hallucination)

문서 텍스트의 그 어디에도 아예 물리적으로 존재하지 않는 기밀 정보나 숫자 데이터를, LLM이 자신이 과거 훈련받았던 사전 학습 파라미터 지식(Pre-trained Weights)을 무의식적으로 끌어와 스스로 소설처럼 지어내서 채워 넣는 절대 악이자 최악의 1급 재앙이다.

  • [결함 사례 - 약관 창조]: 회사 법무팀에서 업로드한 B2B 계약서 원본 내에 “위약금 청구 조항“이 아예 언급조차 되지 않은 짧은 가계약 초안 문서임에도 불구하고 상황은 터진다. LLM은 자신의 내부 신경망에 강력하게 인코딩되어 있는 ’보편적이고 수학적인 계약서 템플릿의 형태성’에 취해, 환각의 취기를 이기지 못하고 스스로 {"penalty_clause": "계약 해지 시 총 합의금의 10%를 즉각 배상한다"}라는 끔찍한 유령 조항 객체를 강제로 창조하여 반환한다. 이는 소프트웨어의 오류를 넘어 기업 입장에서 수십억 단위의 재무적, 법률적 책임을 통째로 뒤바꿔버리는 치명적인 소송 리스크다.

위의 세 가지 환각 스펙트럼 유형은 확률론적 언어 생성 모델(LLM)이 태생적으로 가진 치유할 수 없는 숙명적인 한계를 여실히 드러낸다. 프롬프트 엔지니어 1명이 아무리 마법 같은 Few-shot 예제를 집어넣는 단 한 번의 프롬프트 호출 기교만으로는 이 압도적인 재앙들을 프로덕션에서 100% 방어할 수 없다.
다음 13.1.3절에서는 이러한 최악의 환각 찌꺼기들이 어떤 여과나 검증 오라클망도 없이 백엔드 시스템 심장부로 고스란히 빨려 들어갔을 때, 어떻게 엔터프라이즈 비즈니스의 논리를 산산조각 내는지 그 끔찍한 최후를 맹렬하게 추적할 것이다.