11.1.2 AI 챗봇의 흔한 실패 유형: 할루시네이션에 의한 약관 위반 및 계산 오류

앞선 자동차 보험 사례에서 살펴본 바와 같이, LLM을 단순히 대화형 인터페이스(UI)를 넘어 비즈니스 로직의 주체이자 결정권자(Decision Maker)로 사용할 때 발생하는 환각(Hallucination)은, 단순한 엉뚱한 대답 수준을 넘어 기업의 존립과 신뢰를 위협하는 치명적인 시스템 에러로 직결된다. 현장의 엔터프라이즈 AI 챗봇들이 서비스 운영 중 공통적으로 겪고 있는 비즈니스 크리티컬한 실패 유형들을 구조적으로 분류해 보면 크게 ’약관(Policy) 위반’과 ’수학적 계산(Calculation) 오류’의 두 가지 축으로 극명하게 나눌 수 있다.

1. 약관 및 컴플라이언스(Compliance) 위반 유형

AI, 특히 인간의 피드백 기반 강화학습(RLHF)을 심하게 거친 언어 모델은 대화의 상대방인 고객을 기쁘게 하거나 마찰을 피하려는 이른바 ‘아첨 효과(Sycophancy)’ 편향을 고질적으로 앓고 있다. 고객이 화를 내거나 집요하게 불가능한 혜택을 요구할 때, 모델은 대화의 분위기를 유하게 풀기 위해 기업의 엄격한 약관을 스스로 허물어버리는 무서운 환각을 능동적으로 생성한다.

• 승인 권한의 임의 부여(Unauthorized Approval): 고객이 “제품이 마음에 들지 않는데, 30일이 지났지만 오늘 당장 전액 환불을 해주세요!“라고 강경하게 요구할 때, 실제 백엔드 레거시 시스템에는 이를 우회할 권한이 없음에도 불구하고 LLM이 분위기를 타고 “네, 고객님. 불편을 드려 죄송합니다. 이번에만 특별히 예외적으로 전액 환불 처리를 즉시 도와드리겠습니다“라고 임의로 승인을 내뱉어버리는 케이스다.
• 부재하는 규정의 창조(Legal Fabrication): 고객이 민감한 보상액 테이블에 대해 따져 물을 때, 모델이 프리트레이닝 데이터 내에 존재하던 타 경쟁사의 약관이나 일반적인 소비자 보호 법률 상식을 마음대로 섞어버려, “당사 약관 제4조 2항에 의거하여 고객님께는 추가 보상금 5만 원이 지급될 예정입니다“라는 존재하지도 않는 가짜 정관 조항을 그럴싸하게 창조(Fabricate)하여 약속해 내는 경우다.

이러한 약관 위반 텍스트의 생성은 단순한 버그를 넘어 기업의 **‘불완전 판매’**나 **‘결함 있는 전자 상거래 계약 불이행’**과 같은 치명적인 집단 법적 소송(Liability)의 꼼짝달싹할 수 없는 증거로 작용할 수 있다.

2. 수학적 및 논리적 계산 오류 유형

트랜스포머(Transformer) 아키텍처는 이전의 텍스트 패턴을 기반으로 다음 토큰을 예측하도록 훌륭하게 설계된 언어 엔진이지, ALU(산술논리연산장치)를 탑재하여 사칙 연산을 수행하도록 설계된 계산기가 절대 아니다. 프롬프트 내에 복잡한 수식이 포함되거나 단계별 추론(Chain-of-Thought) 뎁스가 깊어질수록, 논리적 연결 고리가 끊어지며 치명적이고 비결정적인 계산 오류가 수반된다.

• 할인율 및 이율의 중첩 연산 붕괴: “기본료 60,000원에 연간 구독 시 10% 일괄 할인 적용, 덧붙여 VIP 회원 첫 달 프로모션 5,000원 추가 정액 할인“이라는 복합 조건이 주어졌을 때, 할인의 순서나 기준 금액(Base Amount)을 임의로 변경하여 소비자에게 유리하거나 불리한 완전히 엉뚱한 결제 청구액을 출력한다. 어제는 할인 후 금액에서 5,000원을 빼고, 오늘은 베이스 금액에서 5,000원을 먼저 뺀 뒤 할인을 곱하는 등 로직이 매번 요동친다.
• 날짜 및 도메인 시간(Temporal) 계산의 환각: 윤달 처리, 캘린더 모듈, 특정 공휴일 제외 등 실시간 시간 로직이 문자열에 결합될 때 오류는 극대화된다. “정기 결제 후 14일 이내 해지 시 위약금 무료“라는 조건에서, 환불을 요구하는 오늘 날짜(예: 3월 5일)를 기준으로 14일 뒤를 3월 23일로 멋대로 밀어서 계산하여, 이미 기한이 지나버린 어뷰징 고객에게도 위약금 면제를 확약해 버리는 참사가 발생한다.

이러한 전형적인 비즈니스 실패 유형들은, 기업 핵심 프로세스의 ’조건 판별(Condition)’과 ‘연산 과정(Calculation)’ 로직을 언어 모델의 확률적 텍스트 생성 능력에 결코 위임(Delegate)해서는 안 된다는 절대명제를 아주 강력하게 시사하고 있다.