11.4.4 모호한 사용자 입력에 대한 방어적 응답 설계

엔터프라이즈 환경에서 AI 챗봇이 다루는 트랜잭션 데이터는 대부분 고객의 민감한 금전, 법적 권리, 혹은 건강과 직접적으로 직결된다. 따라서 슬롯 필링(Slot Filling) 런타임 단계에서 사용자의 입력이 정규식으로 파싱할 수 없을 만큼 너무 모호하거나, 시스템의 윤리적/수학적 경계(Boundary)를 고의로 위협할 때, LLM이 이를 어떻게 방어적으로 쳐내고(Deflect) 안전한 대화 상태(Safe State)로 롤백시킬지 설계하는 것은 보안(Security) 영역에 가까운 중대한 과제다.

1. 추측성 파라미터 매핑 원천 금지 (Zero-Guessing Policy)

사용자가 챗봇에게 “제 나이는 대충 40대 중후반쯤 된 것 같고, 보험은 뭐 알아서 사고 날 때 안 피곤하게 좋은 걸로 빵빵하게 해주세요“라고 비격식적으로 입력했다고 가정해 보자. 파인튜닝이 잘 된 일반적인 LLM은 이 문장을 보고 뛰어난 문맥 추론 능력을 발휘하여 독단적으로 customer_age: 46, coverage_type: "Premium"으로 매핑하여 오라클에 Function Call을 쏘아버리는 고지능적 편향(Bias)을 흔히 보인다.

하지만 엄격한 오라클 시스템의 룰 엔진 테이블에서는 고객 나이가 44세냐 45세냐, 나아가 만 나이 기준 생일이 지났느냐에 따라 연 할증료가 수십만 원 단위로 갈릴 수 있다. 기계의 ’적당한 추측’은 곧바로 금융사고다. 따라서 프롬프트 레벨에서 **‘추측 완전 금지 원칙(Zero-Guessing Policy)’**을 가장 높은 우선순위로 강제해야 한다.

• 시스템 지시문: “사용자의 언어적 입력이 단일한 상숫값(Constant Number)으로 명확히 떨어지지 않거나(예: ‘40대 중반’, ‘내년쯤’), 범주형 데이터(Enum)를 애매하게 비유할 경우(예: ‘알아서 좋은 거’), 절대로 너의 언어적 지능과 가중치를 신뢰하여 값을 임의 추측(Guessing)하거나 근사치로 JSON을 조립하지 마라.”
• 차단 행동 강령: “이러한 모호성이 단 1%라도 감지되는 즉시 Function Calling 프로세스를 전면 중단(Halt)하고, 고객에게 ‘정확한 만 연령(예: 45세)을 숫자로 기입해 주십시오’ 또는 ’기본형과 프리미엄형 중 하나를 명시적으로 선택해 주십시오’라고 날카롭고 명확하게 재질문하라.”

2. 도메인 경계 이탈(Out-of-Domain) 및 오버플로우 방어

슬롯 필링 전략은 단순히 빈칸의 변수를 채우는 수동적인 데이터 수집 행위에서 멈추면 안 된다. 이는 악의적이거나 극단적인 입력값을 오라클 API 쪽에 무지성으로 던져 백엔드 시스템의 무한 루프나 로직 크래시(500 Internal Server Error)를 유발하려는 어뷰저의 시도를 프론트엔드 단에서 일차적으로 요격(Intercept)하는 역할도 겸해야 한다.

• 경계값 보호(Boundary Defense): “사용자가 장난으로 나이를 ‘-5살’ 혹은 ’2000살’로 입력하거나, 텍스트 버퍼 오버플로우를 노려 ’999999999999살’을 입력하면, 이는 오라클 엔진의 장애를 유발하는 잘못된 입력 격발 시도다.”
• 차단 로직: “이 경우 절대 백엔드 도구(Tool)를 호출하지 말고, 그 자리에서 즉시 ’당사 자동차 보험 가입 심사는 현행법상 18세 이상 100세 이하의 산 사람이 기준입니다. 올바른 숫자를 다시 입력해 주세요’라고 도메인 물리적 경계선(Domain Constraints)의 한계를 직접적으로 안내하며 방어하라.”

이러한 **방어적 챗봇 아키텍처 설계(Defensive Chatbot Architecture Design)**는 언어 모델 스스로가 오라클 서버로 향하는 트래픽을 1차적으로 정제해 내는 스마트한 API 게이트웨이(API Gateway)이자 L7 웹 방어벽(Web Application Firewall, WAF)의 역할을 수행하게끔 조련하는 고도의 시스템 엔지니어링 기술이다. 이원화된 시스템에서 오라클의 API 인박스(Inbox)는 언제나 LLM이 극한으로 소독하고 멸균한 비즈니스 상식에 100% 부합하는 정제 가능 데이터만을 수신할 절대적 권리가 있다.