11.2.1 전체 시스템 구조도: 사용자 - LLM 인터페이스 - 레거시 로직(Oracle) - 검증기

11.2.1 전체 시스템 구조도: 사용자 - LLM 인터페이스 - 레거시 로직(Oracle) - 검증기

결정론적 방어벽을 완벽하게 갖춘 엔터프라이즈 AI 챗봇의 시스템 아키텍처는 “User -> LLM -> Response“라는 단순하고 위험한 단일 호출 구조를 과감히 탈피하여, 각 계층(Layer)이 자신만의 고유한 책임을 엄격하게 독점하는 마이크로 모듈형 파이프라인으로 재구성된다. 전체 데이터의 흐름과 통제의 권한은 크게 네 가지 핵심 컴포넌트 간의 다이내믹한 상호작용으로 정의된다.

  1. 사용자 (Client Endpoint Layer): 예측할 수 없는 길고 모호한 자연어를 입력하고, 최종적으로 부드럽고 친절한 자연어 응답을 돌려받는 프론트엔드 채널(앱, 웹, 메신저)이다.
  2. LLM 인터페이스 (Orchestration & Parsing Layer): 고객의 문맥을 이해하고 필수적으로 추출할 파라미터가 모두 수집될 때까지 대화를 이끌어가는(Slot Filling) 챗봇의 두뇌이자 관문이다. 가장 중요한 점은, LLM은 프롬프트 내부에서 절대로 스스로 비즈니스 계산이나 약관 판별을 수행하지 않으며, 오직 외부의 결정적인 도구(Tool/Function)를 호출하기 위해 정형화된 JSON 페이로드(Payload)를 조립(Assembly)하는 역할에만 갇혀 있다는 것이다.
  3. 레거시 로직 (Dynamic Runtime Oracle Layer): 기존 기업의 백엔드 서버에 굳건히 존재하던 자바(Java)나 C# 기반의 코어 비즈니스 규칙 엔진(Business Rule Engine, BRE)이자 금융 요금 산출 API다. LLM으로부터 의도가 정제된 구조화 파라미터를 인박스(Inbox)로 전달받아 자체적인 수학적 연산을 수행한 뒤, ‘환불 불가’, ’최종 보험료 1,350,000원’과 같이 단 0.01%의 확률적 예외도 허용하지 않는 무자비하고 확정적인 결과값(Ground Truth)을 산출하여 다시 LLM 시스템으로 반환한다.
  4. 검증기 (Verification Oracle Layer): 이 파이프라인의 뒷단에 숨어있는 최종 판사이자 감시견(Watchdog)이다. 배포 전 CI/CD 단계에서는 정적 테스트 데이터셋을 통해 LLM의 파라미터 의도 추출 자체가 문법에 맞는지 1차로 검사한다. 더 나아가 라이브 배포 후(Shadow Mode/Runtime)에는, LLM이 고객에게 자연어로 뱉어내려는 ‘최종 응답 초안 텍스트’ 안에 앞서 레거시 오라클이 지시했던 상수 결괏값을 실수나 환각 없이 정확히 매핑했는지를 정규식(Regex) 문자열 매칭이나 가벼운 팩트 체킹용 보조 LLM을 통해 초 단위로 감시, 승인, 또는 차단(Circuit Break)한다.
sequenceDiagram
    participant User as 사용자 (Client)
    participant LLM as LLM 인터페이스<br>(라우터 & 파서)
    participant Legacy as 레거시 로직<br>(런타임 오라클)
    participant Verifier as 검증기<br>(최종 오라클 감시자)

    User->>LLM: "25세이고 작년 사고 없는데 블랙박스 특약 넣으면 얼만가요?"
    Note over LLM: 대화 문맥 파악 및<br>필수 JSON 파라미터 추출
    LLM->>Legacy: API Function Call: <br>{age: 25, accident_free_years: 1, blackbox: true}
    Note over Legacy: 수십 년 된 안전한 기존 코드로<br>확정적 수식 계산 (할증/할인 적용)
    Legacy-->>LLM: Ground Truth 결과 반환: <br>{final_fee: 1235000, approval: true}
    Note over LLM: 결과를 바탕으로<br>자연어 응답 문자열 완성 유도
    LLM->>Verifier: 응답 초안 전송: <br>"고객님의 예상 보험료는 1,235,000원입니다."
    Note over Verifier: 결정론적 팩트 체크:<br>Legacy가 준 결과(1235000)가<br>생성 문자열에 포함되었는가?
    Verifier-->>LLM: 검증 승인 (Binary Pass)
    LLM-->>User: "고객님의 예상 보험료는 1,235,000원입니다. 가입하시겠습니까?"

위의 시퀀스 다이어그램에서 명백하게 드러나듯, 보안과 비즈니스 로직의 흐름은 철저히 통제된다. LLM은 고객과 화려하게 대화하지만 로직을 단독으로 결정할 권한이 단 하나도 없고, 기업의 레거시 오라클은 모든 비즈니스 로직을 통제하고 쥐고 있지만 굳이 사용자와 직접 자연어로 대화하며 모호함을 처리할 필요가 없다. 그리고 마지막 검증기(Verifier)는 이 둘 사이의 계약(Contract)이 사용자에게 텍스트로 뿌려지기 직전 찰나의 순간에 완벽히 이행되었는지를 암묵적으로 감시한다.

이것이 현대 엔터프라이즈 환경에서 환각 리스크를 100%에 가깝게 통제해 내는 신뢰할 수 있는 챗봇 아키텍처의 불문율이자 황금률(Golden Rule)이다.