5.4.4 API 에러, 지연(Latency), 토큰 초과 등 예외 상황 시뮬레이션 테스트

현대 LLM 기반 엔터프라이즈 애플리케이션이 구동되는 험난한 라이브 운영 환경(Production Environment)은 마치 언제 터질지 모르는 지뢰밭, 혹은 얇은 살얼음판과 같다. 아무리 내부 백엔드 로직을 견고하게 짜 놓았더라도, 통제권 밖에 있는 서드파티 제공업체(Provider, 예: OpenAI, Anthropic)의 클라우드 서버 다운으로 인해 느닷없이 쏟아지는 503 Service Unavailable 연쇄 예외, 예측 불가능한 트래픽 스파이크로 인해 예고 없이 발생하는 20초 이상의 악명 높은 타임아웃(Timeout: Dead Network), 혹은 사용자의 막대하고 무식한 프롬프트 텍스트 복붙(Copy & Paste) 입력으로 인해 파운데이션 모델이 구역질을 일으키며 뱉어내는 컨텍스트 윈도우 초과(Context Window Exceeded) 에러 등, 원격 API 네트워크 호출 너머에서는 무수히 많고 치명적인 폭탄들이 실시간으로 백엔드 서버를 향해 날아온다.

결정론적 오라클(Deterministic Oracle) 테스트 파이프라인의 존립 목적은 단순히 AI 모델이 정상적인 상태일 때 ’올바른 예쁜 텍스트 정답’을 유창하게 생성해 낼 때만을 박수 치며 평가하기 위한 것이 결코 아니다. 진정으로 강건하고 위대한 엔터프라이즈급 AI 오라클 시스템은, 전체 파이프라인이 이러한 극단적이고 통제 불가능한 외부 네트워크 재난(Catastrophic Failures) 상황에 봉착했을 때 애플리케이션이 당황하여 패닉(Panic) 종료되지 않고 얼마나 논리적이고 우아하게 실패(Graceful Degradation / Graceful Failure) 처리를 해내는가를 가혹하리만치 엄격하게 따져 물어야만 한다. 시스템의 숨통을 조이는 Mocking(모킹) 환경 구축은, 이러한 외부 의존성 폭탄들을 안전하고 격리된 유닛 테스트(Unit Test) 샌드박스 위에서 돈 1원 안 들이고 마음껏 수천 번씩 터뜨려볼 수 있는 유일한 공학적 실험실이자 방벽(Shield)이다.

1. 핵심 예외 시뮬레이션 및 결함 주입(Fault Injection) 방어 시나리오

백엔드 개발자 및 QA 아키텍트는 철저하게 통제된 로컬 Mock 객체(Mock Object)를 악랄하게 조작하여, 아래 나열된 최악의 예외 상황들을 시스템 내부로 고의적으로 결함 주입(Inject)하고, 전체 마이크로서비스 시스템의 방어 대비책(Resilience & Robustness) 맷집을 한계치까지 시험해야 한다.

1.1 HTTP 네트워크 오류 및 통신사 일시 장애 (Network Jitter & Outage)

결함 주입(Injection): 네트워크 계층을 가로채는 Mock 객체(예: 파이썬의 responses 또는 unittest.mock.patch)의 반환값을 강제로 네트워크 단절인 HTTP 429 Too Many Requests 상태 코드 에러나, 벤더사 서버 폭파를 의미하는 ServiceUnavailableException으로 잔인하게 덮어써서(Override) 발생시킨다.
검증 오라클(Assertion): 백엔드 애플리케이션의 재시도 로직인 지수 백오프 전략(Exponential Backoff Retry) 회로가 정확히 트리거되어 설정된 $n$ 회 이상 안전하게 시간차 재시도를 수행하는지 여부를 검토한다. 나아가 최종 재시도마저 실패(Abort)했을 때, 시스템이 스레드 락다운(Lockdown)에 걸리지 않고 모바일 프론트엔드 클라이언트에게 내부 스택 트레이스를 숨긴 채 “현재 AI API 서버망이 혼잡합니다. 잠시 후 1분 뒤에 다시 시도해 주세요.“라는 친절하고 안전한 Fallback UI 다이얼로그 문구를 성공적으로 내려보내는지를 텍스트 단위로 엄격히 Assert하여 증명한다.

1.2 치명적인 응답 지연 시간 발생 (High Latency Simulation)

결함 주입(Injection): LLM 생성이 턱없이 느려지는 끔찍한 병목 구간을 시뮬레이션하기 위해, 테스트 코드 내부 환경에서 Mock 객체가 페이크 응답을 즉시 넘겨주기 직전 고의적인 time.sleep(30) 이상의 하드 스레드 지연(Block)을 강제로 발생시킨다. 혹은 asyncio 기반의 비동기 Mock 방식을 통해 비동기 이벤트 루프 체증을 흉내 낸다.
검증 오라클(Assertion): 인바운드 백엔드의 사전에 설정된 안전 타임아웃 임계치(예: 15초 Limit) 내에 애플리케이션이 멍청하게 기다리지 않고 워커 스레드 연결을 자체적으로 강제로 끊어버리는지(Circuit Breaker Trigger) 확인한다. 그리고 해당 요청이 중단된 직후, 자원을 잡고 있던 내부 트랜잭션 DB나 유저 세션(Session) 파일이 영구적인 교착 상태(Deadlock)나 메모리 누수(Memory Leak) 늪에 빠지지 않고 할당된 스레드 자원을 커넥션 풀(Connection Pool)로 정상 롤백 반환(Return)하는지를 시스템 메모리 프로파일 수준에서 검토한다.

1.3 컨텍스트 윈도우 한계(Max Token Limit) 및 텐서 초과 에러

결함 주입(Injection): 사용자가 백과사전 텍스트를 통째로 채팅창에 붙여 넣었을 때 클라이언트 언어 모델 라이브러리가 뱉어내는 불길한 고유의 예외 클래스(예: OpenAI 생태계의 InvalidRequestError: max_tokens exceeded) 인스턴스를, Mock 함수가 API 통신조차 거치지 않고 직접 즉각적으로 raise 명시하도록 악의적으로 패치(Patch) 명령한다.
검증 오라클(Assertion): 애플리케이션 단에서 사용자에게 막연한 500 에러를 띄우는 대신 “입력하신 참조 문서가 분석 가능한 서버 토큰 제한(16k) 길이를 초과했습니다“라는 정확하고 명확한 도메인 오류 안내를 노출하는가? 또는 더 지능적인 아키텍처라면, 에러를 캐치(Catch)한 즉시 입력 컨텍스트를 동적으로 압축 요약(Dynamic Summarization)하거나, 오래된 앞선 과거 대화 스토리 배열 노드를 슬라이싱하여 큐에서 강제 방출(Eviction)시킨 뒤 자동으로 재질의(Recursive Retry)를 날리는 고급 폴백 체인(Fallback Chain) 복구 로직이 정상 가동되는가 여부를 검증한다.

눈에 보이지 않는 거대한 프록시(Proxy) API 네트워크 통신망 너머의 혼돈 가득한 현실 세계는, 결코 우리가 작성해놓은 이상적인 프롬프트 엔지니어링 의도대로 얌전히 움직여 주지 않는다. 이처럼 언제든 와르르 무너져 내릴 수 있는 불안정한 API 제공 환경을 실제처럼 가장 가혹하게 모사한 Mocking 시뮬레이션 테스트 프레임워크는, 엔터프라이즈 시스템 연쇄 파산의 카오스적인 도미노 현상(Domino Effect)을 최전선에서 온몸으로 막아내기 위한 유일무이하고도 가장 강력한 공학적 생명줄이자 **결정론적인 철골 구조물(Deterministic Scaffold)**이다.