14.5 지속적 배포(CD) 전략과 오라클 기반 품질 관문(Quality Gate)

앞선 거대한 CI(지속적 통합) 파이프라인 런타임에서 오라클의 무자비하고 피비린내 나는 검열을 모두 무사히 통과하고, 마침내 Grafana 대시보드에 영광스러운 ‘All Green(전면 합격)’ 불빛이 눈부시게 들어왔다 하더라도 절대 방심해서는 안 된다.
방금 막 구워져 나온 따끈따끈한 새 가중치(V2 Weights) 컨테이너 인스턴스를 수백만 명의 실제 고객이 접속해 있는 메인 라이브(Live) 프로덕션 서버 중앙에 ’원클릭(One-click)’이나 git push 한 번으로 즉시 엎어 쳐 배포(Big Bang Deployment)하는 용감한 행위는, 엔터프라이즈 비즈니스 환경에서 그 자체로 기업의 목숨을 건 끔찍한 자살 행위나 다름없다.

왜냐하면 우리가 CI 섀도우 환경에서 치열하게 돌렸던 아무리 거대하고 정교한 테스트 파이프라인이라 할지라도, 그것은 기껏해야 DVC 저장소에 안전하게 박제되어 있던 수만 건의 **‘죽어있는 과거의 고정된 기출문제(Golden Dataset)’**을 상대로 치른 모의고사에 불과했기 때문이다.
오늘 당장 라이브 프로덕션 로드밸런서(Load Balancer)를 뚫고 접속하는 수백만 명의 불특정 다수의 인간들은, 통제된 실험실의 기출문제 족보에는 맹세코 단 한 번도 등장하지 않았던 기괴한 인터넷 속어, 맥락 없는 질문, 처참한 맞춤법 파괴 문장, 그리고 모델의 뇌수를 파먹고 해킹하려는 악의적인 프롬프트 인젝션(Prompt Injection)과 탈옥(Jailbreak) 텐서 폭격을 1초 단위로 실시간으로 서버에 쏟아낸다.

결국 통제된 실험실(CI)에서 아무리 고득점을 맞은 모범생 모델이라 할지라도, 불확실성으로 무한히 요동치는 야생의 현실(Production) 트래픽을 정면으로 얻어맞았을 때 시스템 인프라가 완전히 붕괴하거나 치명적인 환각(Hallucination) 대형 사고를 내지 않도록, 배포의 충격을 서서히 흡수하는 거대한 아키텍처적 완충 지대(Buffer Zone)가 브랜치 끝단에 필수적인데, 이것이 바로 **‘지속적 배포(Continuous Deployment, CD) 전략’**이다.

그리고 이 살얼음판 같은 험난한 CD 파이프라인의 각 다단계 임계점마다 신규 모델의 트래픽 롤아웃(Rollout) 비율을 더 열어줄지, 아니면 즉각 사이렌을 울리며 롤백(Rollback) 셔터를 내릴지를 수문장처럼 무섭게 지켜보며 기계적으로 평가하는 잔혹한 제어 시스템이 바로 **‘품질 관문(Quality Gate)’**이며, 인프라 자동화 철학에 따라 이 무거운 관문의 전원 스イッチ를 여닫는 열쇠는 오직 철저하게 수학적인 MLOps 오라클(Oracle) 머신만이 쥐고 있어야 한다.

본 14.5절에서는 무한히 요동치고 예측 불가능한 야생의 거대한 AI 트래픽 파도를 길들이기 위한 CD 파이프라인의 세 가지 핵심 엔터프라이즈 배포 아키텍처를 치열하게 파헤친다.

• 고객 모르게 프로덕션 트래픽만 백엔드에서 은밀히 복사(Mirroring)해서 백그라운드 모델에 던져보고 채점해 보는 안전한 ‘섀도우 배포(Shadow Deployment)’
• 전체 트래픽의 고작 1%라는 극소수의 타깃 고객망 트래픽에만 먼저 신규 모델을 노출시켜 간을 보고 점진적으로 비율을 늘려나가는 ‘카나리아 배포(Canary Deployment)’
• 완벽히 격리된 구(A) 환경과 신(B) 환경 인프라를 로드밸런서 뒤에 나란히 병렬로 띄워놓고 가혹한 A/B 테스트의 폭격을 가해 승자를 결정하는 ‘블루-그린 배포(Blue-Green Deployment)’

우리는 이 첨단 기법들을 하나씩 해체하며 오라클이 각 단계에서 어떻게 스코어링(Scoring)을 주도하는지 다룰 것이다. 나아가 이 모든 차갑고 완벽해 보이는 인프라 기계 자동화의 틈바구니 속에서도, 로직(Oracle)조차 도저히 확신할 수 없는 치명적인 법적/보안적 예외의 엣지 케이스(Edge Case) 순간이 0.1% 확률로 터져 발생했을 때, 최후의 보루로서 파이프라인의 배포 전원을 강제로 뜯어내리는 도메인 전문가, 즉 **‘인간 검토자(Human-in-the-Loop, HITL)’**의 숭고한 개입 아키텍처까지 낱낱이 해부해 보도록 하겠다. 결코 AI 혼자서 프로덕션 문을 열게 놔두어서는 안 된다.