13.8.4 인간 수정 데이터의 피드백 루프: 파인튜닝 데이터셋으로의 전환

기존의 낡은 BPO(Business Process Outsourcing) 관점과 현대적인 MLOps(Machine Learning Operations) 철학을 가장 극명하게 가르는 분수령은 바로 **‘인간이 생성한 교정 데이터의 재활용성’**에 있다.
HITL(Human-in-the-Loop) 시스템에서 발생하는 가장 뼈아프고 안타까운 자원의 낭비는, 값비싼 고연봉의 재무 감사관이 5분의 시간을 처절하게 투자하여 AI의 치명적 환각과 오라클 에러를 바로잡고 승인(Approve) 버튼을 눌렀을 때, 그 귀중하게 교정된 결과값이 그저 ERP 마스터 데이터베이스 원장에 한 줄 텍스트로 기록되는 것으로 그 수명을 다하고 차갑게 휘발(Evaporation) 되어 버리는 현상이다.

인간 작업자가 기계의 어리석은 에러를 질책하며 폼(Form)의 값을 덮어쓰기(Override) 한 그 행위 자체는, 단순히 오늘의 트랜잭션 하나를 통과시킨 것이 아니다. 그것은 실리콘밸리에서 수만 불을 주고도 살 수 없는, 리얼 월드의 독성 노이즈가 모두 묻어있는 세상에서 가장 비싸고 정확한 **‘[인간 피드백 기반 강화학습(RLHF) 및 SFT(지도 미세 조정)]용 특강 고품질 라벨링 데이터’**다.
우리는 이 버려지는 금싸라기 데이터를 긁어모아 AI 파이프라인 엔진의 장기적인 성장 동력으로 삼는 거대한 무한궤도, 즉 **데이터 플라이휠(Data Flywheel)**을 반드시 아키텍처 뒷단에 구축해야만 한다.

1. 실패와 정답의 영속화: 3원쌍(Triplet) 아키텍처 설계

모델 파인튜닝의 관점에서, 단순히 “인간이 수정한 최종 JSON 텐서 정답지” 하나만을 덜렁 저장하는 것은 어떤 인과관계도 성립되지 않는 반쪽짜리 죽은 기록이다.
AI 모델을 진실로 진화시키기 위한 로깅(Logging) 아키텍처는, “초기 입력이 어떠했고”, “모델이 그 입력에서 어떤 바보 같은 환각을 일으켜 오라클에게 뺨을 맞았으며”, 그 결과 “인간 통제관이 어떻게 기하학적 어텐션을 교정하여 최종 정답을 도출했는지“에 대한 [입력(Input) - 모델 실패(Model Failure) - 인간 정답(Ground Truth)]의 서사적 3원쌍(Triplet) 완벽주의 구조로 직렬화되어 보관되어야 한다.

백오피스 서버는 인간 심사관이 수정 폼에서 녹색 승인(Approve) 버튼을 클릭하는 바로 그 찰나의 순간, 비동기 워커(Worker)를 스폰시켜 아래의 JSONL(JSON Lines) 포맷 형태로 S3 데이터 레이크(Data Lake)나 벡터 DB에 영구 적재하는 무자비한 훅(Hook)을 실행한다.

{
  "timestamp": "2023-10-25T14:30:00Z",
  "document_taxonomy": "Invoice_Vendor_A_Dirty_Version",
  
  "1_input_context": {
    "raw_document_s3_url": "s3://enterprise-raw-invoices/TXN-99821A.pdf",
    "ocr_bounding_box_layout": "[...13.6.1절의 기하학 매핑 텍스트...]"
  },
  
  "2_model_failure_trace": {
    "model_generation": {"total_amount": 50000},
    "oracle_exception_triggered": "LineTotalMismatchError",
    "reasoning_trace": "모델이 영수증의 '$5,000' 문자 뒤에 묻은 커피 얼룩 스캔 노이즈 영역을 '0'으로 오인하여 환각 지능을 발휘함."
  },
  
  "3_human_ground_truth": { 
    // 이것이 우리가 얻어낸 진정한 마스터키 텐서
    "corrected_payload": {"total_amount": 5000},
    "human_auditor_id": "auditor_level_3_park",
    "time_to_resolve_sec": 14.5
  }
}

2. 지도 미세 조정(SFT) 루프를 통한 파이프라인의 자가 진화(Evolution)

이렇게 S3 데이터 레이크에 차곡차곡 쌓인 인간 교정 3원쌍 데이터가 임계 볼륨(예: 분기별 10,000건의 에러 모음집)을 돌파하게 되면, 드디어 오프라인 MLOps 파이프라인이 가동된다.
우리는 기계가 통과시킨 100만 건의 쉬운 정상 데이터는 과감히 버리고, 오직 기계를 무너뜨렸던 이 극단적 Edge Case 1만 건의 모음집만을 집중적으로 활용하여, 우리가 현재 서빙 중인 오픈소스 SLM(예: Llama-3-8B)이나 폐쇄형 LLM API(예: GPT-4o Custom Fine-tuning) 모델의 가중치(Weight)를 직접적으로 재학습(Supervised Fine-Tuning) 시킨다.

이 정밀한 파인튜닝의 궁극적인 목표는, 단순한 제로샷(Zero-shot) 프롬프트로는 절대 가르칠 수 없었던 암묵지(Tacit Knowledge) — 즉, “우리 회사 커스텀 오라클이 정확히 어떤 지점의 논리를 혐오하여 에러를 격발하는지“와 “과거 1년 동안 우리 회사의 인간 선배들이 이런 악의적인 얼룩 노이즈나 사기 패턴에서 결국 어떻게 $5000이라고 맥락적으로 추론해냈는지” — 를 AI 모델의 신경망 파라미터 가장 깊은 곳에 물리적으로 **내재화(Internalization)**시키는 것이다.

이 데이터 플라이휠이 서서히 굴러가기 시작하면 생태계에는 마법이 일어난다.
파이프라인 구축 초기에는 전체 트랜잭션의 5%라는 막대한 양이 오라클을 뚫지 못하고 인간의 디버깅 큐로 튕겨 나갔을 것이다. 하지만 이 귀중한 실패 데이터를 모아 3개월 뒤 첫 번째 모델 파인튜닝(버전업)을 단행하면, 그 에러 기각 비율은 거짓말처럼 1% 미만으로 수렴하게 된다. 이를 반복하여 1년 뒤 시스템 고도화가 달성되면, 오직 세상에 처음 태어난 0.01%의 완벽한 신규 사기 패턴이나 극악의 훼손 서류들만이 인간의 책상 위로 올라오게 된다.
인간의 개입이 늘어날수록, 역설적으로 기계가 더 똑똑해져 미래의 인간 개입(OPEX 유지보수 비용)이 기하급수적으로 소멸하는 것.
이것이 바로 리얼 월드의 엔터프라이즈 AI 시스템이 도달해야 하는 가장 완벽하고 지고지순한 진화의 선순환(Virtuous Cycle) 아키텍처다.