8.8.3 답변 생성 거부(Refusal) 시 사용자에게 제공할 표준 응답 프로토콜

8.8.3 답변 생성 거부(Refusal) 시 사용자에게 제공할 표준 응답 프로토콜

쿼리의 재구성(Query Reformulation)과 검색 파라미터의 동적 확장이라는 최후의 자가 복원 수단마저 모두 고갈되었다면, 오라클 시스템이 내려야 할 최종 판결은 단 하나다. 바로 **생성 거부(Refusal)**이다.

상업용 서비스에서 AI가 “모릅니다“라고 대답하는 것은 전통적으로 UX(사용자 경험) 실패로 간주되었다. 하지만 결정론적(Deterministic) 정답을 추구하는 엔터프라이즈 환경에서, 모르는 것을 모른다고 정확하게 인식하고 침묵하는 기능(Safe Refusal)이야말로 오라클의 가장 훌륭한 성공 지표다. 거짓말(Hallucination)을 하여 수십억 원의 금전적 피해나 생명의 위협(의료 도메인 등)을 초래하는 것보다, 우아하게 답변을 거절하는 것이 공학적으로 압도적으로 안전한 선택이기 때문이다.

단, 답변 거부는 단순히 텅 빈 화면이나 “Error 404” 같은 기계적인 메시지로 나타나서는 안 된다. 오라클이 트리거하는 ’표준 거부 프로토콜(Standard Refusal Protocol)’은 사용자가 다음 행동을 취할 수 있도록 구체적인 이유와 대안을 포함하는 투명한 UX 컴포넌트로 설계되어야 한다.

1. 3단계 거부(Refusal) 메시지 템플릿 설계

실패의 원인에 따라 오라클은 거절의 뉘앙스를 세분화하여 출력해야 한다. 시스템은 로직 실패 여부에 따라 미리 하드코딩된 세 가지 템플릿 중 하나를 렌더링하도록 강제된다.

  • Type A (Context Miss - 문서 부재): 검색기가 아예 관련 문서를 찾지 못한 경우

“제공해주신 질문에 관련된 문서를 사내 지식 베이스(최근 업데이트: 2024.10)에서 찾을 수 없습니다. 다루고자 하는 시스템이나 부서의 이름을 더 구체적으로 명시하여 다시 질문해 주시겠습니까?”

  • Type B (Faithfulness Violation - 충실성 위반): 문서는 찾았으나, LLM이 문서를 기반으로 확실한 논리적 정답을 도출하는 데 실패하여 오라클에 의해 폐기된 경우

“검색된 관련 문서를 확인했으나, 질문하신 구체적인 수치/조건에 대한 확정적인 답변을 도출하기에는 문서의 정보가 부족합니다. 임의의 답변 생성을 차단하였으니, 아래 검색된 원본 문서 링크 3개를 직접 확인해 주시기 바랍니다.”

  • Type C (Safety/Security Violation - 보안 위반): 질문이나 검색된 문서가 PII(개인정보)나 금지된 키워드를 포함하여 방화벽 오라클에 의해 강제 셧다운된 경우

“질문 내용이 보안 및 개인정보 보호 규정(Rule-D30)에 위배될 소지가 있어 답변 생성이 시스템에 의해 차단되었습니다.”

2. 대안 경로(Fallback Routing)의 의무적 제공

거부는 대화의 끝이 아니라 **다른 워크플로우로의 안전한 전환(Safe Hand-off)**이어야 한다. 오라클 시스템이 생성을 거부할 때, 인터페이스 단에는 반드시 다음 행동을 유도하는 ‘콜 투 액션(Call to Action)’ 스니펫(Snippet)이 동반되어야 한다.

  1. Ticket 발행 연동: “답변을 찾지 못했습니다” 밑에 즉시 Jira나 ServiceNow의 티켓을 생성할 수 있는 폼(Form)을 출력한다. 이때, 사용자가 입력했던 원본 질문과 오라클이 추적했던 검색 실패 로그(Search Logs)가 백그라운드에서 티켓 내용으로 자동 첨부되도록 만들어 관리자의 트러블슈팅 시간을 단축한다.
  2. Human-in-the-Loop 이관: 실시간 콜센터나 헬프데스크 환경이라면, 챗봇이 답변을 거부하는 즉시 실제 인간 상담원과의 라이브 채팅으로 세션을 이어주는 버튼을 노출한다.

3. 심리적 안전성(Psychological Safety)과 신뢰의 구축

표준 응답 프로토콜의 가장 큰 존재 이유는 시스템의 한계를 투명하게 공개하여 사용자의 신뢰(Trust)를 획득하는 것이다. AI가 유창하게 거짓말을 반복하면 사용자는 시스템 전체를 불신하게 되지만, “문서에 없어서 모르겠다“고 명확하고 건조하게 선을 긋는 챗봇은 역설적으로 그 챗봇이 대답하는 ’다른 정답들’에 대한 신뢰도를 기하급수적으로 높인다.

오라클의 Refusal 템플릿은 LLM이 생성하지 못하게 하드코딩(Hard-coding)된 불변의 텍스트(Immutable Text)로 관리되어야 하며, 이 차가운 기계적 침묵이야말로 엔터프라이즈 AI 시스템이 도달해야 할 결정론적 안정성의 궁극적인 증명이다.