3.4.4.2 키워드 포함(Keyword Inclusion) 여부를 통한 필수 정보 확인

3.4.4.2 키워드 포함(Keyword Inclusion) 여부를 통한 필수 정보 확인

자연어로 길게 작성된 텍스트를 검증할 때, 임베딩 벡터를 이용한 코사인 유사도(Cosine Similarity)는 문장의 ’전반적인 뉘앙스’를 평가하기에는 좋지만, **“법적으로 반드시 포함되어야 하는 단어”**가 누락되는 치명적인 결함을 잡아내는 데에는 한계가 있다.

이러한 상황에서 오라클 시스템을 가장 빠르고 강력하게 준(準)결정론적 구조로 끌어올리는 기법이 바로 ‘키워드 포함(Keyword Inclusion)’ 여부를 부울(Boolean) 논리로 검증하는 방식이다. 이는 자연어의 자유로움을 허용하면서도, 문장 속에 반드시 존재해야 하는 ’뼈대’를 강제하는 효율적인 검증 전략이다.

1. 필수 포함(Must-Have)과 절대 금지(Must-Not-Have) 키워드 덱(Deck) 설계

모든 자연어 생성 결과물은 그 목적에 따라 반드시 기재되어야 하는 필수 개념과, 언급되었을 때 비즈니스에 치명적인 타격을 입히는 금기어(Stop-words)가 존재한다.

오라클의 정답지는 이러한 키워드들을 배열(Array) 형태의 덱으로 묶어 선언한다.

  • 필수 포함 키워드 (Must-Have): 금융 투자 상품을 설명하는 챗봇이라면 ["원금", "손실", "위험", "투자자 책임"]과 같은 단어들이 반드시 응답 텍스트 평문(Plain Text) 내에 존재해야 한다.
  • 절대 금지 키워드 (Must-Not-Have): 반대로 수익률을 과장할 수 있는 ["무조건", "원금 보장", "확실한", "100%"] 등의 키워드가 하나라도 탐지될 경우, 오라클은 문장의 유려함과 상관없이 즉시 Fail을 선언하고 출력을 격리(Quarantine)해야 한다.

이러한 키워드 덱 검증은 O(N)의 단순한 선형 탐색(Linear Search)이나 아호-코라식(Aho-Corasick)과 같은 다중 패턴 매칭 알고리즘을 통해 수 밀리초 단위로 실행되므로, 값비싼 LLM-as-a-Judge를 가동하기 전의 ’1차 퀄리티 게이트(Quality Gate)’로 완벽하게 기능한다.

2. 논리 연산자(AND/OR)를 결합한 결정론적 유연성 확보

단순히 “리스트 안의 모든 단어가 있는가?“를 검증하는 것(AND 연산)은 자연어의 다양성을 지나치게 억압할 수 있다. 오라클은 유의어(Synonym)를 처리하기 위해 OR 연산을 AND와 결합한 다중 배열 검증 트리를 구축해야 한다.

정답지 내 키워드 설계의 모범 사례(Best Practice)는 다음과 같다:

{
  "must_have_groups": [
    ["원금", "투자금", "납입금"],  // OR Condition: 셋 중 하나만 있으면 통과
    ["손실", "마이너스", "위험"],   // OR Condition: 셋 중 하나만 있으면 통과
    ["책임"]                      // Mandatory AND Condition
  ]
}

오라클은 must_have_groups 내의 각 하위 배열 원소들에 대해서는 OR 연산을 수행하고, 배열 간에는 AND 연산을 수행하여 최종 Pass/Fail을 결정한다. 이 패턴을 도입하면, LLM이 “납입금에서 마이너스가 발생할 책임을 집니다” 라고 말을 변형시켜도 오라클은 이를 완벽한 정답으로 Pass 처리할 수 있으며, 불필요한 테스트 취성(Test Brittleness)을 극적으로 낮출 수 있다.

3. 원형 복원(Lemmatization) 전처리의 필수성

키워드 매칭의 가장 큰 약점은 조사가 발달한 한국어나 동사 변형이 심한 언어에서 발생한다. 정답지에 “위험“이라고 적어 두었는데 챗봇이 “위험성이”, “위험할 수” 라고 출력하면 단순 문자열 정규표현식(Regex) 매칭은 이를 False Negative(정답을 오답으로 판정) 처리해 버린다.

따라서 텍스트 내 키워드 포함 여부를 검증하기 전에, 파이프라인은 형태소 분석기(예: MeCab, KoNLPy)를 통해 LLM의 출력 텍스트를 어근과 어간 기반의 기본형(Lemmatization)으로 분리하는 전처리 과정(Preprocessing Pipeline)을 반드시 수행해야 한다.

AI의 능력이 고도화될수록 평문 응답의 길이는 점점 더 길어질 것이다. 문장이 방대해질수록 임베딩 벡터의 집중력은 희석되지만, 구체적으로 타겟팅된 ’결정론적 키워드 덱’은 그 긴 문장 속을 날카롭게 파고들어 비즈니스의 법적, 논리적 마지노선을 철통같이 수호해 낸다.