12.4.4 부동 소수점(Floating Point) 비교를 위한 허용 오차(Tolerance) 설정
최고 수준의 오라클을 지탱하는 실행 기반(Execution-based) 채점 파이프라인이 일반적인 텍스트(String)나 정수(Integer) 블록을 비교할 때는 ’완전 일치(Exact Match, A == B)’라는 무자비하게 엄격한 잣대를 들이대어도 시스템 아키텍처는 결코 무너지지 않는다. 하지만 정답 쿼리가 추출해야 하는 최종 텐서 값이 IEEE 754 기술 표준을 따르는 ‘부동 소수점(Floating Point)’ 계산의 영역으로 진입하는 순간, 이 순진하고 무결했던 등호(==) 판별 로직은 데이터베이스 엔진과 파이썬 인터프리터, 그리고 C 라이브러리 간의 미세한 비트(Bit) 해석 단차로 인해 수만 건의 벤치마크를 모조리 실패로 몰아넣는 대재앙을 일으키고 만다.
1. 무한 소수 분수 연산과 라운딩 오차(Rounding Error)의 필연성
거대한 금융 데이터베이스를 대상으로 “전사 영업팀 직원의 10년 치 평균 급여와 분산을 소수점 아래까지 정확히 계산해 줘“라는 자연어 프롬프트를 주입했다고 실험해 보자.
정답 쿼리(golden_sql)를 수신하고 C언어 레벨에서 계산을 돌린 PostgreSQL 엔진은 무한 소수로 이어지는 분수 연산의 꼬리를 끊어내며 3333.3333333333334라는 결과 텐서 스칼라 값을 반환했다. 한편, 논리적으로 한 치의 결함도 없는 완벽한 동등 쿼리(predicted_sql)를 작성한 AI의 코드를 실행한 뒤, 그 텐서 결과를 파이썬의 pandas나 numpy 커넥터가 넘겨받는 과정에서 메모리 최적화를 거치게 되면 이 미세한 값은 3333.333333333333으로 미세하게 절삭(Truncation)되거나 반올림(Rounding)되어 반환될 확률이 지극히 높다.
비즈니스 기획자와 데이터 과학자의 도메인 로직(Domain Logic) 관점에서 볼 때 이 두 값은 완벽하게 100% 동일한 정답이다. 그러나 앞선 섹션들의 늪을 통과하며 이들을 엄격한 문자열(String Force)로 캐스팅해 버린 오라클의 단순 판별 엔진은 \'3333.3333333333334\' != \'3333.333333333333\'로 인식하여, 가장 위대한 쿼리를 도출해 낸 AI 모델에게 가차 없이 억울한 오답(False Negative) 판정을 내려버리는 끔찍한 오판을 저지르게 된다. 즉, 오라클 시스템에서 부동 소수점의 미세한 자릿수 오차는 AI 모델의 수학적 추론 능력이 부족해서 생기는 결함이 아니라, 컴퓨팅 하드웨어와 드라이버의 태생적 스펙 한계로 인해 발생하는 불가항력적인 노이즈(Noise)인 것이다.
2. 엡실론(Epsilon) 허용 오차(Tolerance) 대수학의 의무적 도입
이러한 부동 소수점의 태생적 이산 오차를 소프트웨어 공학적으로 부드럽고 우아하게 흡수하기 위해, 오라클 비교 판별기(Comparator) 내부에는 두 텐서를 대조하는 순간 엡실론(Epsilon, \epsilon) 허용 오차(Tolerance) 검증 통제망이 반드시 선행 조건으로 구현되어 있어야만 한다.
판별기는 두 스칼라(Scalar) 텍스트 값 A와 B를 대조할 때 즉각 문자열 매핑을 돌리지 않고, 먼저 이들이 부동 소수점으로 무사히 캐스팅이 가능한지 예외처리 구조(try-except float())를 통해 찔러본다. 만약 두 값 모두 소수점 캐스팅에 무사히 성공했다면, 시스템은 단순하고 멍청한 이항 등호(A == B) 연산을 즉각 폐기하고, 다음의 미적분학적 오차 수용 공식을 파이프라인에 가동시킨다.
\vert A - B \vert \le \epsilon
여기서 허용 오차의 절대 상계인 엡실론(\epsilon)은, 벤치마크를 돌리는 해당 엔터프라이즈 환경에서 비즈니스 판단의 진위를 뒤집지 않는 매우 안전한 유효숫자 경계치인 1e-5 (0.00001) 또는 1e-3 수준으로 인프라 설정 파일에 하드코딩(Hardcoding)된다.
정규화 및 비교를 파이썬 생태계로 구축할 경우, 이 강력하고 까다로운 허용 오차 비교를 매번 수작업으로 구현할 필요 없이 내장된 수학 표준 모듈인 math.isclose(A, B, rel_tol=1e-5, abs_tol=1e-8) 함수를 래핑(Wrapping) 호출하여 대수학적 판단을 위임하는 것이 가장 안전한 베스트 프랙티스(Best Practice)다.
이 수학적 허용 오차 공식을 통과하는 순간, 3333.33334와 3333.33333은 비로소 컴퓨터 공학적 차이를 뛰어넘어 동일한 의미론적 동등성을 인정받게 되며, AI 모델은 부당했던 0점 기각(False Negative)의 지옥에서 벗어나 위대한 1점(True Set)의 인프라적 승리를 거머쥐게 된다.