1.3 결정론적(Deterministic) 시스템 vs 확률적(Probabilistic) 시스템의 충돌

소프트웨어 엔지니어링의 패러다임이 Andrej Karpathy가 정의한 이른바 ’Software 2.0’으로 이행함에 따라, 개발 환경은 전례 없는 철학적, 기술적 분기점에 직면한다. 수십 년간 소프트웨어의 신뢰성을 지탱해 온 근간은 ’결정론적(Deterministic) 시스템’이다. 이는 입력값 A가 주어졌을 때 시스템 내부의 명시적인 로직을 거쳐 반드시 예측 가능한 결과 B를 산출한다는 원칙에 기반한다. 그러나 대규모 언어 모델(LLM)과 딥러닝으로 대표되는 ’확률적(Probabilistic) 시스템’의 부상은 이러한 확정적 인과관계를 근본적으로 뒤흔든다. 확률적 시스템은 고정된 규칙이 아니라 통계적 가능성과 가중치에 따라 결과를 생성하며, 동일한 입력에 대해서도 매번 미세하게 다른 응답을 내놓는 비결정론적 특성을 지닌다. 이 두 체계의 충돌은 단순한 기술적 충돌을 넘어, 소프트웨어의 설계, 검증, 그리고 보안의 정의 자체를 재정립할 것을 요구한다.

1. 소프트웨어 1.0과 2.0의 기술적 근간과 철학적 대립

전통적인 소프트웨어 개발 방식인 Software 1.0은 인간 프로그래머가 복잡한 비즈니스 로직을 C++, Java, Python 등의 언어로 직접 작성하는 과정이다. 여기에서 소스 코드는 시스템의 행동을 규정하는 엄격한 명령어의 집합이며, 모든 예외 상황은 if-then-else 문이나 try-catch 블록과 같은 결정론적 제어 흐름에 의해 관리된다. 이러한 시스템의 장점은 투명성과 감사 가능성(Auditability)에 있다. 버그가 발생하면 프로그래머는 실행 스택을 추적하여 논리적 오류가 발생한 지점을 정확히 짚어낼 수 있으며, 수정된 코드는 동일한 조건에서 다시는 같은 오류를 반복하지 않음을 보증할 수 있다.

반면, Software 2.0은 코드가 아니라 데이터로부터 시스템의 행동을 학습하는 패러다임이다. 이 체계에서 ’프로그래밍’은 최적화 알고리즘이 신경망의 수백만 개, 수천억 개의 가중치(Weights)를 찾아내도록 데이터셋을 큐레이션하고 마사지하는 행위로 치환된다. 신경망은 수학적으로는 행렬 곱셈과 활성화 함수(ReLU 등)의 연속적인 연산에 불과하지만, 그 내부에서 일어나는 추론 과정은 인간이 직관적으로 이해할 수 없는 블랙박스(Black-box) 형태를 띤다. 이러한 확률적 모델은 이미지 인식, 자연어 이해와 같이 규칙을 명시하기 어려운 복잡한 인지적 과업에서 압도적인 성능을 보이지만, 동시에 ’왜 그런 결과가 나왔는가’에 대한 확정적인 답변을 거부한다.

이러한 두 패러다임의 충돌은 엔지니어링 현장에서 심각한 ’신뢰의 격차’를 발생시킨다. 전통적인 엔지니어링 관점에서는 재현 불가능한 결과는 곧 결함이지만, 확률적 시스템에서는 가변성(Variability)이 곧 유연성과 창의성의 원천이 되기 때문이다. 최근 조사에 따르면, 62%의 전문 개발자가 AI 도구를 사용하고 있음에도 불구하고 AI 생성 코드의 정확성에 대한 신뢰도는 2024-2025년 사이 40%에서 29%로 하락했다. 이는 확률적 시스템의 모호함이 결정론적 안정성을 요구하는 실제 프로덕션 환경과 부딪히며 발생하는 전형적인 마찰 현상이다.

2. 비결정론적 특성이 야기하는 엔지니어링 위기와 오라클 문제

확률적 시스템의 도입은 소프트웨어 테스트의 핵심인 ‘오라클(Oracle)’ 개념에 근본적인 위기를 가져온다. 테스트 오라클이란 특정 입력에 대해 시스템이 산출한 결과가 올바른지 판단하는 메커니즘을 의미한다. 결정론적 소프트웨어에서는 기대 결과값이 명확히 존재하므로 assert output == expected와 같은 단순한 비교만으로도 자동화된 검증이 가능하다. 그러나 AI 모델이 생성한 텍스트, 코드, 분석 리포트는 정답이 하나로 고정되어 있지 않다.

이러한 ’오라클 문제(The Oracle Problem)’는 AI 기반 시스템의 신뢰성을 담보하기 어렵게 만드는 가장 큰 병목이다. Barr 등은 “The Oracle Problem in Software Testing: A Survey“에서 오라클 자동화가 전체 테스트 자동화를 가로막는 주요 장애물임을 지적했다. 특히 LLM의 경우, 온도(Temperature) 설정을 0으로 고정하더라도 하드웨어 아키텍처나 부동 소수점 연산의 미세한 차이로 인해 비결정론적 결과가 나올 수 있다는 사실이 밝혀지며 전통적인 테스트 기법의 한계를 드러냈다.

이러한 환경에서 엔지니어들은 소위 ’느낌적 코딩(Vibe Coding)’의 함정에 빠지기 쉽다. 이는 AI가 내놓은 결과가 그럴듯해 보인다는 주관적인 느낌에 의존하여 검증을 소홀히 하는 현상을 말한다. 하지만 비즈니스 크리티컬한 시스템에서 이러한 접근은 치명적인 기술 부채와 보안 위협을 초래한다. 예를 들어, 금융 거래 처리나 의료 진단 보조 시스템에서 확률적 시스템의 ’환각’은 단순한 오답을 넘어 법적 책임과 인명 사고로 이어질 수 있다. 따라서 확률적 시스템의 유연성을 수용하면서도 그 출력을 결정론적으로 검증할 수 있는 새로운 형태의 ‘오라클’ 설계가 절실해진다.

3. 뉴로-심볼릭(Neuro-Symbolic) 아키텍처: 충돌의 해법으로서의 하이브리드 모델

결정론적 로직과 확률적 추론의 충돌을 해결하기 위한 가장 유망한 접근법은 뉴로-심볼릭 AI(Neuro-Symbolic AI) 또는 하이브리드 아키텍처의 구축이다. 이는 인간의 직관과 언어적 유연성을 담당하는 신경망(Neural) 레이어와 논리적 규칙 및 지식 체계를 담당하는 기호(Symbolic) 레이어를 결합하는 방식이다.

이 구조에서 신경망 모델은 모호한 자연어 입력을 해석하고 의도를 추출하는 프런트엔드 역할을 수행하며, 추출된 데이터는 엄격한 규칙 기반 엔진(Symbolic Engine)에 전달되어 확정적인 비즈니스 로직에 따라 처리된다. 이러한 하이브리드 설계는 확률적 시스템의 강력한 인지 능력과 결정론적 시스템의 신뢰성을 동시에 확보할 수 있게 한다.

실제로 “A Neuro-Symbolic Framework for Ensuring Deterministic Reliability in AI-Assisted Structural Engineering: The SYNAPSE Architecture” 연구에서는 안전이 최우선인 구조 공학 분야에서 신경망의 ’직관’을 결정론적 외부 알고리즘의 ’엄밀함’으로 보완하는 NSAI 프레임워크를 제안했다. 이 시스템에서 LLM은 엔지니어의 비정형적인 요구사항을 해석하지만, 실제 하중 계산이나 구조적 안정성 판정은 물리 법칙이 프로그래밍된 결정론적 모듈이 수행한다. 이러한 구조를 통해 시스템은 공학적 요구사항인 재현성(Reproducibility)과 추적 가능성(Traceability)을 확보할 수 있다.

4. 실전 예제: 금융 및 의료 산업에서의 결정론적 오라클 활용

확률적 AI와 결정론적 비즈니스 로직이 가장 치열하게 충돌하는 분야는 금융과 의료 산업이다. 이들 산업에서는 ‘대략적으로 맞는’ 결과는 허용되지 않으며, 모든 결정에는 명확한 근거와 100%의 정확도가 요구된다.

4.1 금융 서비스: 채무 협상 및 사기 탐지 시스템

금융 분야의 하이브리드 시스템인 Moveo.ai는 채무 협상 챗봇에서 두 시스템의 충돌을 우아하게 해결한다. 고객이 “상황이 어려워 이번 달 이자를 감면해달라“고 말할 때, 확률적 AI는 고객의 감정과 의도를 파악하여 공감적인 언어로 응답을 준비한다. 그러나 실제 이자 감면이나 분할 납부 계획의 수립은 결정론적 오라클인 은행의 정책 엔진(Rules Engine)과 CRM 시스템을 통해 수행된다.

만약 AI가 독자적으로 “네, 이자를 모두 면제해 드리겠습니다“라고 답변한다면 이는 금융 사고가 된다. 따라서 시스템은 AI가 생성한 응답 초안을 결정론적 가드레일에 통과시켜, “이 고객은 해당 정책의 대상인가?“를 확정적으로 확인한 후에야 최종 답변을 사용자에게 전달한다. JPMorgan의 COiN 시스템 역시 수천 시간의 법률 문서 검토를 자동화하면서, AI가 플래그를 세운 변동 사항을 결정론적 규정집과 대조하여 최종 승인하는 프로세스를 거친다.

4.2 의료 데이터 분석: 신경망의 추출과 기호의 검증

의료 분야에서도 유사한 패턴이 발견된다. 연구에 따르면 GPT-4 단독으로는 의료 리포트 분석에서 F1 스코어 0.63~0.95 정도의 성능을 보였으나, 이를 규칙 기반의 기호 AI와 결합한 뉴로-심볼릭 시스템은 1.00에 가까운 정확도를 달성했다. 신경망은 의사의 자유 형식 리포트에서 후보 사실들을 추출하고, 기호 AI는 이를 의학적 온톨로지와 규칙에 대조하여 논리적 모순이 없는지 검증한다. 이 과정에서 결정론적 오라클은 환자의 안전을 위협할 수 있는 AI의 미세한 환각을 걸러내는 마지막 방어선 역할을 수행한다.

5. 품질 보증의 새로운 지평: 골든 데이터셋과 RIG 아키텍처

확률적 시스템의 비결정론성을 통제하기 위해 엔지니어링 커뮤니티는 ’골든 데이터셋(Golden Dataset)’과 ’RIG(Repository Intelligence Graph)’와 같은 새로운 검증 도구를 도입하고 있다. 이는 전통적인 유닛 테스트의 개념을 확장하여, 대규모의 검증된 입출력 쌍을 통해 시스템의 성능 표면을 지속적으로 모니터링하는 방식이다.

골든 데이터셋은 전문가에 의해 승인된 최적의 응답 모음으로, 모델의 업데이트나 프롬프트의 변경이 발생할 때마다 시스템의 성능이 퇴보(Regression)하지 않았는지 확인하는 기준점이 된다. 단순히 문자열 일치 여부를 보는 것이 아니라, ‘근거성(Groundedness)’, ‘관련성(Relevance)’, ‘일관성(Coherence)’ 등의 다차원 지표를 통해 확률적으로 점수를 산출한다.

또한, 최근 발표된 “Repository Intelligence Graph (RIG)” 연구는 소프트웨어 리포지토리의 구조를 결정론적 그래프로 형상화하여 AI 에이전트에게 제공함으로써, 에이전트가 확률적 추측에 의존하지 않고 실제 코드 구조를 정확히 파악할 수 있도록 돕는다. SPADE라 불리는 결정론적 추출 도구는 빌드 아티팩트와 테스트 정의로부터 RIG를 구축하며, 이를 통해 에이전트의 작업 정확도를 12.2% 향상시키고 작업 시간을 53.9% 단축시키는 성과를 보였다. 이는 확률적 지능이 활약할 수 있도록 결정론적 정보의 토대를 견고히 구축하는 것이 현대 소프트웨어 개발의 핵심임을 시사한다.

6. 비결정론적 시스템을 위한 보안 및 규제 준수 가드레일

확률적 시스템의 확산은 보안 영역에서도 결정론적 통제의 필요성을 부각시킨다. AI 모델은 ’프롬프트 인젝션’이나 ‘데이터 오염’ 공격에 취약하며, 이는 시스템이 허용되지 않은 권한을 행사하거나 민감 정보를 유출하게 만드는 원인이 된다.

이러한 위협에 대응하기 위해 제안되는 ‘Truth Anchoring Network (TAN)’ 아키텍처는 모델의 응답이 외부로 나가기 전, 결정론적 온톨로지와 대조하여 기밀 유지나 안전 가이드라인 위반 여부를 확정적으로 판정한다. 만약 위반 사항이 발견되면 시스템은 모델의 출력을 차단(Block)하거나 사전 정의된 안전 메시지로 강제 대체한다. 이는 비결정론적 지능을 ’샌드박스’화하여 결정론적 보안 규칙의 통제 하에 두는 전략이다.

7. 소프트웨어Dependencies 2.0: 모델 중심 의존성 관리의 충돌

현대 소프트웨어 시스템은 이제 소스 코드뿐만 아니라 사전 학습된 모델(PTM)을 핵심 의존성으로 포함한다. 연구자들은 이를 ’Software Dependencies 2.0’이라 명명하며, 기존의 패키지 관리 체계와 학습된 행동(Learned Behavior) 사이의 충돌을 분석했다. Software 1.0의 라이브러리 의존성은 버전 번호와 API 명세에 따라 결정론적으로 관리되지만, 2.0의 모델 의존성은 데이터 분포의 변화나 하드웨어 환경에 따라 그 동작이 미묘하게 변할 수 있다.

이러한 의존성의 불확실성은 시스템의 유지보수 비용을 기하급수적으로 증가시킨다. 데이터의 변화에 따라 모델을 주기적으로 재학습시켜야 하며, 재학습된 모델이 기존 시스템의 다른 구성 요소들과 여전히 정합성을 유지하는지 확인하는 과정은 대단히 복잡하다. 오픈 소스 프로젝트들의 사례 조사에 따르면, 다중 모델 재사용(Multi-PTM reuse)은 흔한 현상이지만(52.6%), 모델 간의 상호작용과 의존성 선언은 파편화되어 있어 유지보수의 사각지대를 형성하고 있다. 이를 해결하기 위해서는 모델을 1급 시민(First-class citizen)으로 대우하고, 그 동작 특성을 결정론적으로 기술할 수 있는 메타데이터 표준화가 필수적이다.

8. 소프트웨어 공학의 새로운 균형: 확률과 결정론의 공존

결정론적 시스템과 확률적 시스템의 충돌은 어느 한 쪽의 소멸로 끝나지 않는다. 오히려 이 두 체계가 서로의 단점을 보완하며 융합되는 과정이 현대 소프트웨어 공학의 진화 방향이다. Karpathy가 예견한 Software 2.0으로의 전환은 프로그래밍의 종말이 아니라, 프로그래밍의 대상이 ’명령어’에서 ’환경과 오라클’로 이동하는 과정이다.

앞으로의 개발자는 유연한 확률적 엔진을 설계함과 동시에, 그 엔진이 딛고 서 있을 견고한 결정론적 지지대를 구축하는 데 더 많은 시간을 할애하게 될 것이다. 실전 예제에서 살펴본 것처럼, 금융의 정확성과 AI의 언어 능력을 결합한 하이브리드 모델은 이미 현실적인 성과를 거두고 있다. 결국 소프트웨어의 신뢰성은 AI 모델의 지능 자체에서 오는 것이 아니라, 그 지능을 검증하고 통제하며 정답으로 이끄는 결정론적 오라클의 정교함에서 비롯된다.

이러한 통찰은 ’오라클 문제’가 더 이상 테스트 영역에만 머물지 않고, 아키텍처 설계와 프로덕션 운영의 중심 과제가 되었음을 보여준다. 확률적 모델의 불확실성을 상쇄하기 위한 결정론적 정답지의 설계는 AI 소프트웨어의 신뢰성을 극대화하기 위한 가장 강력한 공학적 도구가 될 것이다. 엔지니어링의 본질은 통제할 수 없는 것을 통제 가능한 영역으로 가져오는 과정이며, AI 시대의 소프트웨어 공학 역시 확률의 파도를 결정론의 닻으로 다스리는 지혜를 요구한다.

9. 메타모픽 관계를 통한 확률적 모델의 결정론적 검증 기법

확률적 시스템, 특히 분류(Classification) 알고리즘이나 RL(강화학습) 모델의 무결성을 검증하기 위해 도입되는 구체적인 기법 중 하나는 메타모픽 테스팅(Metamorphic Testing)이다. 이는 정답을 미리 알 수 없는 상황에서도 입력값 간의 관계를 정의함으로써 시스템의 논리적 결함을 찾아내는 방식이다.

“Testing Implementations of Machine Learning Algorithms” 연구에 따르면, 다음과 같은 결정론적 메타모픽 관계(Metamorphic Relations, MRs)를 통해 확률적 모델의 오작동을 효과적으로 탐지할 수 있다.

이러한 관계들은 확률적 모델 내부의 가중치가 어떻게 변하더라도 반드시 지켜져야 하는 ’결정론적 물리 법칙’과 같다. 이를 검증하는 테스트 오라클을 구축함으로써, 개발자는 모델의 블랙박스적 특성에도 불구하고 그 동작의 일관성과 논리적 건전성을 확정적으로 증명할 수 있다.

강화학습(RL) 소프트웨어의 경우, Lyapunov 안정성 제어 이론을 기반으로 한 오라클(LPEA)을 사용하여 시스템의 안전성을 검증하기도 한다. 이는 에이전트가 학습 과정에서 물리적으로 안정적인 상태를 유지하는지 수학적으로 판정하며, 실험 결과 인간 전문가 오라클보다 정확도와 정밀도 면에서 각각 53.6%, 50% 향상된 성능을 보였다. 이는 확률적 학습 과정조차도 엄격한 수학적, 물리적 결정론의 틀 안에서 검증될 수 있음을 보여주는 사례이다.

결국 결정론적 시스템과 확률적 시스템의 충돌은 더 높은 차원의 ’융합 엔지니어링’으로 나아가기 위한 촉매제이다. AI가 생성하는 결과의 가변성을 억제하려 하기보다는, 그 가변성이 비즈니스의 경계를 침범할 때 이를 잡아낼 수 있는 강력한 ’오라클’을 설계하는 것이 Software 2.0 시대를 살아가는 엔지니어의 숙명이다. 확률적 지능의 유연함과 결정론적 논리의 단단함이 만나는 지점에서, 우리는 비로소 ’신뢰할 수 있는 AI 소프트웨어’라는 새로운 프로덕트의 형태를 완성할 수 있다.

10. 참고 자료

1. Software 2.0. I sometimes see people refer to neural… | by Andrej …, https://karpathy.medium.com/software-2-0-a64152b37c35
2. Probabilistic and Deterministic Results in AI Systems - Gaine, https://www.gaine.com/blog/probabilistic-and-deterministic-results-in-ai-systems
3. Deterministic AI vs. Probabilistic AI: Scaling Securely - Moveo.AI, https://moveo.ai/blog/deterministic-ai-vs-probabilistic-ai
4. arXiv:2503.00481v1 [cs.SE] 1 Mar 2025, https://arxiv.org/pdf/2503.00481
5. Andrej Karpathy: Software Is Changing (Again) - The Singju Post, https://singjupost.com/andrej-karpathy-software-is-changing-again/
6. AI Product Development Challenge: High-Stakes Dynamicss, https://smartdev.com/ai-product-development-challenges-high-stakes-dynamics/
7. From Software 1 2 | PDF | System | Artificial Intelligence - Scribd, https://www.scribd.com/document/982861576/From-Software-1-2
8. [N] Software 2.0 - Andrej Karpathy : r/MachineLearning - Reddit, https://www.reddit.com/r/MachineLearning/comments/7cdov2/n_software_20_andrej_karpathy/
9. A Neuro-Symbolic Framework for Ensuring Deterministic Reliability, https://www.mdpi.com/2075-5309/16/3/534
10. Deterministic vs Probabilistic AI: Why Modern Models Lack, https://www.geeksforgeeks.org/artificial-intelligence/ai-for-geeks-week2/
11. The Basics of Probabilistic vs. Deterministic AI: What You Need to, https://www.dpadvisors.ca/post/the-basics-of-probabilistic-vs-deterministic-ai-what-you-need-to-know
12. Deterministic AI for Predictable Coding | Augment Code, https://www.augmentcode.com/guides/deterministic-ai-for-predictable-coding
13. Generative ai qe: insights from testing Sumo Logic mo copilot, https://www.sumologic.com/blog/gen-ai-qe-testing-mo-copilot
14. Testing & QA for agentic systems - Machine Learning Architects Basel, https://ml-architects.ch/blog_posts/testing_qa_ai_eingineering.html
15. Deterministic Execution as a Superior AI Substrate - Medium, https://medium.com/@rdo.anderson/deterministic-execution-as-a-superior-ai-substrate-22dc4a8d2b51
16. A Survey on Test Oracles - Open Journal Systems, https://revista.univem.edu.br/jadi/article/download/1034/393/0
17. The Oracle Problem in Software Testing: A Survey, http://www0.cs.ucl.ac.uk/staff/m.harman/tse-oracle.pdf
18. (PDF) The Oracle Problem in Software Testing: A Survey, https://www.researchgate.net/publication/276255185_The_Oracle_Problem_in_Software_Testing_A_Survey
19. A Comprehensive Survey of Trends in Oracles for Software Testing, https://philmcminn.com/publications/harman2013.pdf
20. Evaluating Generative AI: A Field Manual - Palantir Blog, https://blog.palantir.com/evaluating-generative-ai-a-field-manual-0cdaf574a9e1
21. The Oracle Problem in Software Testing: A Survey - Earl Barr, https://earlbarr.com/publications/testoracles.pdf
22. Andrej Karpathy’s Software is Changing (Again) summarized - Medium, https://medium.com/data-science-in-your-pocket/software-is-changing-again-96b05c4af061
23. Neuro-symbolic AI for auditable cognitive information extraction from, https://pmc.ncbi.nlm.nih.gov/articles/PMC12638795/
24. Beyond RAG: Solving “Compliance Hallucinations” with Gemini, https://medium.com/google-cloud/beyond-rag-solving-compliance-hallucinations-with-gemini-neuro-symbolic-ai-b48fcd2f431f
25. Top 10 security architecture patterns for LLM applications - Red Hat, https://www.redhat.com/en/blog/top-10-security-architecture-patterns-llm-applications
26. Design Patterns for Agentic AI and Multi-Agent Systems, https://appstekcorp.com/blog/design-patterns-for-agentic-ai-and-multi-agent-systems/
27. How to Use LLMs for Financial Data Analysis - Daloopa, https://daloopa.com/blog/analyst-best-practices/practical-guide-using-llms-to-supercharge-your-financial-data-analysis
28. New Report: The Architectural Patterns of Financial AI - Gradient Flow, https://gradientflow.com/new-report-the-architectural-patterns-of-financial-ai-2/
29. Deterministic Architectural Map for LLM Code Assistants - arXiv, https://www.arxiv.org/pdf/2601.10112
30. Golden Datasets for GenAI Testing: Building Reliable AI Benchmarks, https://www.techment.com/blogs/golden-datasets-for-genai-testing/
31. The path to a golden dataset, or how to evaluate your RAG? - Medium, https://medium.com/data-science-at-microsoft/the-path-to-a-golden-dataset-or-how-to-evaluate-your-rag-045e23d1f13f
32. Deterministic AI Orchestration: A Platform Architecture … - Praetorian, https://www.praetorian.com/blog/deterministic-ai-orchestration-a-platform-architecture-for-autonomous-development/
33. Software Dependencies 2.0: An Empirical Study of Reuse … - arXiv, https://arxiv.org/pdf/2509.06085
34. Software Dependencies 2.0: An Empirical Study of Reuse and, https://arxiv.org/html/2509.06085v1
35. Understanding Software-2.0: A Study of Machine Learning library, https://ir.library.oregonstate.edu/downloads/ws859n837?locale=en
36. Testing and Validating Machine Learning Classifiers by … - PMC - NIH, https://pmc.ncbi.nlm.nih.gov/articles/PMC3082144/
37. A Test Oracle for Reinforcement Learning Software based on, https://ira.lib.polyu.edu.hk/bitstream/10397/114195/1/Zhang_Test_Oracle_Reinforcement.pdf
38. Test Maintenance for Machine Learning Systems: A Case Study in, https://research.chalmers.se/publication/536373/file/536373_Fulltext.pdf