1.5.1 금융 및 법률 분야에서의 규제 준수(Compliance) 위반 리스크

소프트웨어 엔지니어링의 패러다임이 결정론적 로직 기반의 1.0 체계에서 확률적 추론 기반의 2.0 체계로 전환됨에 따라, 금융과 법률이라는 초고위험 규제 산업군은 전례 없는 기술적 부채와 법적 리스크에 직면한다. 기존의 소프트웨어가 ’A를 입력하면 반드시 B가 나온다’는 예측 가능성을 담보했다면, 거대언어모델(LLM)을 포함한 생성형 AI는 ’A를 입력하면 확률적으로 B와 유사한 무엇인가가 나온다’는 비결정성(Nondeterminism)을 본질로 한다. 이러한 기술적 특성은 엄격한 절차적 정당성과 수치적 정확성을 요구하는 규제 준수(Compliance) 환경에서 치명적인 결함으로 작용한다. 특히 금융 산업에서의 불완전 판매 리스크와 법률 산업에서의 전문직 윤리 위반 리스크는 단순한 기술적 오류를 넘어 기업의 존립을 위협하는 징벌적 과징금과 면허 취소라는 극단적인 결과로 이어질 수 있다.

1. 글로벌 규제 지형의 변화와 고위험 AI의 정의

유럽연합(EU)의 AI 법(AI Act)은 인공지능 시스템이 사회에 미치는 위험도를 기반으로 규제 수준을 차등화하며, 금융과 법률 분야의 상당수 사례를 ’고위험(High-Risk)’군으로 분류한다. 고위험 AI 시스템으로 분류된 기술은 시장 출시 전부터 생애주기 전반에 걸쳐 엄격한 데이터 거버넌스, 투명성, 인간의 감독(Human oversight) 의무를 부여받는다.

금융 섹터가 고위험군으로 분류된 배경에는 AI 시스템이 개인의 경제적 생존권에 직결되는 신용 의사결정이나 고객 프로파일링에 결정적인 영향을 미치기 때문이다. 이 과정에서 발생하는 비결정적 오류는 단순히 서비스 품질의 저하가 아니라, 특정 인종이나 성별에 대한 차별적 결과를 초래하여 EU AI Act 위반으로 이어진다. 위반 시에는 최대 3,500만 유로 또는 전 세계 연간 매출액의 7% 중 높은 금액이 과징금으로 부과될 수 있는 강력한 처벌 조항이 존재한다.

2. 금융 산업에서의 비결정성이 야기하는 구체적 위협

금융 서비스에서 생성형 AI의 도입은 상담의 효율성을 높이지만, 모델이 확률적으로 ’그럴듯한 오답’을 내놓는 할루시네이션(Hallucination)은 금융소비자보호법상 설명 의무 위반의 핵심 원인이 된다. 과거의 규칙 기반(Rule-based) 시스템은 특정 상품을 추천한 로직을 코드를 통해 역추적할 수 있었으나, LLM 기반의 시스템은 동일한 고객 데이터에 대해서도 매번 다른 조언을 제공할 가능성을 배제할 수 없다.

2.1 불완전 판매와 설명 의무의 충돌

한국의 금융소비자보호법 제19조는 금융회사가 상품 판매 시 소비자가 주요 내용을 이해할 수 있도록 설명할 의무를 부과한다. AI가 비결정적인 특성으로 인해 약관과 다른 혜택을 언급하거나 위험성을 누락하여 답변할 경우, 이는 즉각적으로 불완전 판매로 간주된다. 특히 ’AIVS(AI Video Solution)’와 같은 기술을 통해 상담 녹취를 분석하고 불완전 판매를 검출하려는 시도가 늘고 있으나, 생성 단계에서의 비결정성을 제어하지 못하면 사후 검출만으로는 규제 리스크를 완전히 해소할 수 없다.

금융 기관이 직면한 또 다른 문제는 ’FPP(Final Product Provider) 책임 원칙’이다. 비금융 플랫폼이 금융 상품을 중개하거나 AI 상담을 제공하더라도, 최종적인 소비자 손실에 대한 배상 책임은 인프라를 제공한 금융사나 서비스 운영자에게 귀속될 가능성이 크다. 이는 AI의 오판단에 대한 책임 소재가 개발자와 모델 제공자 사이에서 불분명해지는 상황에서도 금융 기관이 일차적인 방어선이 되어야 함을 시사한다.

2.2 시스템적 리스크와 시장 안정성 저해

유럽 시스템리스크 이원회(ESRB)의 2025년 보고서인 AI and Systemic Risk에 따르면, AI의 비결정성과 모델 균질화(Model Uniformity)는 금융 시스템 전체의 안정성을 위협하는 새로운 요인이다. 다수의 금융 기관이 소수의 거대 모델(예: GPT-4, Claude 3.5)에 의존하여 자산 운용이나 리스크 관리를 수행할 경우, 시장의 예기치 못한 변동 상황(Tail Event)에서 AI들이 동시다발적으로 비결정적 오류를 일으키거나 동일한 매도 신호를 보낼 수 있다.

3. 법률 산업에서의 할루시네이션과 직무 윤리 붕괴

법률 분야에서 AI의 비결정성은 변호사의 전문직 윤리와 직결된다. 변호사는 의뢰인에게 정확한 법률 조언을 제공하고 법원을 기망하지 않을 의무가 있다. 그러나 LLM의 통계적 패턴 인식 기술은 실제 법령과 판례의 존재 여부와 관계없이 문맥상 자연스러운 문장을 생성하려는 경향이 있어, 존재하지 않는 판례를 인용하는 치명적인 결과를 낳는다.

3.1 기술적 숙련 의무와 실전 사례 분석

미국 변호사 협회(ABA)의 모범 규칙 제1.1조(Model Rule 1.1)는 변호사가 ’유능한 변호(Competent Representation)’를 제공할 의무가 있음을 명시하며, 이를 위해 최신 기술의 혜택과 위험을 이해할 것을 요구한다. 이 원칙은 Lawyer and Judicial Competency in the Era of Artificial Intelligence: Ethical Requirements for Documenting Datasets and Machine Learning Models와 같은 논문에서도 강조되듯, AI를 사용하는 변호사가 그 내부의 비결정적 메커니즘을 이해하지 못한 채 결과를 수용하는 것을 윤리적 태만으로 규정한다.

실제로 Mata v. Avianca, Inc. 사건에서 보듯, ChatGPT를 사용하여 작성된 준비서면에 허위 판례가 포함되어 변호사들이 법원으로부터 제재를 받은 사례는 비결정적 시스템을 법률 실무에 무비판적으로 도입했을 때의 참혹한 대가를 보여준다. 연구 결과에 따르면 법률 특화 AI인 Lexis+ AI나 Westlaw AI-Assisted Research조차 17%에서 33%의 확률로 할루시네이션을 일으킨다는 점은, AI가 결코 단독으로 법적 의사결정을 내려서는 안 된다는 점을 시사한다.

3.2 기밀 유지 및 데이터 프라이버시 리스크

변호사의 또 다른 핵심 의무는 의뢰인과의 비밀 유지(Attorney-Client Privilege)이다. 생성형 AI 시스템에 의뢰인의 구체적인 사건 정보를 입력할 경우, 해당 정보가 모델의 학습 데이터로 활용되거나 다른 사용자의 응답에 노출될 위험이 존재한다. 비결정적 모델은 특정 조건에서 학습 데이터의 일부를 그대로 출력하는 ‘기억(Memorization)’ 현상을 보이기도 하는데, 이는 의뢰인의 사회보장번호나 전략적 자산 정보가 유출되는 통로가 될 수 있다.

4. 비결정성의 기술적 근원: 왜 규제 준수가 어려운가

금융과 법률 분야에서 AI의 비결정성을 통제하기 어려운 이유는 그 근원이 하드웨어와 소프트웨어의 복합적인 계층에 걸쳐 있기 때문이다. 단순히 ’온도(Temperature)’를 0으로 설정한다고 해서 시스템이 결정론적으로 변하지 않는다는 점이 가장 큰 문제이다.

4.1 부동 소수점 연산과 하드웨어 가속의 한계

디지털 컴퓨터에서 부동 소수점 연산은 결합 법칙이 성립하지 않는다. (a + b) + c \neq a + (b + c) 라는 수학적 불일치는 미세한 소수점 이하의 오차를 발생시키며, 수천억 개의 파라미터를 거치는 LLM의 추론 과정에서 이 오차는 증폭되어 최종 토큰(단어) 선택을 바꾼다. 특히 GPU의 병렬 처리 특성상 연산 순서가 매번 미세하게 달라질 수 있으며, 이는 동일한 입력에 대해 비결정적인 결과를 낳는 물리적 원인이 된다.

4.2 배치 변동성(Batch Invariance)의 문제

최근 Defeating Nondeterminism in LLM Inference 연구에서 밝혀진 바에 따르면, 서버의 부하를 줄이기 위해 여러 사용자의 요청을 묶어서 처리하는 ‘배칭(Batching)’ 과정이 비결정성의 핵심 원인이다. 서버 부하 상황에 따라 배치 사이즈가 달라지면, 행렬 연산 최적화 전략(예: Split-K, FlashDecoding)이 변경되고, 이로 인해 연산 결과에 미세한 차이가 발생한다. 이는 금융 당국이 요구하는 ’감사 추적(Audit Trail)’이나 ’결과의 재현 가능성’을 근본적으로 차단하는 요소이다.

5. 결정론적 오라클을 통한 규제 리스크 완화 전략

AI의 비결정성이 야기하는 규제 위반을 막기 위해서는 확률적 시스템의 외곽에 결정론적인 검증 체계인 ’오라클(Oracle)’을 구축해야 한다. 이는 AI가 내놓은 답이 사전에 정의된 ’정답지(Ground Truth)’와 일치하는지, 혹은 법적 제약 조건을 위반하지 않는지를 독립적으로 판단하는 메커니즘을 의미한다.

5.1 구조화된 출력(Structured Outputs)과 스키마 검증

금융 거래나 법률 문서 추출에서 AI가 자유로운 텍스트 형식으로 답변하게 두는 것은 규제 관점에서 매우 위험하다. 대신 JSON Schema와 같은 기술을 사용하여 출력을 강제하고, 정의된 필드에 정확한 데이터 유형이 입력되었는지 결정론적으로 검증해야 한다. 이는 The EU AI Act Is Now in Force: Are Your Tech Providers Ready to Comply?에서 강조하는 ’추적 가능성(Traceability)’과 ’문서화 의무’를 수행하는 가장 효과적인 방법이다.

5.2 LLM-as-a-Judge와 하이브리드 검증

하나의 AI 모델이 내린 판단을 다른 모델이 검증하게 하거나, 규칙 기반 시스템(Rule Engine)과 결합하는 하이브리드 방식이 대안으로 제시된다. 예를 들어, 대출 승인 여부를 AI가 제안하면, 결정론적 규칙 엔진이 해당 제안이 은행의 내부 규정이나 자본시장법상의 금지 문구를 포함하고 있는지 확인하는 식이다. 이는 ESMA Turing Report가 제안하는 ’인간 중심의 AI(Human-centric AI)’를 기술적으로 구현하는 방식이기도 하다.

5.3 알고리즘 책임성(Algorithmic Accountability) 프레임워크

규제 준수 리스크를 관리하기 위해 기업은 Algorithmic Accountability for the Public Sector 보고서가 제안하는 책임성 프레임워크를 도입해야 한다. 이는 알고리즘의 편향성을 정기적으로 감사(Audit)하고, 비결정적 오류가 발생했을 때의 구제 절차를 마련하며, 데이터의 출처와 가공 과정을 투명하게 공개하는 것을 골자로 한다.

6. 결론: 비결정성 시대의 새로운 엔지니어링 표준

금융 및 법률 분야에서의 AI 규제 준수는 단순히 기술적인 선택의 문제가 아니라, 기업의 생존과 직결된 법적 의무이다. 비결정성이라는 LLM의 본질적 한계를 인정하되, 이를 통제할 수 있는 결정론적 안전장치를 다중 계층으로 구축하는 것이 소프트웨어 2.0 시대의 새로운 표준이 되어야 한다.

첫째, 금융 기관과 로펌은 자신이 사용하는 AI 모델의 ‘비결정적 드리프트(Probabilistic Drift)’ 범위를 명확히 측정하고, 이를 관리 가능한 수준으로 유지해야 한다. 둘째, 모든 AI 기반 의사결정 과정에는 인간 전문가가 개입할 수 있는 인터페이스와 최종 승인 절차가 설계되어야 한다. 셋째, 기술적으로는 배칭 변동성을 해결한 결정론적 추론 엔진이나 RAG 기반의 근거 제시 메커니즘을 적극 도입하여 할루시네이션 리스크를 최소화해야 한다.

결국 AI는 인간 전문가를 대체하는 것이 아니라 증강하는 도구로 남아야 하며, 그 과정에서 발생하는 모든 행위의 책임은 여전히 인간과 조직에 귀속된다는 ‘알고리즘 책임성’ 원칙을 잊어서는 안 된다. 규제는 기술 발전을 저해하는 걸림돌이 아니라, AI가 사회적 신뢰를 얻고 산업의 중심부로 진입하기 위해 반드시 통과해야 하는 검증대이다. 결정론적 오라클을 통한 신뢰성 확보만이 비결정성의 파고를 넘어 AI 기반 금융·법률 혁신을 완성하는 유일한 길이 될 것이다.

7. 참고 자료

1. EU AI Act: A New Regulatory Era for Banking AI Systems - Latinia, https://latinia.com/en/resources/the-eu-ai-act-is-now-in-force
2. EU AI Act: first regulation on artificial intelligence | Topics, https://www.europarl.europa.eu/topics/en/article/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence
3. High-level summary of the AI Act | EU Artificial Intelligence Act, https://artificialintelligenceact.eu/high-level-summary/
4. AI Transparency Requirements: Compliance and Implementation, https://gdprlocal.com/ai-transparency-requirements/
5. A guide to the EU AI Act | Protiviti US, https://www.protiviti.com/us-en/resource-guide/eu-ai-act-regulations-compliance-and-best-practices
6. AI Act | Shaping Europe’s digital future - European Union, https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
7. Leveraging Large Language Models in Finance: Pathways to …, https://www.esma.europa.eu/sites/default/files/2025-06/LLMs_in_finance_-_ILB_ESMA_Turing_Report.pdf
8. 「고난도 금융투자상품 불완전판매 예방 종합대책」(’25.2.27일 발표, https://www.fsc.go.kr/po010101/84921?srchCtgry=&curPage=&srchKey=&srchText=&srchBeginDt=&srchEndDt=
9. “애매한 원금보장 표현도 잡는다”…AI로 불완전판매 녹취탐지, https://news.einfomax.co.kr/news/articleView.html?idxno=4385044
10. 생성형 AI를 활용한 비즈니스의 현주소 - PwC, https://www.pwc.com/kr/ko/insights/samil-insight/samilpwc_ai-business-use-cases.pdf
11. 임베디드 금융서비스에서의 위험 분석과 규제 관련 시사점, https://www.kif.re.kr/kif4/publication/viewer?mid=15&vid=0&cno=357582&fcd=2026000159PX&ft=0&ism=1&email=[email]
12. 활용 지원 및 금융분야 AI 가이드라인 개정 - 법무법인 화우, https://www.hwawoo.com/kor/insights/newsletter/13483?currentPage=1
13. 인공지능(AI)의 발전에 따른 보험업 법제 정비 방향과 과제 - 보험연구원, https://www.kiri.or.kr/report/downloadFile.do?docId=56239
14. Advisory Scientific Committee No 16 / December 2025 - European …, https://www.esrb.europa.eu/pub/pdf/asc/esrb.ascreport202512_AIandsystemicrisk.en.pdf
15. Review into the long-term impact of AI on retail financial services …, https://www.fca.org.uk/publications/calls-input/review-long-term-impact-ai-retail-financial-services-mills-review
16. Harnessing the Power of Generative AI in Financial Services, https://www.aba.com/news-research/analysis-guides/harnessing-the-power-of-generative-ai-in-financial-services-compliance
17. Regulating AI in the financial sector: recent developments and main, https://www.bis.org/fsi/publ/insights63.pdf
18. AI Hallucinations—Understanding the Phenomenon and Its, https://www.coursera.org/articles/ai-hallucinations
19. Much Ado About Algorithms: A Practical Guide to Vetting AI Vendors, https://wlj.com/much-ado-about-algorithms-a-practical-guide-to-vetting-ai-vendors-for-your-law-practice/
20. Hallucination‐Free? Assessing the Reliability of … - Daniel E. Ho, https://dho.stanford.edu/wp-content/uploads/Legal_RAG_Hallucinations.pdf
21. Taking on the Ethical Obligation of Technology Competency in the, https://www.law.georgetown.edu/legal-ethics-journal/wp-content/uploads/sites/24/2023/03/GT-GJLE230001.pdf
22. Analyzing a Lawyer’s Ethical Obligation of Technological Competence, https://scholarship.law.uc.edu/cgi/viewcontent.cgi?article=1452&context=uclr
23. Lawyer and Judicial Competency in the Era of Artificial Intelligence, https://scholar.nycu.edu.tw/en/publications/lawyer-and-judicial-competency-in-the-era-of-artificial-intellige/
24. Ethical Obligations to Protect Client Data when Building Artificial, https://www.americanbar.org/groups/professional_responsibility/publications/professional_lawyer/27/1/ethical-obligations-protect-client-data-when-building-artificial-intelligence-tools-wigmore-meets-ai/
25. BENCHMARKING LLM SAFETY IN FINANCE, MEDICINE, AND LAW, https://openreview.net/pdf/2bde8cbeae70ac438c261af346a6f25640a30b12.pdf
26. What are the difficulties in implementing LLM in professional fields, https://www.tencentcloud.com/techpedia/101856
27. Thinking Machines by Mira Murati explains why LLMs give different …, https://medium.com/@levysoft/thinking-machines-by-mira-murati-explains-why-llms-give-different-answers-even-at-zero-temperature-099736f7ff74
28. Token Probabilities Expose Large Language Model Nondeterminism, https://arxiv.org/html/2601.06118v1
29. Algorithmic accountability for the public sector Executive summary, https://www.opengovpartnership.org/wp-content/uploads/2021/08/executive-summary-algorithmic-accountability.pdf
30. Ensuring Algorithmic Accountability: Harmonizing Data Privacy with, https://www.researchgate.net/publication/384998973_Ensuring_Algorithmic_Accountability_Harmonizing_Data_Privacy_with_Ethical_AI_Practices
31. AI Audit-Washing and Accountability - German Marshall Fund, https://www.gmfus.org/sites/default/files/2022-11/Goodman%20%26%20Trehu%20-%20Algorithmic%20Auditing%20-%20paper.pdf
32. BLEDiff: Scalable and Property-Agnostic Noncompliance Checking, https://par.nsf.gov/servlets/purl/10538907