Booil Jung

설명 가능한 인공지능(XAI)

인공지능(AI) 기술이 사회 전반에 걸쳐 빠르게 확산되고 그 영향력이 증대됨에 따라, AI 시스템의 의사결정 과정을 인간이 이해하고 신뢰할 수 있도록 만드는 것이 중요한 과제로 부상했다. 특히, 딥러닝과 같은 고도화된 머신러닝 모델들은 뛰어난 성능을 자랑하지만, 그 내부 작동 원리가 복잡하고 불투명하여 ‘블랙박스(Black Box)’라는 비판에 직면해왔다. 이러한 배경 속에서 설명 가능한 인공지능(Explainable AI, XAI)은 단순한 기술적 호기심을 넘어 사회적, 윤리적, 법적 요구에 부응하기 위한 필수적인 연구 분야로 자리매김하고 있다. 본 보고서는 XAI의 근본적인 필요성부터 핵심 기술론, 실제 산업 적용 사례, 그리고 학계의 최신 연구 동향에 이르기까지, XAI 분야 전반에 대한 포괄적이고 심층적인 분석을 제공하고자 한다.

1990년대 후반 인공신경망 연구가 부활하고, 2010년대에 들어 딥러닝 기술이 비약적으로 발전하면서 AI는 인간의 능력을 뛰어넘는 성능을 보이기 시작했다. 2016년 이세돌 9단과의 대국에서 승리한 알파고(AlphaGo)는 이러한 발전을 상징하는 대표적인 사례다.1 이러한 고성능 모델들은 방대한 양의 데이터로부터 스스로 규칙과 지식을 학습하는 방식으로 작동하며, 인간이 사전에 정의한 규칙 기반 전문가 시스템과는 근본적으로 다른 철학을 가진다.1

그러나 이러한 발전의 이면에는 ‘블랙박스 문제’가 존재한다. 모델의 성능이 높아지고 구조가 복잡해질수록, AI가 특정 결론에 도달한 이유나 과정을 인간이 직관적으로 이해하기 어려워지는 현상이다.2 수백만, 수십억 개의 파라미터로 구성된 심층 신경망(Deep Neural Network)의 결정 과정을 추적하고 해석하는 것은 사실상 불가능에 가깝다.2 이러한 불투명성은 AI 시스템에 대한 통제력, 책임성, 그리고 감사 가능성의 상실로 이어진다.4 만약 AI의 판단에 오류가 발생했을 때, 그 원인을 파악하고 수정하는 것이 어렵다면, 우리는 그저 AI의 결정을 맹목적으로 신뢰해야 하는 상황에 놓이게 된다.5

이러한 AI의 성공이 역설적으로 만들어낸 ‘투명성 부채(Transparency Debt)’는 AI 기술의 발전 속도와 인간의 이해 능력 사이의 간극을 보여준다. 모델의 성능과 자율성이 높아질수록, 그 결정 과정의 불투명성으로 인한 잠재적 리스크는 기하급수적으로 증가한다. 즉, AI의 성공 자체가 설명가능성에 대한 요구를 필연적으로 증대시키는 원동력이 된 것이다. 이 문제를 해결하기 위해 등장한 것이 바로 설명 가능한 인공지능(XAI)이다. XAI는 AI 시스템의 의사결정 과정을 인간이 이해할 수 있는 형태로 제시하는 기술 및 방법론의 총칭이다.1 XAI의 목표는 AI 모델이 ‘어떻게’ 그리고 ‘왜’ 그러한 결론을 도출했는지에 대한 증거와 추론 과정을 제공함으로써, 불투명한 블랙박스를 투명한 ‘유리상자(Glass Box)’로 만드는 데 있다.1

XAI가 추구하는 핵심 목표는 다음과 같이 요약될 수 있다.

• 신뢰와 확신 구축 (Trust and Confidence): 사용자가 AI의 판단을 신뢰하고 그 결과를 확신을 갖고 사용할 수 있도록 하는 것이 가장 중요한 목표다. AI의 결정 과정을 투명하게 보여줌으로써 사용자는 시스템의 강점과 약점을 파악하고, 언제 AI를 신뢰할 수 있는지 판단할 수 있게 된다.4
• 책임성 및 책임 소재 규명 (Accountability and Responsibility): AI 시스템이 잘못된 결정을 내렸을 때, 그 원인을 추적하고 책임 소재를 명확히 할 수 있는 근거를 제공한다. 이는 기술의 사회적 책임을 확보하는 데 필수적인 요소다.8
• 공정성 확보 및 편향 완화 (Fairness and Bias Mitigation): AI 모델은 학습 데이터에 내재된 편향을 그대로 학습하거나 증폭시킬 수 있다. XAI는 모델의 결정 과정에 어떤 데이터 특성이 영향을 미쳤는지 분석하여, 의도하지 않은 편향(예: 인종, 성별에 따른 차별)을 식별하고 이를 교정하는 데 도움을 준다.4
• 감사 및 디버깅 용이성 (Auditability and Debugging): 모델의 작동 방식을 이해할 수 있게 되면, 개발자는 시스템의 오류를 더 쉽게 찾아내고 수정할 수 있다. 또한, 규제 기관이나 내부 감사팀이 AI 시스템의 적절성을 평가하는 것을 용이하게 한다.4

결론적으로 XAI는 AI 기술의 신뢰성, 안전성, 공정성을 담보하고 사회적 수용성을 높이기 위한 핵심적인 기술 패러다임이라 할 수 있다.

XAI에 대한 요구는 단순히 기술적 완성도를 높이기 위한 학문적 논의에 그치지 않는다. AI의 결정이 인간의 삶에 중대한 영향을 미치는 고위험(High-Stakes) 분야에서 XAI는 선택이 아닌 필수가 되고 있으며, 전 세계적으로 이를 법제화하려는 움직임이 가속화되고 있다.

고위험 분야에서의 필수성

의료, 금융, 자율주행, 법률 등 인간의 생명, 재산, 기본권과 직결되는 분야에서는 AI의 결정 하나하나가 막대한 파급 효과를 낳는다.1 예를 들어, 의료 AI가 암 진단을 놓치거나(거짓 음성) 불필요한 침습적 치료를 권고(거짓 양성)하는 경우, 환자에게 치명적인 결과를 초래할 수 있다.7 금융 분야에서 AI의 대출 심사 모델이 특정 집단에 불리한 결정을 내린다면 이는 심각한 사회적 차별 문제로 비화될 수 있다. 자율주행차가 예기치 않은 사고를 일으켰을 때, 그 원인이 AI의 판단 오류인지, 센서의 문제인지, 혹은 외부 환경 요인 때문인지 명확히 설명할 수 없다면 책임 소재를 가릴 수 없게 된다.13 이처럼 결정의 결과가 중대한 분야일수록 “왜 그런 결정을 내렸는가?”에 대한 설명은 시스템의 안전성과 신뢰성을 보장하기 위한 최소한의 요구 조건이 된다.4

글로벌 규제의 강화

이러한 사회적 요구는 구체적인 법률 및 규제 프레임워크로 이어지고 있다. 특히 유럽연합(EU)은 이 분야에서 선도적인 역할을 하고 있다.

• EU 개인정보보호규정 (GDPR): 2018년부터 시행된 GDPR은 AI의 자동화된 의사결정에 대한 ‘설명 요구권(Right to Explanation)’의 개념을 제시하며 XAI 논의를 촉발시켰다.2 법학자들 사이에서 GDPR 제22조의 법적 구속력에 대한 해석 논쟁이 존재하기는 하지만 16, 제13-15조에 명시된 ‘관련된 논리에 대한 의미 있는 정보’를 제공할 의무와 비구속적 전문(Recital) 71의 명시적인 ‘설명 요구권’ 언급은 기업들에게 강력한 설명 책임의 압박으로 작용하고 있다.17 GDPR은 EU 시민의 데이터를 처리하는 모든 기업에 적용되며, 위반 시 전 세계 연간 매출의 최대 4% 또는 2천만 유로 중 더 높은 금액의 과징금이 부과될 수 있어 그 파급력이 막대하다.20
• EU AI 법 (AI Act): EU는 한 걸음 더 나아가 2024년 세계 최초의 포괄적인 AI 규제법인 AI 법을 통과시켰다.21 이 법은 AI 시스템을 위험 등급에 따라 분류하고, 고위험 AI 시스템에 대해서는 투명성, 데이터 거버넌스, 인간 감독 등 엄격한 의무를 부과한다. 특히, 사용자는 AI 시스템과 상호작용하고 있다는 사실을 인지할 권리와 자동화된 결정에 대해 설명을 요구할 권리를 보장받는다. 이는 XAI 기술이 규제 준수를 위한 핵심 요소임을 명백히 한 것이다.8 위반 시 벌금은 최대 3,500만 유로 또는 전 세계 연 매출의 7%에 달할 수 있다.21

이러한 규제 강화의 흐름은 EU에만 국한되지 않는다. 한국에서도 ‘AI 기본법’ 제정을 통해 AI 서비스 제공자가 이용자에게 AI의 의사결정 이유를 설명하도록 하는 의무를 부과하려는 움직임이 있으며 10, 중국과 일본 역시 개인정보보호법을 통해 정보 처리의 투명성과 설명 책임을 강조하고 있다.22

이처럼 전 세계적인 규제 동향은 GDPR의 특정 조항에 대한 법리적 해석 논쟁을 넘어서고 있다. 규제 당국은 법원의 최종 판결을 기다리지 않고, AI 투명성이라는 원칙을 직접적으로 강제하는 새로운 법률을 제정하며 ‘설명가능성’을 글로벌 표준으로 만들어가고 있다. 이는 기업들이 과거의 규정에 대한 소극적이고 법리적인 대응에서 벗어나, 미래의 강력한 투명성 요구에 선제적으로 대비해야 함을 시사한다.

윤리적 당위성

법적 강제를 떠나, XAI는 AI 윤리를 실현하는 핵심적인 도구다. AI 모델이 학습 데이터에 존재하는 사회적 편견(예: 특정 인종이나 성별에 대한 부정적 고정관념)을 학습하고 증폭시키는 것을 방지하기 위해서는 모델의 내부를 들여다볼 수 있어야 한다.11 XAI는 어떤 특성이 모델의 결정에 부당한 영향을 미치는지 식별하고, 이를 통해 개발자가 편향을 완화하고 보다 공정한 시스템을 구축하도록 돕는다.4 이는 단순히 기술적 문제를 해결하는 것을 넘어, AI가 사회에 긍정적인 영향을 미치도록 보장하는 윤리적 책무와 직결된다.

설명 가능한 인공지능(XAI) 분야는 다양한 목적과 접근 방식에 따라 수많은 기술들이 발전해왔다. 이 복잡한 기술 지형을 이해하기 위해서는 체계적인 분류 프레임워크가 필수적이다. XAI 방법론은 주로 설명의 범위(Scope), 모델 의존성(Model Dependency), 그리고 설명 시점(Timing)이라는 세 가지 기준으로 분류될 수 있다.6

XAI 기술들을 체계적으로 이해하기 위한 주요 분류 기준은 다음과 같다.

• 설명 범위 (Scope of Explanation): 지역적 설명 vs. 전역적 설명
  • 지역적 설명 (Local Explanation): 이 접근법은 모델이 내린 ‘개별 예측’ 하나에 초점을 맞춘다.6 즉, “왜 이 특정 환자의 의료 영상이 ‘악성 종양’으로 판독되었는가?” 또는 “왜 이 특정 대출 신청이 거절되었는가?”와 같은 질문에 답하는 것을 목표로 한다. 지역적 설명은 특정 사례에 대한 모델의 행동을 상세하게 이해하고, 해당 결정에 영향을 미친 주요 요인들을 식별하는 데 매우 유용하다. 이는 사용자가 개별 결정에 대해 이의를 제기하거나 결과를 신뢰하는 데 직접적인 근거를 제공한다.24
  • 전역적 설명 (Global Explanation): 지역적 설명과 달리, 전역적 설명은 모델의 ‘전반적인 행동 양식’을 이해하고자 한다.6 이는 “이 모델은 대출 승인 여부를 결정할 때 전반적으로 어떤 특성(예: 소득, 부채 비율, 신용 기간)을 가장 중요하게 고려하는가?”와 같은 질문에 답한다. 전역적 설명은 모델이 학습한 일반적인 패턴, 내재된 편향성, 그리고 데이터셋 전체에 걸친 모델의 강점과 약점을 파악하는 데 도움을 준다. 이를 통해 모델의 거버넌스, 감사, 그리고 전반적인 신뢰성 평가가 가능해진다.
• 모델 의존성 (Model Dependency): 모델 불가지론적 방법 vs. 모델 특정적 방법
  • 모델 불가지론적 방법 (Model-Agnostic): 이 방법은 설명하고자 하는 AI 모델의 내부 구조나 알고리즘에 대한 지식 없이, 오직 입력과 출력 간의 관계만을 분석하여 설명을 생성한다.6 모델을 완전한 ‘블랙박스’로 취급하기 때문에, 선형 회귀부터 복잡한 심층 신경망에 이르기까지 거의 모든 종류의 모델에 적용할 수 있다는 강력한 범용성을 가진다.5 이러한 유연성은 다양한 모델을 평가하고 비교해야 하는 실무 환경에서 큰 장점으로 작용한다.
  • 모델 특정적 방법 (Model-Specific): 이 방법은 특정 유형의 모델(예: 결정 트리, 선형 모델, 합성곱 신경망 등)에만 적용 가능하며, 해당 모델의 내부 구조와 작동 방식을 적극적으로 활용하여 설명을 생성한다.6 모델의 고유한 특성을 이용하기 때문에 더 정확하고 상세한 설명을 제공할 수 있지만, 다른 종류의 모델에는 적용할 수 없다는 한계가 있다.
• 설명 시점 (Timing of Explanation): 사후 설명 vs. 내재적 설명
  • 사후 설명 (Post-hoc Explanation): 이미 학습이 완료된 ‘블랙박스’ 모델에 대해 사후적으로 적용되어 설명을 생성하는 방식이다.25 대부분의 고성능 딥러닝 모델은 그 자체로 설명력을 갖기 어렵기 때문에, 현재 XAI 연구의 주류는 사후 설명 기법에 집중되어 있다.25 이 접근법은 기존에 개발된 고성능 모델의 성능을 희생하지 않으면서 설명가능성을 추가할 수 있다는 장점이 있다.
  • 내재적 설명 (Intrinsic or Ante-hoc Explanation): 모델 자체가 설계 단계부터 해석 가능하도록 만들어진 경우를 말한다.27 선형 회귀 모델의 계수, 로지스틱 회귀의 오즈비, 또는 단순한 결정 트리의 분기 규칙 등이 대표적인 예다. 이러한 ‘화이트박스(White-box)’ 모델들은 별도의 설명 기법 없이도 그 결정 과정을 직관적으로 이해할 수 있다. 하지만 복잡한 비선형 관계를 학습하는 데 한계가 있어, 성능과 설명가능성 사이의 상충관계(trade-off)를 야기하는 경우가 많다.

이러한 분류 기준들은 상호 배타적이지 않으며, 하나의 XAI 기술이 여러 범주에 동시에 속할 수 있다. 예를 들어, 특정 예측 결과를 설명하는 기법은 지역적이면서 동시에 모델 불가지론적일 수 있다.6

현존하는 수많은 사후 설명 기법 중 가장 널리 알려지고 활용되는 두 가지는 LIME(Local Interpretable Model-agnostic Explanations)과 SHAP(SHapley Additive exPlanations)이다. 두 기법 모두 모델 불가지론적 접근법을 취하지만, 근본적인 철학과 기술적 특성에서 차이를 보인다.

• LIME (Local Interpretable Model-agnostic Explanations)
  • 작동 원리: LIME은 복잡한 블랙박스 모델의 특정 예측 하나를 설명하기 위해, 그 예측값 주변의 ‘지역적(local)’ 공간에서 원본 모델의 동작을 근사하는 단순하고 해석 가능한 ‘대리 모델(surrogate model)’(예: 선형 회귀, 결정 트리)을 학습시킨다.28 구체적으로, 설명하고자 하는 데이터 인스턴스 주변에 미세한 변형(perturbation)을 가한 가상의 데이터 포인트들을 다수 생성하고, 이 포인트들에 대한 블랙박스 모델의 예측값을 얻는다. 그 후, 이 가상 데이터셋을 사용하여 원본 데이터 포인트에 가까울수록 높은 가중치를 부여하는 방식으로 대리 모델을 학습시킨다. 최종적으로 이 단순한 대리 모델의 해석(예: 선형 모델의 계수)을 통해 원본 블랙박스 모델의 지역적 결정 경계를 설명하는 것이다.30
  • 장점: LIME의 가장 큰 장점은 개념적으로 이해하기 쉽고, 단일 예측에 대한 설명을 비교적 빠르게 생성할 수 있다는 점이다.32 또한, 모델 불가지론적 특성 덕분에 표 형식 데이터, 이미지, 텍스트 등 다양한 데이터 타입과 모델에 유연하게 적용될 수 있다.34
  • 한계: LIME의 치명적인 단점은 ‘불안정성(instability)’이다. 입력 데이터에 대한 변형(perturbation)을 무작위 샘플링 방식으로 생성하기 때문에, 실행할 때마다 설명 결과가 달라질 수 있다.30 이는 설명의 신뢰도를 떨어뜨리는 요인으로 작용하며, 특히 규제 준수나 감사와 같이 일관성이 중요한 요구사항을 충족시키기 어렵게 만든다. 또한, LIME의 설명은 철저히 지역적이기 때문에 모델의 전반적인 행동에 대한 통찰을 제공하지 못하며, 이론적 정당성이 부족하다는 비판을 받는다.33
• SHAP (SHapley Additive exPlanations)
  • 작동 원리: SHAP은 협력 게임 이론(cooperative game theory)에서 비롯된 ‘섀플리 값(Shapley value)’에 이론적 기반을 둔다.28 섀플리 값은 게임에 참여한 각 플레이어(여기서는 모델의 각 입력 특성)가 최종 보상(모델의 예측값)에 얼마나 기여했는지를 공정하게 배분하는 방법이다. SHAP은 특정 예측값을 설명하기 위해, 가능한 모든 특성들의 조합(coalition)을 고려하여 각 특성이 예측에 미치는 평균적인 한계 기여도를 계산한다.38 즉, 특정 특성이 예측 과정에 포함되었을 때와 포함되지 않았을 때의 예측값 차이를 모든 가능한 조합에 대해 평균 내어 그 특성의 중요도를 산출하는 것이다.
  • 장점: SHAP의 가장 큰 강점은 강력한 이론적 기반이다. 섀플리 값은 일관성(Consistency), 지역적 정확성(Local Accuracy), 결측성(Missingness) 등 바람직한 속성들을 보장하므로, SHAP이 생성하는 설명은 LIME에 비해 훨씬 안정적이고 신뢰할 수 있다.32 또한, 개별 예측에 대한 지역적 설명(local explanation)을 제공할 뿐만 아니라, 이 지역적 설명 값들을 집계하여 모델 전체의 행동을 이해하는 전역적 설명(global explanation)까지 일관된 방식으로 도출할 수 있다는 독보적인 장점을 가진다.28 SHAP 라이브러리는 다양한 시각화 도구를 제공하여 설명을 직관적으로 이해하는 데 도움을 준다.32
  • 한계: SHAP의 주된 한계는 ‘계산 복잡도’이다. 모든 특성 조합을 고려하는 것은 특성의 수가 증가함에 따라 계산량이 기하급수적으로 늘어나기 때문에, 원칙적으로는 계산이 불가능하다(NP-hard 문제). 이를 해결하기 위해 SHAP은 커널 기반 근사(KernelSHAP)나 트리 모델에 최적화된 알고리즘(TreeSHAP) 등 다양한 근사 기법을 사용하지만, 여전히 LIME에 비해, 특히 모델 불가지론적인 KernelSHAP의 경우 계산 비용이 매우 높을 수 있다.32 또한, 섀플리 값 자체의 개념이 직관적이지 않아 비전문가가 그 의미를 완전히 이해하기 어려울 수 있다.28

실무에서 어떤 도구를 선택할지는 프로젝트의 목표와 제약 조건에 따라 달라진다. 신속한 프로토타이핑이나 단일 사례에 대한 직관적인 설명이 필요할 때는 LIME이 유용할 수 있다. 반면, 규제 준수, 감사, 또는 높은 신뢰성이 요구되는 고위험 의사결정 시스템을 설명하고 모델의 전역적 행동을 이해해야 할 때는 이론적 보장이 뒷받침되는 SHAP이 더 적합한 선택이다.

특성	LIME (Local Interpretable Model-agnostic Explanations)	SHAP (SHapley Additive exPlanations)
이론적 기반	지역적 대리 모델 (근사)	게임 이론 (섀플리 값)
설명 범위	엄격히 지역적 (한 번에 하나의 예측 설명)	지역적 및 전역적 (지역적 값들이 전역적 통찰로 집계됨)
일관성	보장되지 않음; 샘플링에 따라 불안정할 수 있음	보장됨; 특성의 영향력이 커지면 기여도 값이 감소하지 않음
계산 비용	단일 예측 설명에 빠름	계산 비용이 높음 (특히 KernelSHAP); TreeSHAP 등 최적화 버전은 빠름
출력	지역적 선형 모델의 특성 중요도	강력한 이론적 속성을 가진 가법적 특성 기여도
이상적 사용 사례	빠른 프로토타이핑, 단일 사례에 대한 직관적 설명, 계산 비용이 주요 제약일 때 32	높은 신뢰도와 감사가 요구되는 고위험 결정, 전역적 모델 행동 이해, 이론적 보장이 필요할 때 32

이미지 인식 분야에서 딥러닝, 특히 합성곱 신경망(CNN)이 압도적인 성능을 보이면서, CNN의 판단 근거를 시각적으로 보여주는 설명 기법들이 활발히 연구되었다. 그중 가장 대표적인 것이 CAM(Class Activation Mapping)과 그 파생 기술들이다.

• 작동 원리: CAM 계열의 기술들은 모델이 이미지의 특정 클래스를 예측할 때, 이미지의 ‘어느 영역’에 주목했는지를 히트맵(heatmap) 형태로 시각화하여 보여준다.13 이는 모델의 예측이 이미지의 어떤 시각적 증거에 기반했는지를 직관적으로 드러내 준다.
• CAM (Class Activation Mapping): 최초의 CAM 기법은 CNN의 마지막 합성곱 계층(convolutional layer)의 특성 맵(feature map)과 전역 평균 풀링(Global Average Pooling, GAP) 이후의 완전 연결 계층(fully-connected layer) 가중치를 결합하여 클래스별 활성화 맵을 생성한다.40 하지만 이 방식은 GAP를 사용하도록 모델의 구조를 변경해야 한다는 치명적인 한계가 있어, 이미 학습된 다양한 구조의 모델에 적용하기 어렵다.42
• Grad-CAM (Gradient-weighted Class Activation Mapping): 이러한 한계를 극복하기 위해 제안된 Grad-CAM은 모델 구조를 변경할 필요가 없는 훨씬 더 범용적인 기법이다.42 Grad-CAM은 특정 클래스에 대한 예측 점수의 마지막 합성곱 계층의 특성 맵에 대한 그래디언트(gradient)를 계산한다. 이 그래디언트는 각 특성 맵이 최종 예측에 얼마나 중요한지를 나타내는 ‘가중치’로 사용된다. 이 가중치들을 각 특성 맵에 곱하여 가중합을 구하고, 음수 값을 제거하기 위해 ReLU 함수를 적용하면 최종적인 히트맵이 생성된다.42 이 방식은 어떠한 CNN 기반 아키텍처에도 적용 가능하여 XAI 분야에서 매우 널리 사용되는 표준적인 시각화 도구가 되었다.
• 발전: 이후 Grad-CAM의 성능을 더욱 개선하기 위한 연구들이 이어졌다. 예를 들어, Grad-CAM++는 이미지 내에 동일한 클래스의 객체가 여러 개 존재할 때, Grad-CAM이 일부 객체만 강조하는 문제를 해결하여 더 정확하게 모든 객체를 탐지하도록 개선되었다.44
• 활용: CAM 기반 시각화는 의료 영상 분석에서 AI가 종양으로 의심되는 부위를 어디로 판단했는지 의사에게 보여주거나 13, 자율주행차가 보행자를 인식할 때 이미지의 어떤 부분을 ‘보고’ 있었는지 개발자에게 알려주는 등, 모델의 신뢰성을 검증하고 디버깅하는 데 핵심적인 역할을 한다.13

XAI는 더 이상 이론적 개념에 머무르지 않고, 금융, 의료, 자율주행 등 다양한 산업 현장에서 실질적인 가치를 창출하며 빠르게 확산되고 있다. XAI의 적용은 단순히 AI 결정의 투명성을 높이는 것을 넘어, 규제 준수, 리스크 관리, 사용자 경험 향상, 그리고 인간과 AI 간의 협업을 촉진하는 핵심 동력으로 작용하고 있다.

금융 분야는 규제가 엄격하고 결정의 결과가 개인의 재산에 직접적인 영향을 미치기 때문에 XAI의 필요성이 가장 절실한 영역 중 하나다. 주요 활용 분야는 신용 평가, 대출 심사, 사기 탐지, 자산 관리 등이다.4

• 사례 연구:
  • ZestFinance (현 Zest AI): ZestFinance는 XAI를 활용하여 대출 기관에 공정하고 투명한 신용 평가 모델을 제공하는 대표적인 기업이다. 이들의 ZAML(Zest Automated Machine Learning) 플랫폼은 복잡한 머신러닝 모델을 사용하면서도 각 대출 신청 건에 대한 명확한 설명(예: 대출 거절 사유)을 생성한다.15 이를 통해 대출 기관은 신용 기록이 부족한(thin-file) 신청자에게도 더 정확하고 공정한 결정을 내릴 수 있으며, 미국 공정대출법(Fair Lending laws)과 같은 규제를 준수하는 데 필요한 증빙 자료를 확보할 수 있다. 신청자에게는 거절 사유를 명확히 알려주어 신용도를 개선할 기회를 제공한다.15
  • PayPal: 글로벌 결제 플랫폼인 PayPal은 머신러닝 기반의 사기 탐지 시스템(Fraud Detection System)에 XAI를 적용하여 시스템의 신뢰도를 높이고 있다.15 XAI는 특정 거래가 왜 사기로 분류되었는지(예: 비정상적인 접속 위치, 평소와 다른 구매 패턴)를 분석가에게 설명해준다. 이를 통해 분석가는 AI의 판단을 더 신속하게 검토하고, 정상 거래를 사기로 오탐(false positive)하는 비율을 줄여 고객 불편을 최소화하며, 실제 사기 패턴에 대한 이해를 높여 모델을 지속적으로 개선할 수 있다.15
  • BlackRock: 세계 최대 자산운용사인 블랙록은 AI 투자 플랫폼 ‘알라딘(Aladdin)’에 XAI 원칙을 통합하여 투자 전략의 투명성을 높인다. AI가 방대한 시장 데이터를 분석하여 특정 투자 기회를 포착했을 때, XAI는 그 결정의 근거가 된 주요 데이터와 패턴을 펀드 매니저와 고객에게 설명한다.15 이는 복잡한 AI 기반 투자 추천에 대한 신뢰를 구축하고, 고객이 자신의 자산이 어떻게 운용되는지 이해하는 데 도움을 준다.
  • 대출 심사 및 신용 점수 설명: 많은 금융 기관에서 SHAP과 같은 XAI 기법을 활용하여 고객의 신용 점수에 각 요소(소득, 부채, 연체 이력 등)가 긍정적 또는 부정적으로 얼마나 기여했는지 정량적으로 분석한다.13 이를 통해 고객에게 “신용카드 부채가 많아 점수가 하락했습니다”와 같이 구체적이고 실행 가능한 피드백을 제공하여 고객 경험을 개선하고, 금융 포용성을 증진시킨다.

의료 분야에서 AI의 결정은 환자의 생명과 직결되므로, 설명가능성은 윤리적, 법적, 임상적으로 필수적인 요구사항이다. XAI는 의료 영상 분석, 질병 진단 보조, 개인 맞춤형 치료 계획, 신약 개발 등에서 활발히 활용되고 있다.4

• 사례 연구:
  • Google DeepMind: 구글 딥마인드는 망막 스캔 이미지를 분석하여 당뇨병성 망막병증과 같은 안과 질환을 진단하는 AI 모델을 개발했다.15 이 모델은 단순히 진단 결과를 내놓는 것을 넘어, Grad-CAM과 같은 XAI 기술을 이용해 진단의 근거가 된 망막의 특정 영역(예: 미세혈관류, 출혈)을 히트맵으로 표시해준다. 이는 안과 전문의가 AI의 진단을 검증하고, 오진 가능성을 줄이며, 환자에게 진단 결과를 시각적으로 명확하게 설명하는 데 큰 도움을 준다.15
  • PathAI: 병리학 분야의 AI 기업인 PathAI는 조직 샘플 슬라이드를 분석하여 암세포를 탐지하고 등급을 매기는 AI 시스템을 제공한다.15 XAI는 병리학자가 AI의 판단을 신뢰하고 최종 진단을 내리는 데 도움을 주기 위해, AI가 암세포로 판단한 영역과 그 근거를 명확하게 시각화하여 제시한다. 이는 진단의 정확성과 일관성을 높이고, 병리학자의 작업 효율을 개선하는 효과를 가져온다.15
  • 의료 영상 진단 (LIME/SHAP 활용): CT 스캔 이미지를 분석하여 폐렴을 진단하는 모델의 경우, LIME을 사용하면 모델이 주목한 폐의 특정 부분을 하이라이트로 표시하여 의사의 진단 보조 도구로 활용할 수 있다.13 또한 SHAP을 이용하면 환자의 다양한 임상 정보(나이, 기저질환, 흡연 여부 등)가 폐렴 진단 확률에 각각 얼마나 영향을 미쳤는지 수치화하여 보여줌으로써, 의사가 모델의 판단 과정을 종합적으로 이해하고 환자 맞춤형 치료 계획을 수립하는 데 기여할 수 있다.32
  • 신약 개발: ICLR, ICML과 같은 최고 수준의 AI 학회에서는 AI를 활용한 신약 개발 연구가 활발히 발표되고 있다. 이 과정에서 XAI 원칙은 새롭게 디자인된 분자 구조가 왜 특정 약물 특성(예: 용해도, 안정성)에서 우수한 성능을 보일 것으로 예측되는지 설명하는 데 사용되어, 연구자들이 더 효율적으로 후보 물질을 탐색하고 검증하도록 돕는다.47

자율주행차, 로봇, 스마트 팩토리 등 자율 시스템 분야에서 XAI는 안전성 검증과 신뢰성 확보의 핵심 기술이다. 시스템이 내리는 모든 결정의 이유를 추적하고 설명할 수 있어야만 예측 불가능한 상황에서의 위험을 최소화하고, 사고 발생 시 원인을 규명할 수 있기 때문이다.13

• 사례 연구:
  • 자율주행차의 의사결정 설명: 테슬라와 같은 자율주행 시스템 개발사들은 XAI 기술을 통해 차량의 주행 결정 과정을 시각화하고 설명한다.13 예를 들어, 전방의 물체를 인식하고 차선을 변경하거나 급정거했을 때, AI가 어떤 객체(보행자, 다른 차량, 신호등)를 인식했고, 그 객체의 어떤 움직임을 기반으로 판단을 내렸는지 활성화 맵(activation map)과 같은 시각적 설명으로 제시한다.13 이는 시스템의 안전성을 검증하고, 운전자가 시스템의 행동을 이해하고 신뢰하는 데 필수적이다.
  • 사고 분석 및 시스템 개선: 자율주행차 사고 발생 시, XAI는 사고 직전 AI의 의사결정 과정을 상세히 복기하는 ‘디지털 블랙박스’ 역할을 한다.13 센서 데이터, 인식 결과, 판단 로직 등을 분석하여 사고의 근본 원인을 파악하고, 이를 바탕으로 알고리즘을 개선하여 유사한 사고의 재발을 방지하는 데 결정적인 정보를 제공한다.
  • 제조업 품질 검사: 스마트 팩토리의 비전 검사 시스템이 제품의 결함을 탐지했을 때, XAI는 단순히 ‘불량’ 판정을 내리는 것을 넘어, 제품 이미지의 어느 부분에 어떤 유형의 결함(예: 긁힘, 오염, 파손)이 있는지를 정확히 하이라이트하여 보여준다.2 이는 작업자가 신속하게 불량 원인을 파악하고 공정을 개선하는 데 도움을 주어 생산 효율성과 품질을 높인다.

이러한 다양한 산업 사례들을 관통하는 중요한 사실은, XAI가 단순히 과거의 결정을 정당화하는 정적인 보고 도구가 아니라는 점이다. 오히려 XAI는 인간 전문가와 AI 모델 간의 역동적인 상호작용과 협업을 촉진하는 ‘촉매제’ 역할을 한다. 금융에서는 고객에게 실행 가능한 개선 방안을 제시하고, 의료에서는 의사의 진단 확신을 돕고 치료 계획 수립에 기여하며, 자율주행에서는 엔지니어의 디버깅과 시스템 개선을 이끈다. 이처럼 ‘설명 –» 인간의 이해 –» 피드백 및 행동 –» 시스템 개선 및 더 나은 의사결정’으로 이어지는 선순환 구조를 만들어내는 것이야말로 XAI가 실제 현장에서 창출하는 진정한 가치라 할 수 있다. 이는 XAI가 향후 ‘상호작용형 AI(Interactive AI)’ 연구로 발전해 나가는 필연적인 경로를 보여준다.

XAI는 AI의 투명성과 신뢰성을 높이는 강력한 도구이지만, 동시에 여러 기술적, 개념적 도전 과제와 내재적 한계를 안고 있다. XAI를 성공적으로 도입하고 활용하기 위해서는 이러한 한계를 명확히 인식하고, 설명의 ‘품질’을 객관적으로 평가하는 엄격한 방법론을 갖추는 것이 필수적이다.

• 정확도와 설명가능성의 상충관계 (Accuracy-Explainability Trade-off): XAI 분야의 가장 근본적인 딜레마 중 하나는 모델의 예측 정확도와 설명가능성 사이에 종종 상충관계가 존재한다는 점이다.10 일반적으로 복잡한 비선형 관계를 학습할 수 있는 심층 신경망과 같은 모델들이 높은 정확도를 보이지만, 이들은 본질적으로 해석하기 어려운 ‘블랙박스’다. 반면, 선형 회귀나 단순 결정 트리처럼 내부 작동 원리가 투명한 ‘화이트박스’ 모델들은 복잡한 패턴을 학습하는 데 한계가 있어 성능이 떨어질 수 있다.11 XAI의 목표는 성능 저하를 최소화하면서 설명가능성을 확보하는 것이지만, 설명력을 높이기 위한 조치(예: 모델 구조 단순화, 추가적인 설명 모듈 부착)가 처리 속도나 정확도에 부정적인 영향을 미칠 수 있다.10 이 상충관계를 어떻게 균형 있게 해결하느냐가 XAI 기술의 성숙도를 가늠하는 중요한 척도다.
• 기술적 및 조직적 구현 장벽: XAI를 실제 프로젝트에 구현하는 것은 결코 간단한 작업이 아니다.
  • 전문성 요구: 효과적인 XAI 구현을 위해서는 머신러닝 모델뿐만 아니라 다양한 XAI 알고리즘에 대한 깊은 이해를 갖춘 전문 인력이 필요하다.50
  • 데이터 거버넌스: 설명의 품질은 근본적으로 입력 데이터의 품질에 의존한다. 데이터 수집 단계부터 편향을 최소화하고 데이터의 품질을 보장하는 강력한 데이터 거버넌스 체계가 선행되지 않으면, XAI는 “쓰레기가 들어가면 쓰레기가 나온다(garbage in, garbage out)”는 원칙에서 자유로울 수 없다.3 XAI가 편향된 모델을 마법처럼 수정해 줄 것이라는 기대는 위험한 환상에 불과하다.25
  • 리더십과 인프라: XAI 도입은 단순히 기술 하나를 추가하는 것이 아니라, 데이터 투명성과 모델 책임성을 중시하는 조직 문화의 변화를 요구한다. 이를 위해서는 경영진의 강력한 지원과 함께, XAI를 운영하고 모니터링할 수 있는 적절한 인프라와 도구에 대한 투자가 필수적이다.50

“좋은 설명이란 무엇인가?”라는 질문은 XAI의 핵심 과제다. 설명의 유효성과 신뢰성을 보장하기 위해, 연구자들은 정량적 지표와 정성적 평가를 결합한 다각적인 평가 프레임워크를 개발해왔다.

• 정량적 평가 지표 (기능 기반 평가):
  • 충실도 (Faithfulness/Fidelity): 설명이 모델의 실제 작동 방식을 얼마나 정확하게 반영하는가를 측정하는 가장 중요한 지표다. 즉, 설명이 모델을 ‘속이지 않고’ 진실되게 표현하는지를 평가한다.51
    • AOPC (Area Over the Perturbation Curve), Insertion, Deletion: 이 지표들은 설명 기법이 ‘중요하다’고 식별한 특성들을 실제로 제거(Deletion)하거나, 반대로 중요하지 않은 상태에서 추가(Insertion)했을 때 모델의 예측 확률이 얼마나 크게 변하는지를 측정한다.53 충실도가 높은 설명은, 중요하다고 지목한 특성을 제거했을 때 예측 성능이 크게 하락해야 한다.52
  • 강건성 (Robustness/Stability): 설명이 얼마나 안정적인지를 평가한다. 입력값에 인간이 인지할 수 없을 정도의 미세한 노이즈를 추가했을 때, 설명 결과가 크게 변동해서는 안 된다.55 설명의 일관성이 중요한 고위험 애플리케이션에서 특히 중요한 지표다. 국소 립시츠 추정(Local Lipschitz Estimate)과 같은 지표가 이를 측정하는 데 사용된다.56
  • 복잡성 (Complexity): 설명이 인간이 이해할 수 있을 만큼 충분히 간결한지를 측정한다. 일반적으로 더 적은 수의 특성으로 예측을 설명할수록(희소성, Sparsity) 더 좋은 설명으로 간주된다.55
• 건전성 검사 (Sanity Checks): 설명 기법 자체가 타당한지를 검증하는 필수적인 과정이다.
  • 모델 무작위화 (Model Randomization): 설명하고자 하는 모델의 파라미터를 점진적으로 무작위 값으로 변경해본다. 만약 모델의 내부 로직이 완전히 파괴되었음에도 불구하고 설명 결과가 거의 변하지 않는다면, 해당 XAI 기법은 모델의 학습된 지식이 아닌, 입력 데이터의 피상적인 특성(예: 이미지의 경계선)만을 감지하는 ‘가짜’ 설명일 가능성이 높다.53 신뢰할 수 있는 설명 기법이라면 모델이 무작위화됨에 따라 설명의 품질도 함께 붕괴되어야 한다.
• 인간 중심 평가 (응용 기반 평가): 궁극적으로 설명은 인간을 위한 것이므로, 사람이 직접 설명을 평가하는 과정이 필수적이다. 사용자 연구를 통해 특정 설명이 사용자의 이해도, 신뢰도, 의사결정의 질, 또는 과업 수행 능력을 실제로 향상시키는지를 측정한다.53 많은 XAI 연구에서 이 부분이 간과되고 있지만, 설명의 실질적인 유용성을 검증하는 가장 중요한 단계라 할 수 있다.58

평가 범주	핵심 질문	대표 지표	원리
충실도 (Faithfulness)	설명이 모델의 행동을 정확하게 반영하는가?	AOPC, Insertion/Deletion, PGI/PGU	가장 중요하거나 중요하지 않은 특성을 교란시켰을 때 모델 신뢰도의 변화(감소 또는 증가)를 측정. 충실도가 높으면 중요한 특성이 큰 영향을 미침.52
강건성 (Robustness)	작은 입력 변화에도 설명이 안정적인가?	국소 립시츠 추정, 평균 민감도	입력에 미세한 변화를 주었을 때 설명이 얼마나 변하는지를 측정. 강건한 설명은 안정적이어야 함.55
복잡성 (Complexity)	설명이 간결하고 이해하기 쉬운가?	희소성(Sparsity), 특성 수	설명을 구성하는 데 사용된 특성이나 요소의 수를 측정. 일반적으로 더 단순한 설명을 선호함.55
건전성 검사 (Sanity Checks)	설명이 모델의 논리에 민감하게 반응하는가?	모델 무작위화	설명 기법이 설명 대상 모델과 독립적인지 테스트. 유효한 설명은 모델이 무작위화될 때 급격히 변해야 함.53
인간 중심 평가	인간이 설명을 유용하고 이해하기 쉽게 느끼는가?	과업 수행 능력, 사용자 만족도 설문	실제 과업에서 인간 피험자를 대상으로 설명의 효과를 평가. 설명가능성의 궁극적인 테스트.53

XAI가 모델의 내부를 들여다볼 수 있게 만들면서, 역설적으로 ‘설명’ 자체가 새로운 공격 표면(attack surface)이 될 수 있다는 문제가 제기되었다. 이는 적대적 XAI(Adversarial XAI, AdvXAI)라는 새로운 연구 분야의 등장을 이끌었다.59

• 새로운 공격 표면의 등장: XAI는 본질적으로 정보의 비대칭성을 줄이는 기술이다. 그러나 선의의 사용자(개발자, 감사자)에게 제공되는 정보는 악의적인 공격자에게도 동일하게 노출될 수 있다. 이처럼 XAI가 제공하는 투명성이 모델의 취약점을 노출시켜 새로운 보안 위협을 야기하는 현상은 XAI와 AI 보안이 동전의 양면처럼 얽혀 있음을 보여준다. XAI는 편향이나 오류를 탐지하여 시스템 보안을 강화하는 도구인 동시에, 모델 내부 정보를 노출하여 새로운 공격을 가능하게 하는 통로가 될 수 있는 것이다. 따라서 새로운 XAI 기술을 개발할 때는 그 유용성뿐만 아니라 악용될 가능성까지 함께 평가하는, ‘보안을 고려한 설계(Security-aware Design)’가 필수적이다.
• 적대적 공격의 유형:
  • 프라이버시 및 기밀성 공격: 공격자는 XAI가 제공하는 설명을 단서로 활용하여 모델의 학습에 사용된 민감한 개인정보를 추론(멤버십 추론 공격, Membership Inference Attack)하거나, 많은 비용과 노력을 들여 개발된 모델 자체를 복제(모델 추출 공격, Model Extraction Attack)할 수 있다. 이는 개인의 프라이버시와 기업의 지적 재산권에 심각한 위협이 된다.61
  • 설명 조작 (Explanation Manipulation): 공격의 가장 교묘한 형태 중 하나로, 공격자는 원본 입력에 인간의 눈으로는 감지할 수 없는 미세한 섭동(perturbation)을 추가하여 모델의 최종 예측은 그대로 유지시키면서 XAI가 생성하는 설명만을 완전히 다른 내용으로 조작할 수 있다.62 예를 들어, 인종 편향이 있는 모델이 특정 인종에게 불리한 예측을 내렸을 때, 설명을 조작하여 마치 다른 합리적인 요인(예: 소득 수준) 때문에 그런 결정이 내려진 것처럼 위장할 수 있다. 이는 감사를 무력화하고 모델의 결함을 은폐하는 데 악용될 수 있다.
  • 회피 공격 촉진 (Facilitating Evasion Attacks): XAI는 모델이 어떤 입력 특성에 민감하게 반응하는지에 대한 정보를 제공한다. 공격자는 이 정보를 이용하여 기존의 적대적 예제(adversarial example)를 더욱 효과적으로 생성할 수 있다. 즉, 모델을 속이기 위해 어느 부분을 집중적으로 공격해야 하는지에 대한 ‘지도’를 얻게 되는 셈이다.61
• 방어 전략: 이러한 위협에 대응하기 위해, 설명을 생성하는 과정 자체에 적대적 샘플을 포함하여 훈련시키는 ‘적대적 훈련(Adversarial Training)’이나, 공격에 본질적으로 더 강건한 XAI 방법을 설계하는 연구가 진행되고 있다.60 궁극적으로 XAI 시스템은 단순히 설명을 제공하는 것을 넘어, 누가, 어떤 목적으로 설명을 요구하는지에 따라 정보의 수준을 조절하는 접근 제어 메커니즘을 포함해야 할 필요가 있다.

XAI 연구는 기존의 블랙박스 모델을 해석하는 단계를 넘어, 초거대 AI, 복잡한 데이터 구조, 그리고 인간과의 상호작용과 같은 새로운 도전 과제들을 해결하기 위해 빠르게 진화하고 있다. 최신 연구 동향은 인과관계 추론, 상호작용성, 그리고 새로운 컴퓨팅 패러다임과의 결합을 통해 설명가능성의 근본적인 패러다임 전환을 모색하고 있다.

최근 AI 분야를 주도하고 있는 파운데이션 모델(Foundation Models), 특히 거대 언어 모델(LLM)과 확산 모델(Diffusion Model)은 그 규모와 복잡성, 그리고 예측 불가능한 창발적 능력(emergent capabilities)으로 인해 새로운 차원의 ‘블랙박스’ 문제를 제기하고 있다.66

• 거대 언어 모델(LLM)을 위한 XAI: GPT 시리즈와 같은 LLM의 의사결정 과정을 이해하려는 연구는 XAI의 가장 뜨거운 연구 주제 중 하나다.67 이 분야의 연구는 두 가지 주요 방향으로 진행되고 있다. 첫째, LLM 자체를 설명의

  대상으로 삼는 연구다. 이는 어텐션 가중치 분석, 특성 기여도 측정, 인과적 추적(causal tracing) 등 다양한 기법을 통해 LLM이 특정 답변을 생성할 때 어떤 입력 토큰이나 내부 뉴런에 주목했는지를 분석한다.70 둘째, LLM의 강력한 자연어 생성 능력을 활용하여 다른 복잡한 AI 모델의 예측 결과를 인간이 이해하기 쉬운 텍스트 설명으로 변환하는, 즉 LLM을 설명의

  도구로 사용하는 연구다.67 이 접근법은 복잡한 수치나 시각화를 직관적인 서사로 번역하여 비전문가의 접근성을 획기적으로 높일 잠재력을 가진다.

• 확산 모델(Diffusion Model)을 위한 XAI: 스테이블 디퓨전(Stable Diffusion)과 같은 텍스트-이미지 생성 모델은 놀라운 창의성을 보여주지만, 텍스트 프롬프트가 어떻게 이미지로 변환되는지는 여전히 미스터리에 가깝다. 이에 대한 XAI 연구는 이제 막 시작되는 단계로, 모델의 점진적인 노이즈 제거(denoising) 과정의 각 단계에서 의미론적 개념이 어떻게 형성되는지를 추적하거나 72, 특정 개념(예: ‘웃는 얼굴’)을 생성하는 데 기여한 노이즈 패턴이나 프롬프트 단어를 식별하는 기법들이 연구되고 있다. 또한, 특정 입력에 대해 “만약 프롬프트가 이랬다면, 이미지가 어떻게 바뀌었을까?”를 보여주는 반사실적 설명(counterfactual explanation)을 생성하는 연구도 활발하다.74

기존의 특성 기여도 기반 설명을 넘어, 인간의 인지 과정과 더 유사하고, 더 깊이 있는 이해를 제공하는 새로운 설명 패러다임들이 부상하고 있다.

• 인과적 XAI (Causal XAI): 기존 XAI 기법들이 주로 입력 특성과 예측 결과 사이의 ‘상관관계’를 보여주는 데 그쳤다면, 인과적 XAI는 그들 사이의 ‘인과관계’를 추론하는 것을 목표로 한다.76 예를 들어, “소득이 높으면 대출 승인 확률이 높다”는 상관관계적 설명을 넘어, “소득이 높기

  때문에 대출이 승인되었다”는 인과적 설명을 제공하는 것이다. 이는 인간의 “왜?”라는 질문에 더 근본적인 답을 제공하며, 더 신뢰할 수 있고 실행 가능한 통찰을 준다.77 인과적 섀플리 값(Causal Shapley values)과 같은 기법은 특정 특성의 영향을 다른 특성들을 통한 간접적인 효과와 직접적인 효과로 분리하여 분석함으로써, 복잡한 인과 사슬을 풀어내는 데 도움을 준다.76

• 상호작용형 및 인간 중심 XAI (Interactive and Human-Centric XAI): 이 패러다임은 설명을 일방적인 정보 전달이 아닌, 인간과 AI 간의 ‘대화’로 간주한다.79 사용자는 더 이상 설명의 수동적인 수신자가 아니라, 시스템에 “만약 이렇다면 어떻게 될까?(What-if)”와 같은 질문을 던지고, 설명의 수준이나 형태를 조절하며, 모델의 예측을 직접 수정하고 그 결과를 즉시 확인하는 능동적인 참여자가 된다.80 인간-컴퓨터 상호작용(HCI)과 인지과학의 원리를 적극적으로 도입하여, 사용자의 인지 부하를 줄이고 이해를 돕는 사용자 인터페이스를 설계하는 것이 핵심이다.83 이 접근법은 사용자가 AI의 작동 방식을 점진적으로 학습하고, AI와 함께 문제를 해결해나가는 협력적 관계를 구축하는 것을 지향한다.

• 뉴로-심볼릭 AI (Neuro-Symbolic AI): 뉴로-심볼릭 AI는 블랙박스 문제를 근본적으로 해결하기 위해, 데이터로부터 패턴을 학습하는 신경망의 능력과, 명시적인 규칙과 논리에 기반하여 추론하는 심볼릭 AI의 투명성을 결합하려는 시도다.85 이 접근법은 학습이 끝난 모델을 사후에 설명하는 대신, 설계 단계부터 본질적으로 해석 가능한(inherently interpretable) 모델, 즉 ‘설계 기반 설명가능성(explainability by design)’을 구현하는 것을 목표로 한다.27 예를 들어, 신경망이 추출한 저수준 특징을 심볼릭 논리 규칙과 결합하여 최종 결정을 내리게 함으로써, 모델의 결정 과정을 논리적으로 추적하고 설명할 수 있게 된다.88

이러한 연구 프론티어들의 등장은 XAI 분야의 중요한 철학적 전환을 시사한다. LIME과 SHAP으로 대표되는 1세대 XAI가 이미 존재하는 블랙박스를 ‘외부에서 분석’하는 데 초점을 맞췄다면, 새로운 패러다임들은 AI와 인간의 관계를 재정의하고 있다. 인과적 XAI는 더 깊은 수준의 이해를, 상호작용형 XAI는 동적인 협력 관계를, 뉴로-심볼릭 AI는 블랙박스라는 전제 자체를 거부하고 본질적으로 이해 가능한 AI를 지향한다. 이는 XAI가 단순히 ‘AI를 설명하는 기술’에서 ‘AI와 함께 추론하는 기술’로 진화하고 있음을 보여준다. 미래의 AI는 투명한 블랙박스가 아니라, 처음부터 인간과 협력하고 소통할 수 있는 지능적인 파트너로 설계될 것이다.

전통적인 표 형식 데이터나 이미지를 넘어, 관계형 데이터인 그래프나 완전히 새로운 컴퓨팅 패러다임인 양자 컴퓨팅에 대한 설명가능성 연구도 활발히 진행되고 있다.

• 그래프 신경망(GNN)을 위한 XAI: 소셜 네트워크, 분자 구조, 지식 그래프 등 관계를 표현하는 그래프 데이터는 현대 AI에서 매우 중요하다. 그래프 신경망(GNN)은 이러한 데이터에서 뛰어난 성능을 보이지만, 노드 특징과 복잡한 연결 구조를 함께 고려하기 때문에 설명이 매우 어렵다.90 이를 위해 GNN에 특화된 XAI 기법들이 개발되었다.
  • GNNExplainer: 특정 노드나 그래프의 예측에 가장 결정적인 영향을 미친 ‘중요한 하위 그래프(subgraph)’와 노드 특징의 부분집합을 식별하는 선구적인 방법이다.92 정보 이론에 기반하여, GNN의 예측과 하위 그래프 구조 간의 상호 정보량(mutual information)을 최대화하는 최적화 문제로 설명을 정의한다.95
  • PGExplainer: GNNExplainer가 개별 인스턴스에 대해서만 설명을 생성하고 매번 재학습해야 하는 한계를 극복하기 위해 제안되었다.96 PGExplainer는 설명 생성 과정을 파라미터화된 신경망으로 모델링하여, 한 번 학습하면 여러 인스턴스에 대한 설명을 빠르고 일관되게 생성할 수 있다. 이는 더 나은 일반화 성능과 귀납적 추론(inductive setting) 능력을 제공한다.96
• 설명 가능한 양자 머신러닝 (XQML): 양자 컴퓨팅이라는 새로운 패러다임이 등장하면서, 양자 머신러닝(QML) 모델의 작동 원리를 이해하려는 초기 연구들이 시작되었다. 이는 XAI의 가장 도전적인 최전선이라 할 수 있다.98
  • 핵심 도전 과제: 양자 컴퓨터는 중첩(superposition)과 얽힘(entanglement)이라는 고유한 특성을 이용하며, 그 상태 공간은 큐비트(qubit) 수에 따라 지수적으로 증가한다. 또한, 측정 과정에 내재된 확률적 특성과 하드웨어 노이즈는 결정론적인 설명을 매우 어렵게 만든다.100
  • 초기 접근법: 연구자들은 고전적인 XAI 기법을 양자 세계에 맞게 변용하려는 시도를 하고 있다. 대표적으로, 매개변수화된 양자 회로(Parameterized Quantum Circuit, PQC)에서 개별 양자 게이트(quantum gate)들이 최종 측정 결과에 미치는 중요도를 정량화하기 위해 섀플리 값을 적용하는 연구가 진행되었다.102 이 접근법은 특정 양자 회로가 주어진 과업을 잘 수행하는 이유를 설명하고, 더 나은 회로 설계를 위한 통찰을 제공할 수 있다.98

XAI 기술이 성숙해짐에 따라, 기업과 연구 기관은 이를 단순히 기술적 문제로 접근하는 것을 넘어, 경제적 가치와 전략적 중요성을 고려하여 체계적으로 도입하고 활용해야 한다. 본 파트에서는 XAI의 경제적 차원과 실용적인 구현 워크플로우를 제시하고, 미래 연구 방향을 조망한다.

• 투자수익률(ROI) 및 경제적 영향: XAI의 경제적 가치는 직접적인 수익 창출보다는 리스크 완화, 규제 준수, 그리고 새로운 비즈니스 기회 창출이라는 간접적인 측면에서 더 명확하게 나타난다. 일부 분석에서는 투명하고 설명 가능한 AI를 도입한 조직이 그렇지 않은 조직에 비해 30% 더 높은 AI 투자수익률을 달성할 것으로 예측하기도 한다.103 그러나 XAI의 더 근본적인 가치는 AI 도입 자체를 가로막는 신뢰의 장벽을 허무는 데 있다. 고위험, 고부가가치 산업(의료, 금융 등)에서 XAI는 AI 시스템의 도입을 가능하게 하는 ‘필수 인에이블러(essential enabler)’ 역할을 한다.50

  한편, MIT의 대런 애쓰모글루(Daron Acemoglu) 교수와 같은 경제학자들은 AI가 향후 10년간 GDP에 미치는 영향이 “중요하지만 완만한(nontrivial, but modest)” 수준에 그칠 것이라는 신중한 전망을 내놓기도 한다.105 이는 AI 기술의 ROI가 자동적으로 보장되는 것이 아니며, 올바른 문제에 기술을 적용하고 조직적 변화를 동반할 때 비로소 실현될 수 있음을 시사한다. XAI는 이러한 ‘올바른 적용’을 검증하고, AI 도입에 따르는 조정 비용과 리스크를 관리하는 데 핵심적인 역할을 수행함으로써 장기적인 경제적 가치에 기여한다.

• 실용적인 구현 워크플로우: 머신러닝 프로젝트 생애주기에 XAI를 성공적으로 통합하기 위한 단계별 워크플로우는 다음과 같이 제안될 수 있다.

  1. 목표 정의 (Define the “Why”): 프로젝트 초기 단계에서 설명의 목적과 대상을 명확히 정의해야 한다. 개발자를 위한 디버깅이 목적인가, 규제 기관을 위한 감사 증빙이 목적인가, 아니면 최종 사용자의 신뢰 확보가 목적인가? 대상과 목적에 따라 필요한 설명의 종류와 수준이 달라진다.106
  2. 모델 선정 및 설계: 가능하다면 문제의 복잡도에 맞는 내재적으로 해석 가능한 모델(예: 선형 모델, 결정 트리)을 우선적으로 고려한다. 부득이하게 블랙박스 모델을 사용해야 한다면, 설계 단계부터 설명가능성을 염두에 두어야 한다.107
  3. 데이터 거버넌스 및 준비: 모델의 성능과 설명의 품질은 모두 데이터에 의해 결정된다. 편향되지 않은 고품질의 데이터를 확보하고, 데이터의 출처와 전처리 과정을 철저히 문서화하는 것이 중요하다.50
  4. XAI 기법 선택 및 적용: 모델 유형, 데이터 특성, 그리고 1단계에서 정의한 설명의 목표에 가장 적합한 XAI 기법(예: LIME, SHAP, Grad-CAM 등)을 선택하여 적용한다.106
  5. 설명 인터페이스 개발: 생성된 설명을 대상 사용자가 쉽게 이해할 수 있도록 맞춤형 인터페이스를 개발한다. 개발자에게는 상세한 수치 데이터를, 비전문가에게는 직관적인 시각화나 자연어 요약을 제공하는 방식이 될 수 있다.106
  6. 평가 및 검증: Part 4에서 논의된 다각적인 평가 프레임워크를 활용하여 설명의 품질을 엄격하게 검증한다. 정량적 지표(충실도, 강건성), 건전성 검사, 그리고 실제 사용자를 대상으로 한 인간 중심 평가를 병행하여 설명의 신뢰성과 유용성을 확보해야 한다.106
  7. 모니터링 및 감사: AI 모델은 배포 후에도 지속적인 모니터링이 필요하다. 데이터 분포의 변화로 인해 모델 성능이 저하되는 ‘모델 드리프트(model drift)’ 현상이나 새로운 편향이 발생하는지 감시하고, XAI 도구를 활용하여 그 원인을 분석하고 모델을 재조정해야 한다.50

본 보고서에서 심층적으로 분석한 바와 같이, XAI는 AI 기술의 책임감 있는 발전을 위한 핵심 동력으로 자리 잡았으나, 여전히 많은 도전 과제를 안고 있다.

• 핵심 도전 과제 종합:
  • 정확도-설명가능성 상충관계: 고성능과 고도의 설명가능성을 동시에 달성하는 것은 여전히 어려운 문제로 남아있다.
  • 설명 평가의 표준화: 설명의 ‘품질’을 측정하는 객관적이고 보편적인 평가 기준과 벤치마크의 부재는 XAI 연구의 발전을 저해하는 요인이다.
  • 투명성의 보안 역설: 설명가능성이 야기하는 새로운 보안 취약점(적대적 XAI)에 대응하기 위한 강건한 방어 메커니즘 개발이 시급하다.
  • 확장성 문제: 수조 개의 파라미터를 가진 초거대 파운데이션 모델을 효율적으로, 그리고 의미 있는 수준에서 설명하는 기술은 아직 초기 단계에 있다.
• 유망한 연구 방향: 이러한 도전 과제들을 해결하기 위한 미래 연구는 다음과 같은 방향으로 전개될 것으로 전망된다.
  • 인과적 및 상호작용형 XAI의 성숙: 상관관계를 넘어 인과관계를 추론하고, 사용자와의 동적인 상호작용을 통해 설명을 공동으로 구성해나가는 패러다임이 주류로 부상할 것이다.
  • 적대적 공격에 대한 강건성 확보: 설명 자체의 보안을 강화하고, 조작된 설명을 탐지하며, 본질적으로 공격에 강한 XAI 방법론 개발이 중요해질 것이다.
  • 다각적 평가 프레임워크의 발전: 기술적 지표(충실도, 강건성)와 인간 중심 평가를 통합한 표준화된 평가 프로토콜과 벤치마크 개발이 가속화될 것이다.
• 결론적 비전: 결론적으로, XAI는 더 이상 AI 시스템에 부가적으로 추가되는 기능이 아니다. 그것은 책임감 있는 AI 개발의 근간을 이루는 필수적인 기둥이다. 불투명한 블랙박스에서 출발한 AI 기술이 진정으로 인간과 협력하고 소통할 수 있는 지능형 파트너로 진화하기 위한 여정에서, XAI는 핵심적인 역할을 수행할 것이다. 지난 10년이 성능의 시기였다면, 다가올 10년은 신뢰의 시기가 될 것이며, 그 중심에는 XAI가 있다. XAI는 단순한 투명성 도구를 넘어, AI 시대의 신뢰, 거버넌스, 그리고 인간-AI 파트너십을 위한 필수 사회 기반 시설로 발전해 나갈 것이다. 따라서 XAI에 대한 지속적인 연구와 혁신, 그리고 이를 뒷받침하는 제도적, 사회적 논의는 AI 기술이 인류에게 긍정적인 미래를 가져다주기 위한 필수불가결한 과업이다.

1. 설명 가능한 AI① XAI(eXplainable AI)란? – 개념, 역사, 중요성 - AHHA …, accessed July 12, 2025, https://ahha.ai/2024/07/09/xai/
2. 설명 가능한 AI(XAI)란 무엇인가요? - Hitek Software, accessed July 12, 2025, https://hiteksoftware.co.kr/blog/explainable-ai/
3. AI의 한계와 도전 과제, accessed July 12, 2025, https://contentstailor.com/entry/AI%EC%9D%98-%ED%95%9C%EA%B3%84%EC%99%80-%EB%8F%84%EC%A0%84-%EA%B3%BC%EC%A0%9C
4. 설명 가능한 AI(XAI)란 무엇인가요? - IBM, accessed July 12, 2025, https://www.ibm.com/kr-ko/think/topics/explainable-ai
5. 설명 가능한 인공지능(XAI)이란?, accessed July 12, 2025, https://www.irsglobal.com/bbs/rwdboard/15501
6. [딥러닝] 설명가능 인공지능이란? (A Survey on XAI) - JINHYO AI Blog, accessed July 12, 2025, https://realblack0.github.io/2020/04/27/explainable-ai.html
7. 설명 가능한 AI: 정의 이것이 어떻게 가능할까요? 그렇다면 데이터의 역할은 무엇입니까?, accessed July 12, 2025, https://www.netapp.com/ko/blog/explainable-ai/
8. 설명 가능한 AI(3) XAI와 AI 규제 준수와의 상관성? - AHHA Labs, accessed July 12, 2025, https://ahha.ai/2024/07/09/xai_reliability/

9. What is Explainable AI (XAI)?

   IBM, accessed July 12, 2025, https://www.ibm.com/think/topics/explainable-ai

10. 설명가능한 AI(Explainable AI): 투명성과 신뢰성 확보를 위한 핵심 기술과 미래 - Goover, accessed July 12, 2025, https://seo.goover.ai/report/202504/go-public-report-ko-48917449-f3c7-4ecb-9f38-c699e68cdce7-0-0.html
11. 인공지능 신뢰성 높이는 ‘설명가능 인공지능(XAI)’의 시대 - Appier, accessed July 12, 2025, https://www.appier.com/ko-kr/blog/explainable-ai-making-the-black-box-of-ai-into-a-glass-box
12. 설명가능한 인공지능(XAI) 관련 설명(5) - URBAN COMMUNICATOR - 티스토리, accessed July 12, 2025, https://narrowmoon.tistory.com/17
13. <지식 사전=""> 설명 가능한 AI(eXplainable AI, XAI): 비밀의 블랙박스를 열다, accessed July 12, 2025, https://blog.kakaocloud.com/99
14. 설명 가능한 인공지능(XAI)[XAI개념, AI와 XAI차이, 적용사례,한계] - 짐승Lab, accessed July 12, 2025, https://beast1251.tistory.com/209
15. 설명 가능한 인공지능 (Explainble AI, XAI)의 실제 적용 사례 - 메일리, accessed July 12, 2025, https://maily.so/inspirex/posts/vpzl98pnzk9
16. PDF 다운로드 - 네이버 프라이버시센터 - NAVER, accessed July 12, 2025, https://privacy.naver.com/download/2023_NaverPrivacyWhitePaper.pdf

17. Meaningful information and the right to explanation

    International Data Privacy Law, accessed July 12, 2025, https://academic.oup.com/idpl/article/7/4/233/4762325

18. The right to explanation in the GDPR, accessed July 12, 2025, https://centri.unibo.it/alma-ai/it/ricerca/wednesdais/the-right-to-explanation-in-the-gdpr-giovanni-sartor.pdf/@@download/file/The%20right%20to%20explanation%20in%20the%20GDPR%20-%20Giovanni%20Sartor.pdf
19. Is there a ‘right to explanation’ for machine learning in the GDPR? - IAPP, accessed July 12, 2025, https://iapp.org/news/a/is-there-a-right-to-explanation-for-machine-learning-in-the-gdpr
20. 유럽 일반 개인정보 보호법(GDPR)이란? - Veritas, accessed July 12, 2025, https://www.veritas.com/ko/kr/information-center/gdpr

21. 세계 최초의 AI 규제 법, 어떻게 대응할까?

    전략

    디지털

    하버드비즈니스리뷰[HBR], accessed July 12, 2025, https://www.hbrkorea.com/article/view/atype/di/category_id/1_1/article_no/1102

22. 인공지능 시스템에서 개인정보 처리방침 수립을 위한 법적/기술적 요구사항 분석 연구 - Korea Science, accessed July 12, 2025, https://koreascience.kr/article/JAKO202431757610624.page
23. [기고] 인공지능 신뢰성 높이는 설명가능 인공지능(XAI)의 시대 - 동아일보, accessed July 12, 2025, https://www.donga.com/news/It/article/all/20210222/105559874/1
24. Explainable AI - 1 - velog, accessed July 12, 2025, https://velog.io/@8068joshua/Explainable-AI-1
25. XAI(Explaniable AI)에 대한 간단한 이해 - Engineering insight - 티스토리, accessed July 12, 2025, https://limitsinx.tistory.com/204
26. LLMs for Explainable AI: A Comprehensive Survey - arXiv, accessed July 12, 2025, https://arxiv.org/pdf/2504.00125
27. Neuro-Symbolic AI: Explainability, Challenges, and Future Trends - arXiv, accessed July 12, 2025, https://arxiv.org/html/2411.04383v1
28. Is LIME better than SHAP when it comes to explaining Supervised ML Model Performance, accessed July 12, 2025, https://www.researchgate.net/post/Is_LIME_better_than_SHAP_when_it_comes_to_explaining_Supervised_ML_Model_Performance
29. Explainable AI: A Comprehensive Guide - Scribble Data, accessed July 12, 2025, https://www.scribbledata.io/blog/explainable-ai-a-comprehensive-guide/
30. LIME vs SHAP: A Comparative Analysis of Interpretability Tools - MarkovML, accessed July 12, 2025, https://www.markovml.com/blog/lime-vs-shap

31. Explainable AI (XAI): A survey of recents methods, applications and frameworks

    AI Summer, accessed July 12, 2025, https://theaisummer.com/xai/

32. 딥러닝 모델 해석 가능성: LIME과 SHAP 방법론 - 재능넷, accessed July 12, 2025, https://www.jaenung.net/tree/14581
33. LIME vs SHAP: What’s the Difference for Model Interpretability? - ApX Machine Learning, accessed July 12, 2025, https://apxml.com/posts/lime-vs-shap-difference-interpretability
34. [XAI] LIME(Local Interpretable Model-agnostic Explanation) 알고리즘 - 러닝머신의 Train Data Set, accessed July 12, 2025, https://myeonghak.github.io/xai/XAI-LIME(Local-Interpretable-Model-agnostic-Explanation)-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98/
35. 의료 분야에 활용되는 설명 가능한 인공지능(XAI) 활용 동향, accessed July 12, 2025, https://mediasvr.egentouch.com/egentouch.media/apiFile.do?action=view&SCHOOL_ID=1007002&URL_KEY=cfeff1db-8c14-44e6-98a4-f8b810963308
36. LIME vs SHAP: Which Is Better for Model Explanation? - Patsnap Eureka, accessed July 12, 2025, https://eureka.patsnap.com/article/lime-vs-shap-which-is-better-for-model-explanation
37. SHAP and LIME Python Libraries: Part 1 – Great Explainers, with Pros and Cons to Both, accessed July 12, 2025, https://domino.ai/blog/shap-lime-python-libraries-part-1-great-explainers-pros-cons
38. 설명 가능한 AI(2) XAI(eXplainable AI) 주요 방법론 - AHHA Labs, accessed July 12, 2025, https://ahha.ai/2024/07/09/xai_methods/
39. [eXplainableAI (XAI)] LIME, Shapely, PDP, Permutation Feature Importance 간략한 설명 및 장단점 - no - 티스토리, accessed July 12, 2025, https://jjcouple.tistory.com/44
40. 클래스 활성화 맵(Class Activation Map, CAM)과 시각적 설명 기법 - C’s Shelter - 티스토리, accessed July 12, 2025, https://gnuhcjh.tistory.com/253
41. Class Activation Map (CAM) 논문 요약/리뷰 - 머신러닝 projectz - 티스토리, accessed July 12, 2025, https://jays0606.tistory.com/4
42. Class Activation Mapping (CAM)과 Grad-CAM - AI-BLACK-TIGER - 티스토리, accessed July 12, 2025, https://ai-bt.tistory.com/entry/Class-Activation-Mapping-CAM%EA%B3%BC-Grad-CAM
43. 1. 너의 속이 궁금해 - Class Activation Map 살펴보기, accessed July 12, 2025, https://velog.io/@xpelqpdj0422/9.-%EB%84%88%EC%9D%98-%EC%86%8D%EC%9D%B4-%EA%B6%81%EA%B8%88%ED%95%B4-Class-Activation-Map-%EC%82%B4%ED%8E%B4%EB%B3%B4%EA%B8%B0
44. [6주차] 논문리뷰: CAM, Grad-CAM, Grad-CAM++ - velog, accessed July 12, 2025, https://velog.io/@tobigs_xai/CAM-Grad-CAM-Grad-CAMpp
45. 인공지능(AI) 기술의 놀라운 응용 사례: 의료, 금융, 제조업 혁신, accessed July 12, 2025, https://contentstailor.com/entry/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5AI-%EA%B8%B0%EC%88%A0%EC%9D%98-%EB%86%80%EB%9D%BC%EC%9A%B4-%EC%9D%91%EC%9A%A9-%EC%82%AC%EB%A1%80-%EC%9D%98%EB%A3%8C-%EA%B8%88%EC%9C%B5-%EC%A0%9C%EC%A1%B0%EC%97%85-%ED%98%81%EC%8B%A0
46. 자이메드, 의료 분야 위한 설명가능 인공지능 사례 공개 - 지티티코리아, accessed July 12, 2025, https://www.gttkorea.com/news/articleView.html?idxno=7117
47. ICLR 2024 미리 보기, accessed July 12, 2025, https://hyperlab.hits.ai/blog/iclr-2024
48. ICML 2024 미리 보기, accessed July 12, 2025, https://hyperlab.hits.ai/blog/ICML2024-Preview
49. 설명가능한 인공지능(XAI) 관련 설명(1) - URBAN COMMUNICATOR - 티스토리, accessed July 12, 2025, https://narrowmoon.tistory.com/13
50. Three Tips for Implementing Explainable AI - Altair, accessed July 12, 2025, https://altair.com/blog/executive-insights/three-tips-for-implementing-explainable-ai

51. How are methods in XAI evaluated?

    by Mohammad Amin Dadgar - Medium, accessed July 12, 2025, https://amindadgar.medium.com/how-are-methods-in-xai-evaluated-b5b3b942e06d

52. From Movements to Metrics: Evaluating Explainable AI Methods in Skeleton-Based Human Activity Recognition, accessed July 12, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC10975804/
53. Module 5. 『설명가능한 AI(Explainable AI)』 3. Explainable AI (XAI) - velog, accessed July 12, 2025, https://velog.io/@uvictoli/Module-5.-%E3%80%8E%EC%84%A4%EB%AA%85%EA%B0%80%EB%8A%A5%ED%95%9C-AIExplainable-AI%E3%80%8F-3.-Explainable-AI-XAI
54. [LG Aimers] 설명가능한 AI - 3. Explainable AI(XAI) - 3, accessed July 12, 2025, https://rahites.tistory.com/95
55. Evaluating interpretability - Introduction to AI Interpretability - WordPress.com, accessed July 12, 2025, https://introinterpretableai.wordpress.com/evaluating-interpretability/
56. Finding the right XAI method - A Guide for the Evaluation and Ranking of Explainable AI Methods in Climate Science - arXiv, accessed July 12, 2025, https://arxiv.org/html/2303.00652v2
57. An Overview of the Empirical Evaluation of Explainable AI (XAI): A Comprehensive Guideline for User-Centered Evaluation in XAI - MDPI, accessed July 12, 2025, https://www.mdpi.com/2076-3417/14/23/11288
58. “Explainable” AI Has Some Explaining to Do, accessed July 12, 2025, https://mit-serc.pubpub.org/pub/pt5lplzb
59. A View on Vulnerabilites: The Security Challenges of XAI (Academic Track) - DROPS, accessed July 12, 2025, https://drops.dagstuhl.de/entities/document/10.4230/OASIcs.SAIA.2024.12
60. arxiv.org, accessed July 12, 2025, https://arxiv.org/abs/2306.06123
61. (PDF) Adversarial XAI Methods in Cybersecurity - ResearchGate, accessed July 12, 2025, https://www.researchgate.net/publication/355029397_Adversarial_XAI_Methods_in_Cybersecurity
62. CristianCosci/Adversarial_attacks_on_Explainability_methods: AGV-Project for evolutionary adversarial attacks on XAI methods - GitHub, accessed July 12, 2025, https://github.com/CristianCosci/Adversarial_attacks_on_Explainability_methods
63. Adversarial Examples on XAI-Enabled DT for Smart Healthcare Systems - MDPI, accessed July 12, 2025, https://www.mdpi.com/1424-8220/24/21/6891
64. Adversarial attacks and defenses in explainable artificial intelligence …, accessed July 12, 2025, https://www.researchgate.net/publication/378327378_Adversarial_attacks_and_defenses_in_explainable_artificial_intelligence_A_survey
65. A Survey of Adversarial Defences and Robustness in NLP - arXiv, accessed July 12, 2025, https://arxiv.org/pdf/2203.06414
66. [ICLR 2024]Foundation Model 분야 최신 연구 동향 - LG AI Research BLOG, accessed July 12, 2025, https://www.lgresearch.ai/blog/view?seq=451
67. LLMs for Explainable AI: A Comprehensive Survey - arXiv, accessed July 12, 2025, https://arxiv.org/html/2504.00125v1
68. [2504.00125] LLMs for Explainable AI: A Comprehensive Survey - arXiv, accessed July 12, 2025, https://arxiv.org/abs/2504.00125
69. [2501.09967] Explainable artificial intelligence (XAI): from inherent explainability to large language models - arXiv, accessed July 12, 2025, https://arxiv.org/abs/2501.09967
70. Towards Transparent AI: A Survey on Explainable Large Language Models - arXiv, accessed July 12, 2025, https://arxiv.org/html/2506.21812
71. XAI for All: Can Large Language Models Simplify Explainable AI? - arXiv, accessed July 12, 2025, https://arxiv.org/html/2401.13110v1
72. CNN Explainer - Polo Club of Data Science, accessed July 12, 2025, https://poloclub.github.io/cnn-explainer/
73. Student project: Explainability of Features Learned by Diffusion Models, accessed July 12, 2025, https://www.cs.ox.ac.uk/teaching/studentprojects/934.html
74. A Survey on Diffusion Models for Anomaly Detection - arXiv, accessed July 12, 2025, https://arxiv.org/html/2501.11430v3
75. Diffusion-Guided Counterfactual Generation for Model Explainability …, accessed July 12, 2025, https://openreview.net/forum?id=ANrzX5KFAG
76. Explainable AI: Foundations, Applications, Opportunities for Data …, accessed July 12, 2025, https://romilapradhan.github.io/assets/pdf/xai-sigmod.pdf
77. NeurIPS Tutorial Causality for Large Language Models, accessed July 12, 2025, https://neurips.cc/virtual/2024/tutorial/99520
78. NeurIPS Poster From Causal to Concept-Based Representation Learning, accessed July 12, 2025, https://neurips.cc/virtual/2024/poster/93459
79. Leveraging explanations in interactive machine learning … - Frontiers, accessed July 12, 2025, https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2023.1066049/full
80. arxiv.org, accessed July 12, 2025, https://arxiv.org/html/2506.14777v2
81. From Explainable to Interactive AI: A Literature Review on … - arXiv, accessed July 12, 2025, https://arxiv.org/pdf/2405.15051
82. Leveraging Explanations in Interactive Machine Learning: An Overview - arXiv, accessed July 12, 2025, https://arxiv.org/pdf/2207.14526
83. Explainable AI as a User-Centered Design Approach - inovex GmbH, accessed July 12, 2025, https://www.inovex.de/de/blog/explainable-ai-as-a-user-centered-design-approach/
84. Designing Theory-Driven User-Centric Explainable AI. - NUS Ubicomp Lab, accessed July 12, 2025, https://ubiquitous.comp.nus.edu.sg/wp-content/uploads/2019/01/chi2019-reasoned-xai-framework.pdf
85. Neuro-symbolic AI - Wikipedia, accessed July 12, 2025, https://en.wikipedia.org/wiki/Neuro-symbolic_AI
86. Towards Cognitive AI Systems: a Survey and Prospective on Neuro-Symbolic AI - arXiv, accessed July 12, 2025, https://arxiv.org/pdf/2401.01040
87. (PDF) Neuro-Symbolic AI: Explainability, Challenges, and Future Trends - ResearchGate, accessed July 12, 2025, https://www.researchgate.net/publication/385629948_Neuro-Symbolic_AI_Explainability_Challenges_and_Future_Trends
88. Explainable Diagnosis Prediction through Neuro-Symbolic Integration - PMC, accessed July 12, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC12150699/
89. Neurosymbolic Reinforcement Learning and Planning: A Survey - NSF-PAR, accessed July 12, 2025, https://par.nsf.gov/servlets/purl/10481273
90. GraphXAI: a survey of graph neural networks (GNNs) for explainable …, accessed July 12, 2025, https://www.researchgate.net/publication/389678466_GraphXAI_a_survey_of_graph_neural_networks_GNNs_for_explainable_AI_XAI
91. GNNExplainer: Generating Explanations for Graph Neural Networks - Stanford Computer Science, accessed July 12, 2025, https://cs.stanford.edu/people/jure/pubs/gnnexplainer-neurips19.pdf
92. Generating Explanations for Graph Neural Networks - Duke Computer Science, accessed July 12, 2025, https://courses.cs.duke.edu/spring23/compsci590.1/Lectures/Pr-4-GNN-and-GNNExplainer.pdf
93. GNNExplainer: Generating Explanations for Graph Neural Networks - NIPS, accessed July 12, 2025, http://papers.neurips.cc/paper/9123-gnnexplainer-generating-explanations-for-graph-neural-networks.pdf

94. Explainability in Graph Neural networks with GNNExplainer

    by Sambhav Khurana, accessed July 12, 2025, https://medium.com/@sambhav.khurana006/explainability-in-graph-neural-networks-with-gnnexplainer-6287ec82dc28

95. GNNExplainer: Generating Explanations for Graph Neural Networks - PMC, accessed July 12, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC7138248/
96. Parameterized Explainer for Graph Neural Network, accessed July 12, 2025, https://users.cs.fiu.edu/~dluo/papers/neurips20/Main.html
97. BetaExplainer: A Probabilistic Method to Explain Graph Neural Networks - ResearchGate, accessed July 12, 2025, https://www.researchgate.net/publication/392386219_BetaExplainer_A_Probabilistic_Method_to_Explain_Graph_Neural_Networks

98. Explainable Quantum Machine Learning

    Request PDF - ResearchGate, accessed July 12, 2025, https://www.researchgate.net/publication/367359215_Explainable_Quantum_Machine_Learning

99. [Literature Review] Opportunities and limitations of explaining quantum machine learning, accessed July 12, 2025, https://www.themoonlight.io/en/review/opportunities-and-limitations-of-explaining-quantum-machine-learning
100. eXplainable AI for Quantum Machine Learning - ResearchGate, accessed July 12, 2025, https://www.researchgate.net/publication/365081252_eXplainable_AI_for_Quantum_Machine_Learning
101. [2211.01441] eXplainable AI for Quantum Machine Learning - arXiv, accessed July 12, 2025, https://arxiv.org/abs/2211.01441
102. Explaining Quantum Circuits with Shapley Values - arXiv, accessed July 12, 2025, https://arxiv.org/abs/2301.09138
103. From Black Box to Glass Box: A Step-by-Step Guide to Implementing, accessed July 12, 2025, https://superagi.com/from-black-box-to-glass-box-a-step-by-step-guide-to-implementing-explainable-ai-in-your-organization/
104. Explainable AI (XAI): The Complete Guide (2025) - Viso Suite, accessed July 12, 2025, https://viso.ai/deep-learning/explainable-ai/

105. A new look at the economics of AI

     MIT Sloan, accessed July 12, 2025, https://mitsloan.mit.edu/ideas-made-to-matter/a-new-look-economics-ai

106. Explainable AI Made Simple: Techniques, Tools & How To Tutorials - Spot Intelligence, accessed July 12, 2025, https://spotintelligence.com/2024/01/15/explainable-ai/
107. What are the best practices for implementing Explainable AI? - Milvus, accessed July 12, 2025, https://milvus.io/ai-quick-reference/what-are-the-best-practices-for-implementing-explainable-ai