Responsibility Gap in Collective Decision Making (2025-05-08)

Responsibility Gap in Collective Decision Making (2025-05-08)

2025-10-12, G25DR

1. 서론

현대의 사회-기술 시스템(socio-technical systems)이 점차 복잡해지고 불투명해짐에 따라, 책임 소재를 명확히 규명하는 문제는 21세기의 결정적인 도전 과제로 부상했다. 특히 인공지능(AI), 복잡한 조직 구조, 그리고 집단적 행위가 결합하는 지점에서 책임의 공백, 즉 ’책임 격차(Responsibility Gap)’가 발생한다. 나오모프(Naumov)와 타오(Tao)의 연구에 따르면, 책임 격차는 “어떤 단일 행위자도 개별적으로 책임지지 않는 집단 의사결정 메커니즘의 결과물 집합“으로 정의된다.1 이 문제는 단순히 기술적 또는 법적 난제에 그치지 않는다. 이는 정의, 책무성, 사회적 신뢰와 같은 우리 사회의 근본적인 규범 체계를 위협하는 심각한 사안이다.5

본 보고서는 책임 격차 문제를 다학제적 관점에서 심층적으로 분석하고자 한다. 이를 위해 철학적 윤리학, 형식 논리학 및 메커니즘 설계, 조직 이론 및 사회 심리학, 그리고 현대적 사례 연구라는 네 가지 핵심 영역을 통합적으로 고찰한다. 첫째, 책임의 개념적 토대와 그 침식 과정을 철학적으로 추적한다. 둘째, 책임 격차가 발생하거나 배제되는 구조적 조건을 형식 논리와 수학적 모델을 통해 분석한다. 셋째, 책임 격차를 실제로 발생시키는 인간적, 조직적 요인을 탐구한다. 마지막으로, 자율 시스템, 알고리즘 의사결정, 금융 시장 등 구체적인 사례를 통해 추상적인 이론을 현실에 접목한다.

본 보고서의 핵심 논지는 책임 격차가 단일한 현상이 아니라, 의사결정의 형식적 구조, 집단행동의 심리적 현실, 그리고 현대 기술 시스템(특히 AI)의 기술적 역량 간의 불일치에서 비롯되는 창발적 속성(emergent property)이라는 것이다. 책임 격차라는 용어 자체는 단순히 현상을 기술하는 데 그치지 않는다. 이는 특정 상태(아무도 책임지지 않음)에 대한 묘사와 함께, 그것이 바람직하지 않고 문제가 있다는 부정적 평가를 내포하는 ’두터운 개념(thick concept)’으로 기능한다.5 이러한 평가적 차원은 이 문제가 왜 시급하고 중요한 규범적 과제인지를 명확히 보여준다. 따라서 단일 차원(예: 순수 기술적 해결책 또는 순수 법적 규제)에만 초점을 맞춘 해결책은 불완전할 수밖에 없으며, 심지어 예기치 못한 새로운 책무성 문제를 야기할 수 있다.

2. 책임 격차의 개념적 토대

2.1 철학적 기원: 마티아스와 학습하는 자동기계

책임 격차에 대한 현대적 논의는 안드레아스 마티아스(Andreas Matthias)의 2004년 논문 “The responsibility gap: Ascribing responsibility for the actions of learning automata“에서 시작되었다고 평가받는다.7 마티아스의 핵심 주장은 다음과 같다. 전통적으로 기계의 작동 결과에 대한 책임은 제조자나 운영자의 통제와 예측 가능성에 근거하여 부과되었다. 그러나 신경망이나 유전 알고리즘에 기반한 ’학습하는 자동기계(learning automata)’는 이러한 연결고리를 근본적으로 파괴한다. 이들의 행동은 창발적이며 원칙적으로 창조자에 의해 예측될 수 없기 때문이다.8

이로 인해 사회는 딜레마에 직면한다. 이러한 강력한 기술의 사용을 포기하거나, 아니면 어떤 인간도 도덕적, 법적 책임을 질 수 없는 결과가 발생하는 미래를 받아들여야만 한다.9 마티아스의 연구는 이후 인공지능, 특히 스패로우(Sparrow)와 같은 학자들이 치명적 자율무기(LAWS)의 맥락에서 이 문제를 심화시키면서 전체 책임 격차 논의의 기폭제가 되었다.5

2.2 격차의 유형학: 예측 불가능성에서 구조로

책임 격차에 대한 논의는 AI의 예측 불가능성이라는 초기 초점에서 벗어나, 보다 정교한 유형학으로 발전했다. 이는 격차의 원인과 형태가 다양함을 보여준다.

  • 유형 1: 도덕적 행위자성 부재로 인한 격차: 이는 행위 주체(예: AI, 동물, 미성년자)가 도덕적 책임을 지는 데 필요한 역량을 결여한 상황을 의미한다.2 이는 전통적인 AI 윤리 문제의 핵심이다.
  • 유형 2: 집단행동으로 인한 격차 (구조적 격차): 이 경우는 완전히 유능한 도덕적 행위자들이 참여하더라도, 집단 의사결정 과정의 ‘설계’ 자체가 그룹의 결과에 대해 어떤 단일 개인에게도 책임을 물을 수 없도록 만드는 상황을 말한다.2 이는 나오모프와 타오의 연구 및 조직 이론 문헌의 주된 관심사이다.
  • 유형 3: 인식론적 및 통제적 격차: 최근의 논의는 격차를 더욱 세분화한다. **인식론적 책임 격차(Epistemological Responsibility Gaps, ERG)**는 시스템의 불투명성이나 복잡성으로 인해 누가 비난받아야 하는지 식별하기 어려운 문제를 포착한다. 반면, **통제 불일치(Control Misalignments, CM)**는 통제권을 가진 행위자와 책임을 져야 할 행위자가 일치하지 않는 상황에 초점을 맞춘다.5 산토니 데 시오(Santoni de Sio)와 메카치(Mecacci)는 이를 유책성(culpability), 책무성(accountability), 그리고 적극적 책임(active responsibility)의 격차로 나누어 분석하기도 했다.9

이러한 다양한 개념화는 책임 격차가 단일한 문제가 아님을 명확히 한다. 다음 표는 주요 학자들의 개념화를 체계적으로 정리한 것이다.

학자(들) / 개념주요 원인격차의 소재적용 영역 예시출처
Matthias (2004)학습하는 자동기계의 예측 불가능성 및 불투명성설계자/사용자의 유책성자율무기 (LAWS)7
Braham & van Hees (2011) / Naumov & Tao (2025)의사결정 메커니즘의 구조집단 내 개인의 책무성투표의 역설, 기업 이사회3
Pettit (2007)분산된 행위와 변명개인의 비난가능성 대 집단적 유해성기업의 위법 행위5
Santoni de Sio & Mecacci (2021)다면적 요인 (기술적, 조직적, 법적)유책성, 책무성, 적극적 책임복잡한 사회-기술 시스템9
Tollon (2024)개념적 결함인식론적 격차(비난 대상 식별) 대 통제 불일치AI 및 집단 행위자 (CAs)5

3. 집단 의사결정 메커니즘의 형식적 분석

3.1 나오모프-타오 프레임워크: 책임을 위한 형식 언어

책임 격차를 엄밀하게 분석하기 위해, 나오모프와 타오는 집단 의사결정 메커니즘을 위한 형식적 모델을 제안했다.1 이 모델에서 의사결정 메커니즘은 튜플(tuple) $ (V, E, A, \Delta, \tau, \ell) $로 정의된다. 각 구성 요소는 다음과 같다.

  • 방향성 트리 구조 $ (V, E) $: 의사결정 과정의 구조를 나타낸다. V는 모든 노드(node)의 집합이고, E는 방향성 있는 간선(edge)의 집합이다.
  • 행위자 집합 A: 의사결정 과정에 참여하는 모든 행위자(agent)의 집합이다.
  • 행동 집합 \Delta: 특정 의사결정 노드에서 각 행위자가 취할 수 있는 행동(action)들의 집합이다.
  • 선택 함수 \tau: 특정 노드에서 행위자들이 취한 행동들의 조합(action profile)에 따라 다음 노드로의 전이(transition)를 결정하는 함수이다.
  • 레이블링 함수 \ell: 최종 노드(leaf node)에 ‘Yes’ 또는 ’No’와 같은 최종 결과를 할당하는 함수이다.

이 추상적 개념들은 핵미사일 발사를 위한 ’2인 원칙(Two-person Rule)’과 같은 구체적인 예시를 통해 명확하게 이해될 수 있다.2 대통령이 발사를 결정하면(첫 번째 노드), 두 명의 장교가 동시에 키를 돌려야만(두 번째 노드) 발사가 이루어지는 구조는 이 형식적 모델로 정확하게 표현될 수 있다.

3.2 책임의 형식화: 방지할 수 있는 힘

이 모델에서 책임은 프랑크푸르트(Frankfurt)의 ’대안적 가능성의 원리(principle of alternative possibilities)’에 대한 반사실적(counterfactual) 해석에 기반한다.2 즉, 한 행위자가 어떤 결과를 ’일방적으로 방지할 수 있는 전략’을 가졌을 때 그 결과에 대해 책임이 있다고 정의된다.

이는 승리 집합(winning set), 즉 \text{win}_a(o)라는 개념을 통해 형식화된다. 이는 행위자 a가 결과 o를 보장할 수 있는 모든 노드의 집합을 의미한다.1 최종적으로, 행위자 a가 결과 노드 v에 대해 **책임이 있다(\text{Responsible})**는 것은, 루트(root)에서 v에 이르는 경로상에 행위자 a가 결과 \ell(v)를 보장할 수 있었던 의사결정 노드 u \in \text{win}_a(\ell(v))가 존재했음을 의미한다.1

이러한 정의에 따라, 책임 격차는 어떤 행위자도 이러한 책임의 조건을 만족시키지 못하는 최종 결과 노드들의 집합으로 형식적으로 정의된다.1

기호정의설명
$ (V, E) $뿌리 있는 방향성 트리의사결정 과정의 구조를 표현함.
$ D, L $의사결정 노드, 최종 노드과정의 비종결점과 종결점.
$ A $행위자 집합의사결정 참여자들.
$ \Delta^a_v $행동 집합노드 v에서 행위자 a가 취할 수 있는 행동들.
$ \tau_v $선택 함수행동 프로파일을 후속 노드로 매핑함.
$ \ell $레이블링 함수각 최종 노드에 이진 결과(Yes/No)를 할당함.
$ \text{win}_a(o) $승리 집합행위자 a가 결과 o를 강제할 수 있는 노드들의 집합.
$ \text{Responsible}(a, v) $책임 술어행위자 a가 최종 노드 v의 결과에 책임이 있으면 참.
$ \text{Gap} $책임 격차$ {v \in L \vert \forall a \in A, \neg \text{Responsible}(a, v)} $

3.3 선출된 독재자: ‘격차 없는’ 해결책과 그 함의

이 형식적 분석은 놀라운 결론에 도달한다. 완전 정보(perfect information) 환경에서, 한 의사결정 메커니즘에 책임 격차가 존재하지 않기 위한 필요충분조건은 그 메커니즘이 선출된 독재(elected dictatorship) 체제라는 것이다.1

’선출된 독재’란, 가능한 모든 결과에 대해 그 결과를 일방적으로 강제할 수 있는 힘을 가진 행위자(해당 결과에 대한 ‘독재자’)가 최소 한 명 존재하는 메커니즘을 의미한다. ’선출’이라는 표현은 결과에 따라 독재자의 역할을 다른 행위자가 맡을 수 있음을 시사한다. 불완전 정보(imperfect information) 환경으로 확장하면, 격차가 없는 메커니즘의 집합은 선출된 독재의 두 가지 변형 형태 사이에 엄격하게 위치하게 된다.1

이 형식적 결과는 단순한 기술적 호기심을 넘어, 집단행동에 내재된 깊은 긴장 관계를 수학적으로 증명한다. 완전한 책무성은 권력의 집중을 요구하는 것처럼 보인다. 우리가 집단 의사결정에서 가치 있게 여기는 특징들, 즉 분산된 영향력, 합의 형성, 견제와 균형 등은 구조적으로 책임 격차의 가능성을 만들어내는 바로 그 특징들이다. 책임이 ’결과를 일방적으로 방지할 수 있는 힘’으로 정의될 때, 진정으로 민주적이거나 합의 기반의 시스템은 정확히 어떤 단일 행위자도 그러한 일방적인 힘을 갖지 못하도록 설계된다. 따라서, ’격차가 없다’는 형식적 조건은 많은 집단 의사결정 기구의 원칙과 근본적으로 대립한다. 이는 ’다수 책임 문제(problem of many hands)’가 단순히 조직적 결함이 아니라, 독재를 피하기 위한 시스템의 본질적 특성일 수 있음을 시사한다. 그렇다면 목표는 격차를 완전히 제거하는 것(이는 독재자를 요구할 수 있음)이 아니라, 그 격차를 관리하고 그 경계를 명확히 하는 것일 수 있다.

4. 책임 격차의 인과적 구조

4.1 다수 책임 문제: 조직의 복잡성과 분산된 행위자성

책임 격차를 유발하는 핵심적인 조직적 동인은 데니스 톰슨(Dennis F. Thompson)이 처음 개념화한 ’다수 책임 문제(problem of many hands)’이다.16 거대하고 복잡한 조직에서는 수많은 개인이 집단적 결과에 작고 부분적인 방식으로 기여한다. 이러한 “행위자들의 확산은 행위자성의 위치를 모호하게 만들어” 어떤 개인의 기여도 충분조건이 되지 않으므로, 단일 개인에게 책임을 귀속시키기 어렵거나 불가능하게 만든다.16

이 문제는 책무성 할당에 있어 딜레마를 제기한다. 개인주의적 접근(특정 개인을 비난)은 종종 불공평하다. 개인은 결과를 바꿀 지식이나 권한이 없었을 수 있기 때문이다. 반면, 집단주의적 접근(조직 전체를 비난)은 비효율적일 수 있다. 이는 모든 구성원을 동등하게 비난하거나 모두를 면책시켜, 책임 있는 행동을 유도할 인센티브를 제공하지 못하기 때문이다.16 이 문제는 AI에 국한되지 않지만, 기술이 과정에 더 많은 ‘손’(비인간 행위자)을 추가함으로써 더욱 악화된다.16

4.2 무행동의 심리학: 집단 내 인지 편향

거시적인 조직적 문제는 미시적인 심리적 메커니즘에 의해 증폭된다.

  • 책임감 분산(Diffusion of Responsibility): 다른 사람들이 존재할 때, 개인은 행동이나 무행동에 대한 책임감을 덜 느끼는 심리적 효과이다. 타인의 존재가 개인적 의무감을 희석시키는 것이다.23 이는 ’방관자 효과(Bystander Effect)’의 기저 과정이다.24
  • 다원적 무지(Pluralistic Ignorance): 집단 구성원 대다수가 사적으로는 특정 규범을 거부하지만, 다른 대부분은 그 규범을 수용한다고 잘못 가정하여 순응하는 상황이다. 각 개인의 무행동은 다른 사람들에게 ’행동하지 않는 것이 올바른 반응’이라는 잘못된 믿음을 강화시킨다.23 이는 특히 사람들이 타인의 행동에서 단서를 찾는 모호한 상황에서 강력하게 작용한다.26

이 두 메커니즘은 상호작용한다. 다원적 무지(“다른 누구도 걱정하는 것 같지 않으니, 괜찮은가 보다”)는 책임감 분산(“다른 누군가가 처리하겠지”)에 대한 정당화를 제공한다. 이 둘이 결합하면 집단적 무행동과 침묵을 유발하는 강력한 힘이 된다.24

이러한 조직 구조와 인지 편향 사이에는 상호 강화적인 악순환 관계가 존재한다. ’다수 책임 문제’로 특징지어지는 복잡하고 계층적인 조직 구조는 책임감 분산과 다원적 무지를 촉발하는 모호성과 분산된 존재라는 조건을 만들어낸다. 역으로, 이러한 편향으로 인해 발생하는 무행동은 아무도 책임지고 상황을 바꾸려 하지 않으므로 그 기능 장애적인 조직 구조를 정당화하고 영속시킨다.29 이는 책임 격차가 자기 영속적인 시스템임을 보여준다. 따라서 개입은 반드시 시스템적이어야 한다. 단순히 개인에게 인지 편향을 교육하는 것(심리적 해결책)은, 그 편향이 번성할 조건을 지속적으로 재생산하는 조직 구조(구조적 문제)가 바뀌지 않는 한 실패할 것이다.

5. 실제 사례 분석

5.1 사례 1: 자율 시스템과 물리적 피해 — 2018년 우버 자율주행차 사망 사고

2018년, 우버의 자율주행 시험 차량이 보행자 일레인 허즈버그(Elaine Herzberg)를 치어 사망에 이르게 한 사건은 인간-AI 시스템에서 ’다수 책임 문제’가 어떻게 책임 격차를 생성하는지를 보여주는 교과서적인 사례이다. 사고의 핵심 사실에는 시스템이 보행자를 제대로 분류하지 못한 점, 안전 운전자의 주의 태만, 그리고 우버의 기업적 결정(예: 차량 본래의 비상 제동 시스템 비활성화, 부적절한 안전 문화) 등이 포함된다.30

이 사건에서 책임은 여러 주체에 걸쳐 분산되었다.

  • AI 시스템: 객체를 분류하는 데 실패했지만, 도덕적 행위자가 아니다.11
  • 안전 운전자: 부주의했지만, 시스템적 실패의 비난을 흡수하도록 설계된 ‘도덕적 완충지대(moral crumple zone)’ 역할에 놓여 있었다.31
  • 우버(기업): 치명적인 설계 및 정책 결정을 내렸지만, 분산된 집단 행위자이다.32
  • 엔지니어/설계자: 결함 있는 시스템을 만들었지만, 사고 당시 직접적인 통제권이 없었다.11
  • 규제 당국: 공공 도로에서의 시험을 허가했다.33

결과적으로 어떤 단일 주체도 완전한 책임을 지지 않지만, 심각한 피해가 발생했다. 말단의 운전자만이 형사 기소된 결과는, 책임이 가장 비난받을 만한 주체가 아닌 가장 편리한 대상에게 잘못 귀속되는 현실을 보여준다.

5.2 사례 2: 알고리즘 편향과 사회적 피해 — 아마존의 AI 채용 도구

아마존이 이력서 심사를 자동화하기 위해 개발한 AI 채용 도구는 또 다른 형태의 책임 격차를 드러낸다. 이 AI는 남성 중심적이었던 과거 10년간의 채용 데이터를 기반으로 훈련되었다.34 그 결과, 시스템은 ’여성(women’s)’이라는 단어가 포함된 이력서를 불리하게 평가하고, 여대 졸업자에게 낮은 점수를 주도록 학습했다.34

이 사례는 악의적인 의도 없이도 책임 격차가 발생할 수 있음을 보여준다.

  • 개인의 유책성 부재: 어떤 엔지니어도 시스템이 성차별적이 되도록 의도적으로 프로그래밍하지 않았다. 편향은 데이터와 기계 학습 과정의 창발적 속성이었다.35
  • 시스템적 피해: 알고리즘은 역사적, 구조적 편향을 대규모로 자동화하고 확장했다. ’잘못’은 데이터 자체에 내재되어 있었고, 그 데이터에 대해 책임질 단일 개인은 존재하지 않았다.37

이 사례는 인식론적 격차를 명확히 보여준다. 알고리즘의 ’블랙박스’적 특성은 왜 특정 결정이 내려졌는지 이해하기 어렵게 만들었고, 편향된 ’데이터’에 대한 책임은 너무나 분산되어 사실상 존재하지 않았다.

5.3 사례 3: 사회-기술 시스템과 시장 실패 — 2010년 ‘플래시 크래시’

2010년 5월 6일, 미국 주식 시장은 단 몇 분 만에 거의 1조 달러의 가치가 증발했다가 회복되는 ’플래시 크래시(Flash Crash)’를 경험했다. 최초의 방아쇠는 한 뮤추얼 펀드(Waddell & Reed)가 알고리즘을 통해 실행한 단일 대규모 매도 주문이었다.39

이 사건은 단일 행위자가 아닌, 수많은 고빈도 매매(High-Frequency Trading, HFT) 알고리즘들이 최초의 매도 주문과 서로의 반응에 초고속으로 자동 반응하면서 발생했다.

  • 연쇄적 실패: 대규모 매도 주문은 HFT들에 의해 흡수되었고, 이들이 다시 포지션을 정리하려 하면서 매도 압력의 피드백 루프가 형성되었다. 이는 다른 알고리즘들이 시장에서 유동성을 회수하게 만들어 붕괴를 가속화했다.41
  • 창발적 행동: 시장 붕괴는 시스템 전체의 창발적 속성이었다. 개별 알고리즘은 각자의 프로그래밍에 따라 ‘정상적으로’ 작동했을 수 있지만, 그들의 집단적 상호작용은 의도치 않은 파국적 결과를 낳았다.39 결국 ‘스푸핑(spoofing)’ 혐의로 한 명의 트레이더(Navinder Singh Sarao)에게 비난이 집중되었지만, 많은 분석가들은 이를 시스템적 취약성을 무시한 단순한 서사로 간주한다.40

플래시 크래시는 복잡하고 적응적인 사회-기술 시스템에서 발생하는 책임 격차의 전형적인 예이다. 인간의 인지 속도를 초월하는 속도로 상호작용하는 자율적 행위자들에 의해 결정이 내려질 때, 전통적인 인간의 책임 사슬은 완전히 단절된다.

6. 책무성을 향한 경로

6.1 기술적 개입: 설명가능 AI (XAI)

설명가능 AI(Explainable AI, XAI)는 ‘블랙박스’ 모델을 투명하고 이해 가능하게 만들어 결정에 대한 추적 가능성을 제공하는 것을 목표로 한다.44 LIME이나 SHAP과 같은 기술은 특정 결과에 어떤 특징이 영향을 미쳤는지 보여줌으로써, 결함 있는 데이터나 로직을 식별하여 책임 소재를 밝히는 데 도움을 줄 수 있다.44 이는 책임 격차의 인식론적 차원을 직접적으로 다룬다.

그러나 XAI는 명백한 한계를 가진다. XAI가 제공하는 설명은 법적으로 충분하지 않거나 모델의 실제 인과적 추론을 반영하지 못할 수 있다.47 또한 XAI는 사후적 도구이다. 즉, 결과가 발생한 후에야 설명을 제공하는 반면, ’책임감 있는 AI(Responsible AI)’는 설계 단계에서부터 책무성을 내재화하는 것을 목표로 한다.44

6.2 법적 및 거버넌스 프레임워크

  • 의미 있는 인간 통제(Meaningful Human Control, MHC): 특히 무기 시스템과 관련하여, 인간이 자율 시스템에 대한 궁극적인 통제와 도덕적 책임을 유지해야 한다는 원칙이다.48 문제는 인간의 이해를 넘어서는 속도와 복잡성으로 작동하는 시스템에서 ‘의미 있는’ 통제를 어떻게 정의하고 구현할 것인가에 있다.
  • 수정된 책임 체계: AI 시스템에 대한 엄격 책임(strict liability)이나 제조물 책임(product liability)을 확장하고, 입증 책임을 전환하는 방안이 제안된다.13 이는 격차의 ’결과’를 다루지만, 책임 ’귀속’의 근본적인 문제를 해결하지는 못할 수 있다.
  • 전자적 인격(Electronic Personhood): 정교한 AI에 특별한 법적 지위를 부여하여 권리와 책임을 지게 하자는 논쟁적인 제안이다.13 이는 기술을 의인화하고 인간의 책무성을 더욱 침식할 위험이 있다는 비판을 받으며, 대체로 결함 있는 접근법으로 간주된다.50
  • 포괄적 거버넌스: NIST의 AI 위험 관리 프레임워크나 EU의 AI 법(AI Act)과 같은 체계는 AI 생명주기 전반에 걸쳐 공정성, 투명성, 책무성을 보장하기 위한 정책, 위험 평가, 감사 시스템을 구축하고자 한다.52

6.3 책임을 위한 설계: 조직적 접근

가장 견고한 해결책은 단순히 기술적이거나 법적인 것이 아니라 구조적인 것일 수 있다. 이는 제3부의 분석과 직접적으로 연결된다.

  • 책무성 있는 조직 원칙: ’다수 책임 문제’에 대응하는 조직 구조를 설계하는 것이 포함된다. 명확한 책임 소재 설정, 명시적인 주의 기준(standards of care) 확립, 그리고 비난 회피가 아닌 소통과 조사를 장려하는 문화를 조성하는 것이 중요하다.17
  • 인간-AI 팀 구성 프레임워크: 각 과업에 대한 역할, 책임, 자율성 수준을 명확히 정의하는 인간-AI 협업 프로토콜을 개발해야 한다.56 이는 단순한 ‘감독’ 모델에서 벗어나, 신뢰와 공유된 정신 모델(shared mental models)이 적극적으로 배양되는 진정한 ‘팀 구성’ 모델로 나아가야 함을 의미한다.56

이러한 해결책들을 검토할 때, “해결주의(solutionism)“의 함정을 경계해야 한다. 즉, 책임 격차와 같은 복잡한 창발적 문제를 단일 도구나 규제(예: ‘XAI가 불투명성을 해결할 것이다’)로 ’해결’할 수 있다는 믿음이다. 각 제안된 해결책은 상당한 한계를 가지며 의도치 않은 결과를 낳을 수 있다.13 진정으로 효과적인 접근법은 기술 표준, 강력한 법적 감독, 그리고 책임 문화를 촉진하는 조직 구조 및 인센티브 시스템의 근본적인 재설계를 통합하는 하이브리드 방식이어야 한다. 목표는 격차를 메울 단일한 ’마개’를 찾는 것이 아니라, 복원력 있는 다층적 책무성 시스템을 구축하는 것이다.

7. 결론

책임 격차는 현대의 복잡하고 분산된 사회-기술 시스템의 내재적 특징이다. 이는 독재를 회피하려는 정치적 선택의 논리적 귀결이며(제2부), 전문화된 조직 구조의 필연적 결과이고(제3부), 집단 역학의 심리적 산물이며(제3부), 상호작용하는 자율 기술의 창발적 속성이다(제4부).

따라서 도전 과제는 수용 불가능한 권력 집중 없이는 달성하기 어려울 수 있는 유토피아적 ‘격차 없는’ 상태를 추구하는 것이 아니다. 대신, 책임의 경계를 명시적이고, 추적 가능하며, 이의를 제기할 수 있도록 만드는 기술적, 법적, 조직적 시스템을 설계하는 것이다. 초점은 비난할 단일 대상을 찾는 순전히 과거지향적 탐색에서, 집단적이고 개인적인 주의 의무를 배양하는 미래지향적 관점으로 전환되어야 한다.

향후 연구는 불완전 정보와 인간의 인지 편향을 통합하는 형식 모델 개발, 실제 환경에서 다양한 인간-AI 팀 구성 프레임워크의 효과성에 대한 실증 연구, 그리고 창발적 시스템 실패로 인한 피해를 다양한 책임 체계가 어떻게 다루는지에 대한 비교 법률 분석과 같은 핵심 영역에 집중해야 할 것이다. 이를 통해 우리는 점점 더 자동화되고 상호 연결되는 세상에서 인간 중심의 책무성을 유지하는 길을 모색할 수 있을 것이다.

8. 참고 자료

  1. Responsibility Gap in Collective Decision Making, https://arxiv.org/abs/2505.06312
  2. (PDF) Responsibility Gap in Collective Decision Making - ResearchGate, https://www.researchgate.net/publication/391676673_Responsibility_Gap_in_Collective_Decision_Making
  3. Responsibility Gap in Collective Decision Making - arXiv, https://arxiv.org/html/2505.06312v1
  4. Responsibility Gap in Collective Decision Making - IJCAI, https://www.ijcai.org/proceedings/2025/513
  5. What responsibility gaps are and what they should be, https://d-nb.info/1368808573/34
  6. A way forward for responsibility in the age of AI - Taylor & Francis Online, https://www.tandfonline.com/doi/full/10.1080/0020174X.2024.2312455
  7. The responsibility gap: Ascribing responsibility for the actions of learning automata - ResearchGate, https://www.researchgate.net/publication/225249319_The_responsibility_gap_Ascribing_responsibility_for_the_actions_of_learning_automata
  8. The responsibility gap: Ascribing responsibility for the actions of learning automata | Semantic Scholar, https://www.semanticscholar.org/paper/The-responsibility-gap%3A-Ascribing-responsibility-of-Matthias/05c08de1bf91cd52ea1d22e7238e33958b574a23
  9. Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them - ResearchGate, https://www.researchgate.net/publication/351579918_Four_Responsibility_Gaps_with_Artificial_Intelligence_Why_they_Matter_and_How_to_Address_them
  10. ascribing responsibility for the actions of learning automata - Lingnan Scholars, https://scholars.ln.edu.hk/en/publications/the-responsibility-gap-ascribing-responsibility-for-the-actions-o
  11. University of Groningen The risks of autonomous machines Hindriks, Frank; Veluwenkamp, Herman, https://research.rug.nl/files/553489201/s11229_022_04001_5.pdf
  12. Full article: Artificial agents: responsibility & control gaps - Taylor & Francis Online, https://www.tandfonline.com/doi/full/10.1080/0020174X.2024.2410995
  13. Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them, https://d-nb.info/1241162026/34
  14. Responsibility Gaps - ePrints Soton - University of Southampton, https://eprints.soton.ac.uk/495565/2/Philosophy_Compass_-2024-Da_Silva-_Responsibility_Gaps.pdf
  15. (PDF) Responsibility Gaps - ResearchGate, https://www.researchgate.net/publication/384845794_Responsibility_Gaps
  16. Designing responsibility: The problem of many hands in complex organizations, https://www.researchgate.net/publication/325583062_Designing_responsibility_The_problem_of_many_hands_in_complex_organizations
  17. The many-hands and many-causes problems - Alex Reinhart, https://www.refsmmat.com/notebooks/many-hands.html
  18. Designing Responsibility: The Problem of Many Hands in Complex …, https://www.cambridge.org/core/books/designing-in-ethics/designing-responsibility-the-problem-of-many-hands-in-complex-organizations/10E34F24290A2D48B8E5795C81EA1B40
  19. The Problem of Many Hands: Climate Change as an Example - PMC, https://pmc.ncbi.nlm.nih.gov/articles/PMC3275719/
  20. Designing Responsibility: The Problem of Many Hands in Complex Organizations - DASH (Harvard), https://dash.harvard.edu/bitstreams/7312037e-b8fa-6bd4-e053-0100007fdf3b/download
  21. Find the Gap: AI, Responsible Agency and Vulnerability - PMC - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC11153269/
  22. Moral Responsibility and the Problem of Many Hands | Request PDF - ResearchGate, https://www.researchgate.net/publication/303911077_Moral_Responsibility_and_the_Problem_of_Many_Hands
  23. Video: Urban Overload, Pluralistic Ignorance & Diffusion of Responsibility - Study.com, https://study.com/academy/lesson/video/urban-overload-pluralistic-ignorance-diffusion-of-responsibility-definition-and-effect-on-helping.html
  24. Diffusion of Responsibility - The Decision Lab, https://thedecisionlab.com/reference-guide/psychology/diffusion-of-responsibility
  25. Diffusion of Responsibility - FunBlocks AI, https://www.funblocks.net/thinking-matters/classic-mental-models/diffusion-of-responsibility
  26. Pluralistic Ignorance - The Decision Lab, https://thedecisionlab.com/biases/pluralistic-ignorance
  27. Pluralistic Ignorance: Definition & Examples - Simply Psychology, https://www.simplypsychology.org/pluralistic-ignorance.html
  28. A century of pluralistic ignorance: what we have learned about its origins, forms, and consequences - Frontiers, https://www.frontiersin.org/journals/social-psychology/articles/10.3389/frsps.2023.1260896/full
  29. Minding the (Organizational) Gaps: A Framework for Solving the Right Problems - Medium, https://medium.com/@andreplaut/minding-the-organizational-gaps-4c4f104a0620
  30. Identifying AI Hazards and Responsibility Gaps - ResearchGate, https://www.researchgate.net/publication/389930262_Identifying_AI_Hazards_and_Responsibility_Gaps
  31. Who Is Responsible When Autonomous Systems Fail? - Centre for International Governance Innovation, https://www.cigionline.org/articles/who-responsible-when-autonomous-systems-fail/
  32. Who is Responsible When Autonomous Systems Fail? | News - Northwestern Engineering, https://www.mccormick.northwestern.edu/news/articles/2020/11/who-is-responsible-when-autonomous-systems-fail.html
  33. AI & Accountability: Who’s at the Wheel? - Ethics Unwrapped - University of Texas at Austin, https://ethicsunwrapped.utexas.edu/case-study/a-i-accountability-whos-at-the-wheel
  34. 5 Real-life Examples of AI Bias - Digital Adoption, https://www.digital-adoption.com/ai-bias-examples/
  35. Hiring Bias Gone Wrong: Amazon Recruiting Case Study - Cangrade, https://www.cangrade.com/blog/hr-strategy/hiring-bias-gone-wrong-amazon-recruiting-case-study/
  36. Algorithmic Bias in Hiring: Fact or Myth? - Mitch Daniels School of Business, https://business.purdue.edu/daniels-insights/posts/2025/algorithmic-bias-in-hiring.php
  37. Algorithmic Bias in Job Hiring - Gender Policy Report - University of Minnesota, https://genderpolicyreport.umn.edu/algorithmic-bias-in-job-hiring/
  38. Discrimination and bias in AI recruitment: a case study - Lewis Silkin LLP, https://www.lewissilkin.com/insights/2023/10/31/discrimination-and-bias-in-ai-recruitment-a-case-study
  39. The flash crash: a review | Journal of Capital Markets Studies | Emerald Publishing, https://www.emerald.com/jcms/article/1/1/89/195579/The-flash-crash-a-review
  40. The Flash Crash of 2010 | Trading History - AvaTrade, https://www.avatrade.com/blog/trading-history/the-flash-crash-of-2010
  41. The Flash Crash, Two Years On - Liberty Street Economics, https://libertystreeteconomics.newyorkfed.org/2012/05/the-flash-crash-two-years-on/
  42. High-Frequency Trading and the Flash Crash: Structural Weaknesses in the Securities Markets and Proposed Regulatory Responses - UC Law SF Scholarship Repository, https://repository.uclawsf.edu/cgi/viewcontent.cgi?article=1172&context=hastings_business_law_journal
  43. New paper examines the details behind stock market ‘flash crash’ - UC Santa Cruz - News, https://news.ucsc.edu/2016/03/flash-crash/
  44. What is Explainable AI (XAI)? - IBM, https://www.ibm.com/think/topics/explainable-ai
  45. How does Explainable AI contribute to AI accountability? - Milvus, https://milvus.io/ai-quick-reference/how-does-explainable-ai-contribute-to-ai-accountability
  46. Legal Frameworks for XAI Technologies - XAI Conference, https://xaiworldconference.com/2025/legal-frameworks-for-xai-technologies/
  47. Can XAI methods satisfy legal obligations of transparency, reason- giving and legal justification?, https://cispa.de/elsa/2024/ELSA%20%20D3.4%20Short%20Report.pdf
  48. Ethical Analysis of the Responsibility Gap in Artificial Intelligence, https://ijethics.com/article-1-356-en.pdf
  49. Agent Allocation of Moral Decisions in Human-Agent Teams: Raise Human Involvement and Explain Potential Consequences | Request PDF - ResearchGate, https://www.researchgate.net/publication/392934364_Agent_Allocation_of_Moral_Decisions_in_Human-Agent_Teams_Raise_Human_Involvement_and_Explain_Potential_Consequences
  50. The Evolution of Legal Personhood and Its Implications for AI Recognition | Technology and Regulation, https://techreg.org/article/download/22555/25839/63145
  51. Robot as Legal Person: Electronic Personhood in Robotics and Artificial Intelligence - PMC, https://pmc.ncbi.nlm.nih.gov/articles/PMC8734654/
  52. What is AI Governance? - IBM, https://www.ibm.com/think/topics/ai-governance
  53. AI Governance Frameworks: Guide to Ethical AI Implementation - Consilien, https://consilien.com/news/ai-governance-frameworks-guide-to-ethical-ai-implementation
  54. A Systems Approach to Understanding Organizational Structure and Employee Development in Tech Sector - DSpace@MIT, https://dspace.mit.edu/bitstream/handle/1721.1/152821/yang-bryany-sm-sdm-2023-thesis.pdf?sequence=1
  55. Organizational Structure and Responsibility - SciTePress, https://www.scitepress.org/Papers/2006/24820/24820.pdf
  56. Human control of AI systems: from supervision to teaming - PMC - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC12058881/
  57. Unraveling Human-AI Teaming: A Review and Outlook - arXiv, https://arxiv.org/pdf/2504.05755
  58. Managing with Artificial Intelligence: An Integrative Framework - AOM Journals, https://journals.aom.org/doi/10.5465/annals.2022.0072
  59. Full article: Shaping a multidisciplinary understanding of team trust in human-AI teams: a theoretical framework - Taylor & Francis Online, https://www.tandfonline.com/doi/full/10.1080/1359432X.2023.2200172
  60. Frameworks for Effective Human-AI Teams: Models and Principles | by James Cullum, https://medium.com/@jamiecullum_22796/frameworks-for-effective-human-ai-teams-models-and-principles-db6b9e6d3efc
  61. Human-AI teams—Challenges for a team-centered AI at work - PMC - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC10565103/