10.10 안전성 사례(Safety Case) 구성 방법론

안전성 사례(safety case)는 시스템의 안전성에 관한 명시적 주장을 그 주장을 뒷받침하는 논증과 증거에 의하여 입증하는 통합적 문서이다. 자율주행 시스템과 같이 복잡하고 데이터 의존적인 시스템에서는 단일 시험이나 분석으로 안전성을 입증할 수 없으므로, 안전성 사례가 사실상의 평가 단위로 채택된다. 이 절에서는 안전성 사례의 학술적 정의, 구성 요소, 표기법, 작성 절차, 평가 절차, 자율주행 영역에서의 특수성을 학습 순서에 따라 기술한다.

1. 안전성 사례의 학술적 정의

UK Defence Standard 00-56 Issue 7 Safety Management Requirements for Defence Systems는 안전성 사례를 “주어진 응용 환경에서 시스템이 안전함을 입증하는 구조화된 논증과 증거의 집합“으로 정의한다. 동 표준은 안전성 사례가 다음의 속성을 가져야 한다고 규정한다.

명시성(explicit): 주장, 논증, 증거가 명시적으로 기술되어야 한다.
종합성(comprehensive): 시스템의 안전성에 관한 모든 측면을 다루어야 한다.
검증 가능성(verifiable): 독립된 평가자가 검증할 수 있어야 한다.
추적 가능성(traceable): 주장과 증거 사이의 추적이 가능해야 한다.

ISO 26262는 동일 개념을 안전 사례(safety case)로 명명하며, ANSI/UL 4600은 자율 제품의 평가 단위로 사용한다.

2. 구성 요소

안전성 사례는 다음의 핵심 구성 요소로 작성된다.

주장(claim): 시스템의 안전 속성에 관한 명시적 진술. 예: “시스템은 운용 설계 영역 내에서 충돌 위험을 합리적으로 감소시킨다.”
논증(argument): 주장을 뒷받침하는 추론의 구조. 분해와 결합의 단계를 포함한다.
증거(evidence): 논증의 근거가 되는 시험, 분석, 검증, 운영 데이터, 표준 적합성 증빙 등의 산출물
가정(assumption): 논증의 전제로서 명시되는 조건. 예: “차량의 운용은 사전 정의된 운용 설계 영역 내에서만 수행된다.”
맥락(context): 주장과 논증이 적용되는 환경, 표준, 책임 분담의 명세

3. 표기법

안전성 사례의 표기법은 학술적으로 다음의 두 가지가 자주 사용된다.

3.1 GSN (Goal Structuring Notation)

GSN은 주장을 목표(goal)로, 논증의 추론 단계를 전략(strategy)으로, 증거를 해(solution)로 표현하는 그래프 표기법이다. GSN은 University of York의 Tim Kelly의 박사 학위 논문 Arguing Safety — A Systematic Approach to Managing Safety Cases (1998)에서 체계화되었으며, GSN Community Standard Version 3 (2021)에 의하여 표기 기호와 규칙이 정의되어 있다.

3.2 CAE (Claim-Argument-Evidence)

CAE는 Adelard에 의하여 제안된 표기법으로서, 주장, 논증, 증거를 노드로 표현하고 그 관계를 명시화한다. CAE는 ASCAD (Adelard Safety Case Development Manual)에서 정의되어 있다.

두 표기법 모두 동일한 개념을 표현하지만, 표기 기호와 강조점에 차이가 있다.

4. 작성 절차

안전성 사례의 작성은 다음의 단계로 수행된다.

안전 목적의 정의: 안전성 사례가 입증해야 할 상위 수준의 안전 속성을 정의한다.
주장의 분해: 상위 주장을 보다 구체적인 하위 주장으로 분해한다. 분해는 시스템의 구조, 기능, 위험 영역에 따라 수행된다.
논증의 도출: 각 분해 단계에 대하여 추론 전략과 그 정당성을 명시화한다.
가정의 명시화: 분해와 추론에 사용되는 가정을 명시적으로 기술한다.
증거의 수집: 시험, 분석, 검증, 운영 데이터, 표준 적합성 증빙을 수집하여 하위 주장에 대응시킨다.
일관성과 충분성의 검토: 주장과 증거 사이의 추적, 가정의 타당성, 잔여 위험의 수용 가능성을 검토한다.
평가와 갱신: 안전성 사례를 독립 평가자에 의하여 평가하고, 운용 단계에서 지속적으로 갱신한다.

5. 자율주행 영역에서의 특수성

자율주행 시스템의 안전성 사례는 다음의 학술적 특수성을 가진다.

운용 설계 영역의 명세: 안전성 사례의 모든 주장이 운용 설계 영역에 종속되므로 이 영역의 명세가 핵심적이다.
데이터 의존성: 머신러닝 함수의 안전성은 학습 데이터의 충분성과 대표성에 의존하므로, 데이터에 관한 증거가 안전성 사례에 통합되어야 한다.
통계적 입증: 일부 안전 주장은 자연 주행 데이터와 시뮬레이션 결과로부터 통계적으로 입증된다.
통합성: 기능 안전(ISO 26262), SOTIF(ISO 21448), 사이버 보안(ISO/SAE 21434), 자율 제품 평가(ANSI/UL 4600)의 결과가 단일 안전성 사례에 통합되어야 한다.
살아있는 문서: 안전성 사례는 운용 단계의 데이터, 사고 보고, 위협 정보, 표준의 갱신을 반영하여 지속적으로 갱신된다.

6. 평가의 학술적 원칙

안전성 사례의 평가는 다음의 학술적 원칙을 따른다.

독립성: 평가자는 개발 조직과 독립되어야 한다.
충분성: 증거가 주장의 입증에 충분한지를 평가한다.
일관성: 주장, 논증, 증거 사이의 일관성을 평가한다.
잔여 위험의 수용 가능성: 잔여 위험이 사전에 정의된 수용 기준 이하인지를 평가한다.
가정의 타당성: 명시화된 가정이 운용 환경에서 타당한지를 평가한다.

이러한 원칙은 ANSI/UL 4600의 평가 절차와 정합되며, 형식 승인 기관과 독립 인증 기관에 의한 평가에 사용된다.

7. 한계와 학술적 비판

안전성 사례 접근에 대한 학술적 비판도 존재한다. 대표적인 비판으로 The Use of Safe Sets in the Validation of Safety Critical Systems와 같은 연구는 안전성 사례가 확증 편향(confirmation bias)에 취약할 수 있음을 지적한다. 이를 완화하기 위하여 반증 가능성(falsifiability), 적대적 분석(adversarial analysis), 독립적 신뢰성 사례(dependability case)와 같은 보완적 방법이 학술적으로 제안되어 왔다.

8. 출처 및 버전 정보

UK Ministry of Defence, Defence Standard 00-56 Issue 7 — Safety Management Requirements for Defence Systems, 2017
ISO 26262:2018, Road vehicles — Functional safety, International Organization for Standardization
ISO 21448:2022, Road vehicles — Safety of the intended functionality, International Organization for Standardization
ISO/SAE 21434:2021, Road vehicles — Cybersecurity engineering
ANSI/UL 4600:2023, Standard for Safety for the Evaluation of Autonomous Products, Underwriters Laboratories
Kelly, T., Arguing Safety — A Systematic Approach to Managing Safety Cases, University of York, 1998
GSN Community Standard Version 3, The Assurance Case Working Group, 2021
Adelard LLP, ASCAD — Adelard Safety Case Development Manual
Bloomfield, R., Bishop, P., Safety and Assurance Cases: Past, Present and Possible Future — an Adelard Perspective, Safety-Critical Systems Symposium, 2010
Leveson, N., The Use of Safety Cases in Certification and Regulation, MIT, 2011