STATERA Library · Volume 42 · Chapter 01 · KR
Source: https://github.com/Statera-Library/01_Vol_42_AI_Safety_Alignment_and_Interpretability/blob/main/Chapter_01_AI_Safety/Chapter_01_AI_Safety_KR.md
Volume 42. AI Safety Alignment and Interpretability
01. AI Safety
01.00 Overview
인공지능 안전(AI Safety)은 지능형 시스템(Intelligent Systems)이 허용할 수 없는 피해(Unacceptable Harm)를 일으키지 않으면서 신뢰성 있게 작동하도록 설계, 개발, 평가 및 운영하는 학문 분야이다. 인공지능(AI)이 핵심 기반 시설(Critical Infrastructure), 자율 기계(Autonomous Machines), 의료(Healthcare), 의사결정(Decision-Making) 과정에 점점 더 광범위하게 통합됨에 따라, 안전은 개발 이후 추가되는 선택적 기능이 아니라 기본적인 공학적 요구사항(Engineering Requirement)으로 다루어져야 한다.
인공지능 안전(AI Safety)의 핵심 목표는 지능형 시스템이 예상된 조건과 예상하지 못한 조건 모두에서 허용 가능한 경계(Acceptable Boundaries) 내에서 작동하도록 보장하는 것이다. 기존 소프트웨어(Conventional Software)와 달리 기계학습 모델(Machine Learning Models)은 명시적으로 프로그래밍된 규칙뿐만 아니라 데이터(Data)와 최적화(Optimization)를 통해 동작을 학습한다. 따라서 익숙하지 않은 환경, 모호한 지시 또는 비정상적인 입력 조합을 접하면 시스템의 결정을 예측하기 어려워질 수 있다.
인공지능 안전(AI Safety)은 기술적 신뢰성(Technical Reliability), 인간 보호(Human Protection), 운영 책임성(Operational Accountability), 의도하지 않은 결과(Unintended Consequences)의 예방을 포괄한다. 시스템이 높은 예측 정확도(Predictive Accuracy)를 달성하더라도 불안정한 동작, 부적절한 행동 또는 불충분한 안전장치(Safeguards)로 인해 안전하지 않을 수 있다. 따라서 안전 평가(Safety Evaluation)는 기존 성능 지표(Performance Metrics)를 넘어 잠재적 위험, 실패 심각도, 불확실성 및 잘못된 결정의 결과까지 검토해야 한다.
모델 성능(Model Performance)과 시스템 안전(System Safety) 사이에는 근본적인 차이가 존재한다. 성능은 인공지능 모델이 의도된 작업을 얼마나 효과적으로 수행하는지를 측정하는 반면, 안전은 해당 작업을 수행하는 과정에서 허용할 수 없는 결과를 회피하는지를 평가한다. 자율주행 차량(Autonomous Vehicle)이 높은 객체 탐지 정확도(Object Detection Accuracy)를 보이더라도, 중요한 운행 상황에서 간헐적인 인식 실패(Perception Failure)가 위험한 조향 결정으로 이어진다면 안전하지 않은 시스템으로 평가될 수 있다.
안전 요구사항(Safety Requirements)은 적용 환경(Application Environment)과 실패로 인해 발생할 수 있는 결과에 따라 크게 달라진다. 추천 시스템(Recommendation System)의 오류는 불편이나 경제적 손실을 초래할 수 있지만, 수술 로봇(Surgical Robotics), 자율 교통(Autonomous Transportation), 산업 자동화(Industrial Automation)의 실패는 신체적 상해를 발생시킬 수 있다. 따라서 인공지능 안전 공학(AI Safety Engineering)은 운영 환경, 위험 노출, 영향을 받는 집단 및 잠재적 결과의 심각도를 함께 고려해야 한다.
위험 평가(Risk Assessment)는 인공지능 안전 문제를 식별하고 우선순위를 결정하기 위한 체계적인 기반을 제공한다. 위험(Risk)은 일반적으로 유해 사건의 발생 가능성(Likelihood)과 결과의 심각도(Severity)를 통해 분석되지만, 실제 평가에서는 추가적인 요인도 영향을 미칠 수 있다. 효과적인 위험 평가는 잠재적 위해요인(Hazards), 발생 조건(Initiating Conditions), 시스템 취약성(System Vulnerabilities), 노출 경로(Exposure Pathways), 기존 보호 조치의 효과성을 종합적으로 검토한다.
인공지능 실패(AI Failures)는 학습 데이터(Training Data), 모델 구조(Model Architecture), 최적화 절차(Optimization Procedures), 환경 변화(Environmental Changes), 시스템 통합(System Integration) 등 상호작용하는 다양한 원인에서 발생할 수 있다. 이러한 실패가 반드시 알고리즘 자체의 결함 때문에 발생하는 것은 아니다. 올바르게 구현된 모델이라도 검증된 운영 조건을 벗어나거나 상위 센서 및 하위 제어 구성요소가 오작동하면 안전하지 않은 행동을 보일 수 있다.
분포 이동(Distribution Shift)은 배포 환경(Deployment Environment)의 통계적 특성이 학습 과정에서 경험한 특성과 달라질 수 있기 때문에 중요한 안전 문제로 작용한다. 조명, 날씨, 사용자 행동, 센서 특성 또는 운영 절차의 변화는 모델 신뢰성을 저하시킬 수 있다. 안전 중심 시스템(Safety-Oriented Systems)은 의미 있는 분포 변화를 탐지하고 불확실성을 추정하며, 익숙하지 않은 조건이 안정적인 작동을 위협할 때 적절하게 대응할 수 있어야 한다.
데이터 품질(Data Quality) 역시 중요하다. 기계학습 시스템(Machine Learning Systems)은 개발에 사용된 정보의 한계를 그대로 반영할 수 있기 때문이다. 불완전한 데이터 범위(Incomplete Coverage), 잘못된 레이블(Incorrect Labels), 표본 편향(Sampling Bias), 오래된 관측값(Outdated Observations), 손상된 측정값(Corrupted Measurements)은 체계적인 취약성을 유발할 수 있다. 따라서 안전 공학(Safety Engineering)에는 통제된 데이터 수집, 데이터셋 검증(Dataset Validation), 대표적인 시나리오 범위 확보 및 위험한 데이터 결함을 식별하는 절차가 필요하다.
모델 실패(Model Failures)는 잘못된 예측(Incorrect Predictions), 과도한 확신(Overconfident Outputs), 불안정한 결정(Unstable Decisions), 의도된 운영 제약(Operational Constraints)과 일치하지 않는 행동으로 나타날 수 있다. 일부 실패는 일반화 한계(Generalization Limitations)에서 발생하며, 다른 실패는 복잡한 구성요소 사이의 상호작용에서 나타난다. 이러한 메커니즘을 이해하려면 체계적인 오류 분석(Error Analysis), 불확실성 평가(Uncertainty Evaluation), 실패 유형 분류(Failure-Mode Classification), 위험 행동을 유발하는 조건에 대한 조사가 필요하다.
포괄적인 안전 프레임워크(Safety Framework)는 위해요인 식별(Hazard Identification)을 공학적 통제(Engineering Controls), 검증 증거(Validation Evidence), 운영 책임(Operational Responsibilities), 지속적 개선(Continuous Improvement)과 연결한다. 국제 표준(International Standards)과 위험 관리 지침(Risk Management Guidance)은 이러한 활동을 체계적으로 구성하는 접근법을 제공한다. 국제표준화기구 관련 표준(ISO Standards), 미국 국립표준기술연구소 인공지능 위험관리 프레임워크(NIST AI Risk Management Framework), 응용 분야별 안전 관행(Application-Specific Safety Practices)은 일관된 문서화, 거버넌스 및 평가를 지원할 수 있다.
안전한 모델 설계(Safe Model Design)는 학습 이전에 시작되며 시스템 수명주기(System Lifecycle) 전반에 걸쳐 지속된다. 개발자는 운영 요구사항(Operational Requirements)을 정의하고, 허용할 수 없는 행동을 식별하며, 측정 가능한 안전 제약(Safety Constraints)을 설정하고, 불확실성에 대한 시스템 대응 방식을 결정해야 한다. 구조적 설계 선택에는 제약 기반 의사결정(Constrained Decision-Making), 독립적 모니터링(Independent Monitoring), 보수적 행동 정책(Conservative Action Policies), 중복성(Redundancy), 더 안전한 대안으로 제어를 전환하는 메커니즘이 포함될 수 있다.
안전 메커니즘(Safety Mechanisms)은 단일 학습 모델의 정확성에만 의존해서는 안 된다. 심층 방어(Defense-in-Depth)는 예방적 통제(Preventive Controls), 이상 탐지(Anomaly Detection), 실행 시점 모니터링(Runtime Monitoring), 보호 대응(Protective Responses)을 결합하여 개별 실패가 즉시 위험한 결과로 이어지지 않도록 한다. 응용 분야에 따라 독립 안전 제어기(Independent Safety Controllers), 운영 경계(Operational Boundaries), 비상 정지 절차(Emergency Shutdown Procedures), 인간 개입 기능(Human Intervention Capabilities)이 포함될 수 있다.
불확실성 추정(Uncertainty Estimation)은 인공지능 예측을 언제 신뢰할 수 있는지 판단하는 데 중요한 역할을 한다. 모델은 익숙하지 않거나 모호한 정보를 입력받더라도 높은 확신을 가진 출력을 생성할 수 있으므로, 신뢰도 보정(Confidence Calibration)과 분포 외 탐지(Out-of-Distribution Detection)가 중요한 연구 분야가 된다. 안전 인식 시스템(Safety-Aware System)은 자신의 지식 한계를 인식하고 신뢰할 수 있는 작동을 보장하기 어려울 때 자율성(Autonomy)을 낮추거나 외부 지원을 요청해야 한다.
안전 시험(Safety Testing)은 정상 조건, 예측 가능한 교란(Foreseeable Disturbances), 희귀 사건(Rare Events), 복합적인 실패 조건에서 시스템의 행동을 검토해야 한다. 기존 시험 데이터셋(Test Datasets)은 유용한 기준 측정값을 제공하지만, 그것만으로 포괄적인 안전성을 입증할 수는 없다. 강건한 평가(Robust Evaluation)에는 시나리오 기반 시험(Scenario-Based Testing), 스트레스 시험(Stress Testing), 적대적 평가(Adversarial Assessment), 시뮬레이션(Simulation), 신중하게 통제된 실제 환경 실험(Real-World Experiments)이 필요하다.
시뮬레이션(Simulation)은 사람이나 장비를 불필요한 위험에 노출하지 않으면서 위험한 시나리오를 조사할 수 있도록 한다. 가상 환경(Virtual Environments)은 센서 성능 저하(Sensor Degradation), 환경 교란(Environmental Disturbances), 구성요소 실패(Component Failures), 비정상적인 상호작용을 대규모로 재현할 수 있다. 그러나 시뮬레이션과 물리적 환경 사이의 차이가 실제 배포 시스템의 중요한 한계를 감출 수 있으므로 시뮬레이션 결과는 신중하게 해석해야 한다.
안전 타당성 확인(Safety Validation)은 구현된 시스템이 지정된 운영 영역(Operational Domain) 내에서 정의된 요구사항을 충족한다는 증거를 필요로 한다. 검증(Verification)은 공학적 명세(Engineering Specifications)가 올바르게 구현되었는지를 확인하고, 타당성 확인(Validation)은 해당 명세와 구현이 의도된 사용 목적을 적절하게 충족하는지를 평가한다. 두 활동 모두 추적 가능한 요구사항(Traceable Requirements), 문서화된 가정(Documented Assumptions), 측정 가능한 수용 기준(Acceptance Criteria), 재현 가능한 시험(Reproducible Testing)을 통해 강화될 수 있다.
실행 시점 안전(Runtime Safety)은 실제 운영 과정까지 보호 공학(Protective Engineering)을 확장한다. 모니터링 구성요소(Monitoring Components)는 시스템 입력, 예측, 결정 및 환경 조건을 관찰하여 허용 가능한 행동에서 벗어나는 상황을 식별한다. 사전에 정의된 안전 임계값(Safety Thresholds)을 초과하면 감독 메커니즘(Supervisory Mechanisms)은 가능한 행동을 제한하거나, 대체 안전 절차(Fallback Procedures)를 시작하거나, 인간 감독(Human Oversight)을 요청하거나, 시스템을 최소 위험 상태(Minimum-Risk Condition)로 전환할 수 있다.
인간 감독(Human Oversight)은 불확실성, 윤리적 판단 또는 심각한 결과가 발생할 수 있는 환경에서 인공지능 시스템이 작동할 때 여전히 중요하다. 효과적인 감독은 단순히 인간 운영자(Human Operator)에게 책임을 부여하는 것 이상을 요구한다. 인터페이스(Interfaces)는 시스템 상태, 한계, 경고 및 개입 선택지를 전달해야 하며, 반응 시간(Reaction Time), 작업 부담(Workload), 자동화 편향(Automation Bias), 제어권을 실제로 회복할 수 있는 능력을 고려해야 한다.
자율주행(Autonomous Driving)은 인식 신뢰성(Perception Reliability), 의사결정(Decision-Making), 제어 안정성(Control Stability), 환경 불확실성(Environmental Uncertainty) 사이의 상호작용을 보여준다. 차량은 보행자, 장애물, 교통 신호 및 예상하지 못한 사건에 적절히 대응하면서 동적인 도로 상황을 해석해야 한다. 따라서 안전 공학(Safety Engineering)은 센서 중복성(Sensing Redundancy), 운영 설계 영역(Operational Design Domain), 시나리오 기반 평가, 결함 탐지(Fault Detection), 대체 안전 행동(Fallback Behavior)을 통합한다.
로봇공학(Robotics)은 지능형 의사결정이 물리적 움직임과 상호작용하는 힘에 직접적인 영향을 미치기 때문에 추가적인 안전 문제를 발생시킨다. 로봇 조작기(Manipulators), 이동 로봇(Mobile Robots), 협동 로봇(Collaborative Robots)은 기계적 제약(Mechanical Constraints), 충돌 한계(Collision Limits), 인간과의 근접성에 관한 요구사항을 준수해야 한다. 안전한 로봇 운영은 학습 기반 인식 및 계획(Learned Perception and Planning)을 기존 제어 원리(Control Principles), 보호 센싱(Protective Sensing), 제약된 움직임(Constrained Motion), 비상 대응 메커니즘과 결합한다.
의료 인공지능(Healthcare AI)은 임상적 타당성(Clinical Validity), 환자 보호(Patient Protection), 데이터 품질(Data Quality), 인간 책임성(Human Accountability)과 관련된 안전 요구사항을 가진다. 진단 지원 모델(Diagnostic Support Models)은 환자 특성이나 임상 조건이 개발 과정에서 사용된 모집단과 다를 경우 잘못된 권고를 생성할 수 있다. 적절한 안전장치에는 대표성 있는 검증(Representative Validation), 불확실성 전달(Uncertainty Communication), 업무 흐름 통합(Workflow Integration), 성능 저하 모니터링, 자격을 갖춘 임상 전문가의 감독(Qualified Clinical Oversight)이 포함된다.
인공지능 안전(AI Safety)은 정렬(Alignment), 해석 가능성(Interpretability), 공정성(Fairness), 강건성(Robustness), 보안(Security)과 밀접하게 연결되지만, 각 분야는 신뢰할 수 있는 행동의 서로 다른 측면을 다룬다. 정렬은 시스템 목표가 의도된 인간의 목표와 일치하는지를 검토하고, 해석 가능성은 모델 행동을 이해하는 방법을 연구한다. 공정성은 불평등한 영향을 고려하며, 강건성과 보안은 교란, 취약성 및 적대적 간섭(Adversarial Interference)에 대응한다.
거버넌스(Governance)는 개발과 배포 전반에 걸쳐 안전을 관리하기 위한 조직적 책임을 확립한다. 효과적인 거버넌스는 의사결정 권한(Decision Authority), 문서화 요구사항(Documentation Requirements), 위험 수용 절차(Risk Acceptance Procedures), 사고 보고(Incident Reporting), 독립적 검토 메커니즘(Independent Review Mechanisms)을 정의한다. 기술적 증거(Technical Evidence)는 관리 의사결정을 뒷받침해야 하며, 규제 의무(Regulatory Obligations)와 적용 가능한 표준은 특정 응용 분야 및 운영 환경에 필요한 통제 조치를 결정하는 데 도움을 준다.
안전 공학(Safety Engineering)은 배포 조건, 사용자 집단, 소프트웨어 의존성(Software Dependencies), 위협 환경(Threat Environments)이 시간이 지남에 따라 변화하므로 지속적인 모니터링(Continuous Monitoring)을 필요로 한다. 초기 타당성 확인(Initial Validation)에서 허용 가능한 성능을 보인 모델도 환경이 변화하면 신뢰성이 저하될 수 있다. 운영 모니터링(Operational Monitoring), 사고 조사(Incident Investigation), 통제된 업데이트(Controlled Updates), 회귀 시험(Regression Testing), 정기적인 재평가(Periodic Reassessment)는 배포된 시스템의 수명주기 전반에 걸쳐 안전을 유지하는 데 기여한다.
안전 벤치마크(Safety Benchmarks)는 모델을 비교하고 취약성을 식별하기 위한 표준화된 증거를 제공하지만, 벤치마크 점수(Benchmark Scores)를 무조건적인 안전 보장으로 해석해서는 안 된다. 평가 품질(Evaluation Quality)은 시나리오 관련성(Scenario Relevance), 시험 범위(Test Coverage), 측정 타당성(Measurement Validity), 재현성(Reproducibility)에 따라 달라진다. 의미 있는 안전 평가(Safety Assessment)는 정량적 성능 지표(Quantitative Performance Indicators)를 위해요인별 분석(Hazard-Specific Analysis), 문서화된 한계(Documented Limitations), 현실적인 운영 조건에서 확보한 증거와 결합한다.
인공지능 안전(AI Safety)의 궁극적인 목적은 점점 더 높은 능력을 갖추는 지능형 시스템을 신뢰할 수 있고, 제어 가능하며, 인간의 복지(Human Well-Being)와 양립할 수 있도록 만드는 것이다. 이러한 목표를 달성하려면 위험 평가(Risk Assessment), 실패 분석(Failure Analysis), 안전 프레임워크(Safety Frameworks), 모델 설계(Model Design), 시험(Testing), 배포 공학(Deployment Engineering), 운영 거버넌스(Operational Governance)의 조화로운 발전이 필요하다. 인공지능의 능력과 응용 분야가 확장됨에 따라 안전은 지속적이고 증거에 기반한 과정(Evidence-Based Process)으로 유지되어야 한다.
01.01 Safety Definitions
인공지능 안전(AI Safety)은 인공지능 시스템(Artificial Intelligence Systems)이 개발, 배포 및 운영 과정에서 허용할 수 없는 피해(Unacceptable Harm)를 발생시키지 않도록 하기 위한 원칙, 방법론 및 공학적 실무(Engineering Practices)를 의미한다. 이는 인간, 물리적 환경(Physical Environments), 디지털 기반 시설(Digital Infrastructure), 사회적 이익(Societal Interests)의 보호를 포괄한다. 안전은 단순히 실패가 없는 상태가 아니라 인공지능 시스템 수명주기(AI System Lifecycle) 전반에 걸쳐 위험을 체계적으로 식별, 감소 및 관리하는 과정으로 정의된다.
안전한 인공지능 시스템(Safe AI System)은 정의된 조건에서 허용 가능한 위험 수준(Acceptable Level of Risk)을 유지하면서 지정된 제약조건(Specified Constraints) 내에서 작동하는 시스템이다. 이러한 정의는 복잡한 환경에서 절대적인 안전(Absolute Safety)을 일반적으로 보장할 수 없다는 점을 인정한다. 대신 안전 공학(Safety Engineering)은 측정 가능한 요구사항을 수립하고, 예측 가능한 위해요인(Foreseeable Hazards)을 평가하며, 유해한 결과의 발생 가능성과 영향을 줄이는 보호 메커니즘(Protective Mechanisms)을 구현한다.
피해(Harm)의 개념은 예방하거나 완화해야 할 결과를 결정하기 때문에 인공지능 안전(AI Safety)의 핵심 요소이다. 피해에는 신체적 상해(Physical Injury), 심리적 고통(Psychological Distress), 경제적 손실(Financial Loss), 개인정보 침해(Privacy Violations), 환경 피해(Environmental Damage), 필수 서비스 중단(Disruption of Essential Services) 등이 포함될 수 있다. 응용 분야마다 이러한 결과에 부여하는 우선순위가 다르므로 안전의 정의는 운영 환경(Operational Context), 영향을 받는 이해관계자(Affected Stakeholders), 잠재적 영향의 심각도(Severity)에 따라 달라진다.
위해요인(Hazard)은 피해를 발생시킬 가능성이 있는 조건이나 원인을 의미하며, 위험(Risk)은 그러한 피해가 발생할 가능성과 그 결과를 설명한다. 인공지능 시스템에서 위해요인은 잘못된 예측(Incorrect Predictions), 부적절한 행동(Inappropriate Actions), 손상된 센서 입력(Corrupted Sensor Inputs), 통신 및 제어 실패(Communication and Control Failures)에서 발생할 수 있다. 위험 평가(Risk Assessment)는 이러한 위해요인이 유해 사건(Harmful Events)으로 발전하는 과정을 분석하고 그 결과를 예방하거나 제한하기 위한 조치를 식별한다.
위험(Risk)은 일반적으로 부정적 사건(Adverse Event)의 발생 가능성(Likelihood)과 결과의 심각도(Severity)를 통해 특성화된다. 그러나 실제 인공지능 위험 평가(AI Risk Evaluation)에서는 노출 빈도(Exposure Frequency), 불확실성(Uncertainty), 탐지 가능성(Detectability), 실패 복구 능력(Recovery Capability)도 고려할 수 있다. 이러한 요소는 평상시 높은 신뢰성을 보이더라도 드문 사건이 심각한 결과를 초래할 수 있는 동적 환경(Dynamic Environments)에서 특히 중요하다.
안전(Safety)과 신뢰성(Reliability)은 밀접하게 관련되어 있지만 서로 다른 공학적 목표(Engineering Objectives)를 나타낸다. 신뢰성은 지정된 조건에서 시스템이 의도된 기능을 시간에 걸쳐 일관되게 수행하는 능력을 의미한다. 반면 안전은 시스템이 설계된 대로 작동하는 상황까지 포함하여 허용할 수 없는 피해를 회피하는 데 초점을 맞춘다. 따라서 높은 신뢰성을 가진 인공지능 시스템이라도 의도된 동작 자체가 위험한 결과를 발생시킨다면 안전하지 않을 수 있다.
강건성(Robustness)은 교란(Disturbances), 불확실성(Uncertainty), 운영 조건의 변화(Variations in Operating Conditions)에 노출되더라도 인공지능 시스템이 허용 가능한 성능을 유지하는 능력을 의미한다. 이러한 교란에는 잡음이 포함된 입력(Noisy Inputs), 환경 변화(Environmental Changes), 센서 성능 저하(Sensor Degradation), 적대적 조작(Adversarial Manipulation)이 포함될 수 있다. 강건성은 안전에 기여하지만 모델의 출력과 행동이 관련 안전 요구사항(Safety Requirements)을 충족하지 않는다면 강건한 모델이라고 해서 반드시 안전한 것은 아니다.
보안(Security)은 무단 접근(Unauthorized Access), 악의적 간섭(Malicious Interference), 데이터 조작(Data Manipulation), 기타 의도적인 위협(Intentional Threats)으로부터 인공지능 시스템을 보호하는 것을 의미한다. 사이버 공격(Cyberattacks)이 물리적 행동이나 중요한 의사결정에 영향을 미칠 수 있을 때 안전과 보안은 서로 연결된다. 예를 들어 조작된 센서 데이터(Manipulated Sensor Data)는 자율 로봇(Autonomous Robot)이 위험한 움직임을 수행하도록 만들 수 있으며, 이는 안전 공학이 우발적 실패(Accidental Failures)와 의도적 공격(Deliberate Attacks)을 모두 고려해야 하는 이유를 보여준다.
정렬(Alignment)은 인공지능 시스템의 목표와 행동이 의도된 인간의 목표(Human Goals), 지시(Instructions), 가치(Values)에 얼마나 부합하는지를 나타낸다. 정렬 실패(Misalignment)는 시스템이 최적화 작업(Optimization Task)을 성공적으로 수행하더라도 안전하지 않은 결과를 초래할 수 있다. 따라서 안전은 기술적 실패뿐만 아니라 잘못 명세된 목표(Incorrectly Specified Objectives), 의도하지 않은 유인(Unintended Incentives), 인간의 기대나 운영 제약조건과 충돌하는 행동까지 고려해야 한다.
신뢰할 수 있음(Trustworthiness)은 안전(Safety), 신뢰성(Reliability), 강건성(Robustness), 보안(Security), 투명성(Transparency), 책임성(Accountability), 개인정보 보호(Privacy), 공정성(Fairness)을 결합하는 보다 포괄적인 개념이다. 신뢰할 수 있는 인공지능 시스템(Trustworthy AI System)은 행동을 적절하게 평가, 모니터링 및 관리할 수 있다는 증거를 제공해야 한다. 그러나 개별 속성들이 서로 충돌할 수 있고 한 영역에서 허용 가능한 성능이 다른 영역의 안전을 보장하지 않으므로, 신뢰할 수 있음이 안전 분석(Safety Analysis)을 대체할 수는 없다.
기능 안전(Functional Safety)은 안전 관련 기능(Safety-Related Functions)을 수행하는 시스템의 오작동(Malfunctioning Behavior)으로 인해 발생하는 허용할 수 없는 위험을 예방하는 것을 의미한다. 인공지능 기반 기계(AI-Enabled Machinery)에서 기능 안전은 실패 모니터링(Failure Monitoring), 운영 한계(Operating Limits)의 강제 적용, 보호 행동(Protective Actions)의 실행을 포함할 수 있다. 기계학습(Machine Learning)은 하드웨어와 소프트웨어 구성요소가 기존의 결함 없이 작동하더라도 불완전한 일반화(Imperfect Generalization)로 인해 안전하지 않은 행동이 나타날 수 있다는 추가적인 문제를 제기한다.
운영 안전(Operational Safety)은 실제 시스템 사용 과정에서 허용 가능한 위험 수준을 유지하는 데 초점을 맞춘다. 이는 환경 조건(Environmental Conditions), 인간과의 상호작용(Human Interaction), 유지보수 절차(Maintenance Procedures), 시스템 구성(System Configuration), 예상하지 못한 운영 교란(Operational Disturbances)을 고려한다. 실험실 시험(Laboratory Testing)을 통과한 모델도 익숙하지 않은 환경에 배포되면 안전하지 않을 수 있으므로, 명확하게 정의된 운영 조건과 지속적인 안전 모니터링(Continuous Safety Monitoring)이 중요하다.
운영 설계 영역(Operational Design Domain)은 인공지능 기반 시스템(AI-Enabled System)이 작동하도록 의도된 구체적인 조건을 정의한다. 이러한 조건에는 지리적 경계(Geographic Boundaries), 환경 특성(Environmental Characteristics), 속도 제한(Speed Limits), 센서 가용성(Sensor Availability), 상호작용 제약조건(Interaction Constraints)이 포함될 수 있다. 명시적인 운영 경계(Operational Boundaries)는 검증된 운영 조건과 제한된 행동, 인간 개입 또는 통제된 종료가 필요한 상황을 구분하므로 의미 있는 안전 주장(Safety Claims)을 뒷받침한다.
안전 제약조건(Safety Constraint)은 위험한 결과를 예방하기 위해 시스템 행동을 제한하는 요구사항이다. 이러한 제약조건은 최대 운영 속도(Maximum Operating Speed), 최소 이격 거리(Minimum Separation Distance), 금지된 행동(Prohibited Actions), 허용 가능한 불확실성 임계값(Acceptable Uncertainty Thresholds)을 정의할 수 있다. 일반적인 성능 목표(Performance Objectives)와 달리 안전 제약조건은 효율성, 정확도, 생산성 또는 작업 완료율을 높이기 위해 위반해서는 안 되는 경계(Boundaries)를 설정한다.
고장 안전 동작(Fail-Safe Behavior)은 결함(Faults)이나 안전하지 않은 조건이 발생했을 때 피해를 예방하거나 제한하도록 설계된 시스템 대응을 의미한다. 응용 분야에 따라 이러한 대응에는 움직임 정지(Stopping Motion), 구동기 비활성화(Actuator Disabling), 제어권 이전(Control Transfer), 보호 운영 모드(Protected Operating Mode)로의 전환이 포함될 수 있다. 모든 환경에서 즉각적인 종료(Immediate Shutdown)가 가장 안전한 대응은 아니므로, 고장 안전 상태(Fail-Safe State)는 위해요인 분석(Hazard Analysis)을 통해 정의되어야 한다.
안전 보증(Safety Assurance)은 시스템이 안전 요구사항(Safety Requirements)을 충족한다는 정당화된 신뢰(Justified Confidence)를 확보하는 체계적인 과정이다. 이는 위해요인 분석(Hazard Analysis), 공학적 통제(Engineering Controls), 검증(Verification), 타당성 확인(Validation), 시험(Testing), 운영 증거(Operational Evidence)를 결합한다. 안전 사례(Safety Case)는 주장(Claims), 논증(Arguments), 뒷받침하는 증거(Supporting Evidence)를 체계화하여 식별된 위험이 의도된 운영 조건 내에서 적절하게 통제된다고 판단하는 근거를 설명한다.
검증(Verification)과 타당성 확인(Validation)은 안전 공학(Safety Engineering)에서 상호 보완적인 개념이다. 검증은 시스템이 명세된 요구사항(Specified Requirements)에 따라 구현되었는지를 판단하고, 타당성 확인은 시스템이 의도된 사용 목적(Intended Use)에 적합한지를 평가한다. 인공지능 응용 분야에서는 이러한 활동이 데이터 품질(Data Quality), 모델 행동(Model Behavior), 통합 효과(Integration Effects), 환경 변화(Environmental Variation), 잘못된 예측이나 결정의 결과를 고려해야 한다.
안전 모니터링(Safety Monitoring)은 시스템 행동(System Behavior)과 운영 조건(Operating Conditions)을 관찰하여 새롭게 나타나는 위해요인(Emerging Hazards), 비정상 상태(Abnormal States), 사전에 정의된 제약조건의 위반(Constraint Violations)을 식별하는 활동이다. 모니터링에는 불확실성 추정(Uncertainty Estimates), 이상 탐지(Anomaly Detection), 진단 신호(Diagnostic Signals), 독립적인 감독 메커니즘(Independent Supervisory Mechanisms)이 활용될 수 있다. 효과적인 모니터링은 위험한 조건이 허용할 수 없는 결과로 발전하기 전에 적시에 개입할 수 있도록 지원해야 한다.
잔여 위험(Residual Risk)은 보호 조치(Protective Measures)를 구현한 이후에도 남아 있는 위험을 의미한다. 복잡한 인공지능 시스템(Complex AI Systems)은 일반적으로 모든 가능한 실패를 제거할 수 없으므로, 잔여 위험은 명시적인 수용 기준(Acceptance Criteria)에 따라 평가되어야 한다. 허용 가능한 위험(Acceptable Risk)에 관한 결정에는 응용 환경(Application Context), 잠재적 피해(Potential Harm), 규제 요구사항(Regulatory Requirements), 이해관계자의 기대(Stakeholder Expectations), 사용 가능한 안전장치(Safeguards)의 효과성을 고려해야 한다.
안전 필수 응용 분야(Safety-Critical Applications)와 비안전 필수 응용 분야(Non-Safety-Critical Applications)의 구분은 시스템 실패의 결과를 반영한다. 안전 필수 인공지능 시스템(Safety-Critical AI Systems)은 오작동하거나 부적절하게 행동할 경우 심각한 상해, 인명 손실 또는 중대한 환경 피해에 직접적으로 기여할 수 있다. 이러한 응용 분야는 결과가 상대적으로 제한적인 시스템보다 더 강력한 안전 보증(Safety Assurance), 엄격한 타당성 확인(Rigorous Validation), 독립적인 보호 메커니즘(Independent Protective Mechanisms), 강화된 운영 감독(Operational Oversight)을 요구한다.
인공지능 안전(AI Safety)은 궁극적으로 기계학습 모델(Machine Learning Model)의 독립적인 특성이 아니라 시스템 수준의 속성(System-Level Property)이다. 안전한 운영(Safe Operation)은 데이터(Data), 알고리즘(Algorithms), 하드웨어(Hardware), 소프트웨어(Software), 인간 운영자(Human Operators), 조직적 절차(Organizational Procedures), 환경 조건(Environmental Conditions) 사이의 상호작용에 의해 결정된다. 일관된 안전 정의(Safety Definitions)를 확립하면 엔지니어와 이해관계자가 요구사항을 명확하게 전달하고 위험을 평가하며 책임 있는 인공지능 배포(Responsible AI Deployment)를 위한 증거 기반 접근법(Evidence-Based Approaches)을 개발할 수 있다.
01.02 Risk Assessment
위험 평가(Risk Assessment)는 인공지능 시스템(Artificial Intelligence Systems)과 관련된 잠재적 피해(Potential Harms)를 식별, 분석 및 평가하는 체계적인 과정이다. 그 목적은 인공지능의 행동(AI Behavior), 기술적 실패(Technical Failures), 환경 조건(Environmental Conditions), 인간과의 상호작용(Human Interactions)이 어떻게 허용할 수 없는 결과를 발생시킬 수 있는지 판단하는 것이다. 효과적인 위험 평가는 시스템 설계(System Design), 배포 준비 상태(Deployment Readiness), 보호 통제(Protective Controls), 운영 책임(Operational Responsibilities)에 관한 합리적인 의사결정을 지원한다.
인공지능 위험 평가(AI Risk Assessment)는 기계학습(Machine Learning)의 행동이 데이터에서 학습한 통계적 패턴(Statistical Patterns)에 의존하기 때문에 기존 소프트웨어 평가(Conventional Software Evaluation)와 차이가 있다. 모델은 익숙하지 않은 입력, 변화하는 환경 또는 불완전한 정보를 접할 때 예상하지 못한 출력을 생성할 수 있다. 따라서 위험 평가는 구성요소의 실패뿐만 아니라 불확실성(Uncertainty), 일반화 한계(Generalization Limitations), 데이터 의존성(Data Dependencies), 학습된 행동과 시스템 수준 제약조건(System-Level Constraints) 사이의 상호작용까지 검토해야 한다.
평가 과정(Assessment Process)은 시스템의 의도된 목적(Intended Purpose), 운영 환경(Operational Environment), 허용 가능한 행동의 경계(Boundaries of Acceptable Behavior)를 정의하는 것에서 시작된다. 이러한 정의는 위해요인(Hazards)을 식별하고 평가하기 위한 맥락을 확립한다. 중요한 고려사항에는 사용자 특성(User Characteristics), 배포 조건(Deployment Conditions), 사용 가능한 센서(Available Sensors), 의사결정 권한(Decision Authority), 환경 변동성(Environmental Variability), 잘못되거나 지연된 시스템 대응의 잠재적 결과가 포함된다.
위해요인 식별(Hazard Identification)은 신체적 상해(Physical Injury), 경제적 손실(Financial Loss), 개인정보 침해(Privacy Violations), 환경 피해(Environmental Damage), 필수 서비스 중단(Disruption of Essential Services)으로 이어질 수 있는 조건을 검토한다. 인공지능 시스템에서 위해요인은 잘못된 예측(Incorrect Predictions), 부정확한 신뢰도 추정(Misleading Confidence Estimates), 부적절한 행동(Inappropriate Actions), 센서 실패(Sensor Failures), 잘못 명세된 목표(Poorly Specified Objectives)에서 발생할 수 있다. 위해요인 식별에는 정상 운영(Normal Operation), 예측 가능한 오용(Foreseeable Misuse), 비정상 조건(Abnormal Conditions), 시스템 구성요소 사이의 상호작용을 고려해야 한다.
위험 분석(Risk Analysis)은 식별된 위해요인(Hazards)이 어떻게 유해 사건(Harmful Events)으로 발전할 수 있는지 조사한다. 여기에는 발생 조건(Initiating Conditions), 인과 메커니즘(Causal Mechanisms), 노출 경로(Exposure Pathways), 기존 안전장치(Existing Safeguards), 가능한 결과(Possible Consequences)가 포함된다. 예를 들어 자율 이동 로봇(Autonomous Mobile Robot)은 센서 가림(Sensor Occlusion)으로 인해 보행자를 탐지하지 못하여 위험한 주행 결정(Unsafe Navigation Decision)을 내릴 수 있다. 분석에서는 인식 실패(Perception Failure)와 충돌을 방지하기 위한 보호 메커니즘(Protective Mechanisms)을 모두 검토해야 한다.
위험(Risk)은 일반적으로 유해 사건(Harmful Event)의 발생 가능성(Likelihood)과 결과의 심각도(Severity)를 사용하여 평가한다. 발생 가능성은 사건이 발생할 것으로 추정되는 가능성을 나타내며, 심각도는 잠재적 피해의 크기를 설명한다. 그러나 드물게 발생하는 인공지능 실패(Rare AI Failures)에 대해서는 이러한 차원을 정량화하기 어려울 수 있다. 따라서 실제 평가에서는 정량적 증거(Quantitative Evidence), 공학적 판단(Engineering Judgment), 불확실성 분석(Uncertainty Analysis), 명시적으로 문서화된 가정(Documented Assumptions)을 결합한다.
정성적 위험 평가(Qualitative Risk Assessment)는 위험을 낮음(Low), 보통(Moderate), 높음(High), 치명적(Critical)과 같은 서술적 범주로 분류한다. 이러한 범주는 신뢰할 수 있는 수치 추정값이 없는 경우 공학적 대응의 우선순위를 결정하는 데 도움을 준다. 위험 행렬(Risk Matrix)은 발생 가능성(Likelihood)과 심각도(Severity) 등급을 결합할 수 있지만, 그 결과는 범주 정의(Category Definitions)와 평가 가정(Assessment Assumptions)에 따라 달라진다. 따라서 위험 행렬은 구조화된 판단(Structured Judgment)을 지원해야 하며, 위험 시나리오(Hazardous Scenarios)에 대한 상세한 분석을 대체해서는 안 된다.
정량적 위험 평가(Quantitative Risk Assessment)는 측정 가능한 확률(Probabilities), 발생 빈도(Frequencies), 노출 수준(Exposure Levels), 예상 결과(Expected Consequences)를 사용하여 위험을 추정한다. 과거 사고 기록(Historical Incident Records), 시뮬레이션 결과(Simulation Results), 운영 측정값(Operational Measurements), 통제된 실험(Controlled Experiments)은 이를 뒷받침하는 증거를 제공할 수 있다. 그러나 수치 추정값은 제한된 관측(Limited Observations), 불확실한 분포(Uncertain Distributions), 시험 환경과 배포 환경의 차이를 고려해야 하며, 그렇지 않으면 잘못된 확신(Misleading Confidence)을 초래할 수 있다.
고장 형태 및 영향 분석(Failure Mode and Effects Analysis, FMEA)은 개별 구성요소나 기능이 어떻게 실패할 수 있으며, 그러한 실패가 전체 시스템에 어떤 영향을 미치는지 검토한다. 인공지능 응용 분야에서 고장 형태(Failure Modes)에는 잘못된 분류(Incorrect Classification), 추론 지연(Delayed Inference), 센서 데이터 손상(Sensor Corruption), 불안정한 제어 출력(Unstable Control Outputs), 통신 중단(Communication Interruptions)이 포함될 수 있다. 이 분석은 각 고장 형태를 잠재적 결과(Potential Consequences), 탐지 메커니즘(Detection Mechanisms), 시정 조치(Corrective Measures)와 연결한다.
결함 트리 분석(Fault Tree Analysis, FTA)은 특정 위험 결과(Hazardous Outcome)를 발생시킬 수 있는 사건의 조합을 검토하는 상호 보완적인 접근법이다. 이 방법은 바람직하지 않은 사건(Undesirable Event)에서 출발하여 기여하는 실패(Contributing Failures)와 의존 관계(Dependencies)를 역방향으로 식별한다. 인공지능 기반 시스템(AI-Enabled Systems)에서 이러한 의존 관계에는 동시에 또는 순차적으로 발생하는 인식 오류(Perception Errors), 의사결정 실패(Decision Failures), 하드웨어 결함(Hardware Faults), 비효과적인 안전 모니터(Safety Monitors)가 포함될 수 있다.
시나리오 기반 위험 평가(Scenario-Based Risk Assessment)는 현실적인 운영 상황(Operational Situations)에서 인공지능의 행동을 평가한다. 시나리오는 일상적인 활동(Routine Activities), 환경 교란(Environmental Disturbances), 희귀 사건(Rare Events), 예상하지 못한 조건의 조합을 나타낼 수 있다. 이러한 평가의 가치는 관련 위해요인(Relevant Hazards)과 운영 경계(Operational Boundaries)를 얼마나 잘 반영하는지에 따라 결정된다. 신중하게 설계된 시나리오는 개별 구성요소 시험(Component Tests)에서 놓칠 수 있는 상호작용을 드러낸다.
분포 이동(Distribution Shift)은 배포 데이터(Deployment Data)가 모델 학습(Model Training)에 사용된 정보와 다를 때 위험을 발생시킨다. 조명(Lighting), 날씨(Weather), 센서 특성(Sensor Characteristics), 사용자 행동(User Behavior), 운영 환경(Operating Environments)의 변화는 예측 성능을 저하시킬 수 있다. 위험 평가는 모델 신뢰성(Model Reliability)이 불확실해지는 조건을 식별하고, 모니터링(Monitoring), 제한된 운영(Restricted Operation), 재학습(Retraining), 인간 개입(Human Intervention)이 필요한지 판단해야 한다.
불확실성 평가(Uncertainty Assessment)는 이용 가능한 지식의 한계와 가능한 결과의 변동성(Variability)을 평가한다. 데이터 불확실성(Data Uncertainty)은 잡음이 포함된 측정값(Noisy Measurements)이나 모호한 관측(Ambiguous Observations)에서 발생할 수 있으며, 모델 불확실성(Model Uncertainty)은 불충분한 학습 범위(Insufficient Training Coverage)를 반영할 수 있다. 이러한 불확실성은 위험 추정(Risk Estimates)과 안전 결정(Safety Decisions)에 대한 신뢰도에 영향을 미친다. 시스템은 불확실성을 적절하게 전달하고 신뢰할 수 없는 예측을 확립된 사실처럼 취급하지 않아야 한다.
위험 완화(Risk Mitigation)는 위해요인(Hazards)을 제거하거나 발생 가능성을 줄이거나 결과를 제한하는 조치를 선택하는 과정이다. 가능한 통제 조치(Controls)에는 개선된 데이터셋(Improved Datasets), 모델 제약조건(Model Constraints), 중복 센싱(Redundant Sensing), 독립적 모니터링(Independent Monitoring), 제한된 운영 영역(Restricted Operating Domains), 보호 정지 메커니즘(Protective Shutdown Mechanisms)이 포함된다. 각 조치의 효과성(Effectiveness)은 일반적인 성능 향상만으로 가정해서는 안 되며, 해당 조치가 대응하는 구체적인 위해요인을 기준으로 평가해야 한다.
잔여 위험(Residual Risk)은 위험 완화 조치(Mitigation Measures)를 구현한 이후에도 남아 있는 위험 수준을 의미한다. 잔여 위험의 수용 가능성(Acceptability)은 응용 분야의 요구사항(Application Requirements), 규제 의무(Regulatory Obligations), 이해관계자의 기대(Stakeholder Expectations), 잠재적 결과(Potential Consequences)에 따라 달라진다. 위험 수용(Risk Acceptance)은 문서화된 증거(Documented Evidence)와 명확하게 지정된 의사결정 권한(Decision Authority)을 바탕으로 이루어져야 한다. 해결되지 않은 높은 심각도의 위해요인(High-Severity Hazards)은 추가 통제, 제한된 배포 또는 운영 연기를 필요로 할 수 있다.
지속적 위험 평가(Continuous Risk Assessment)는 인공지능 시스템과 운영 환경이 배포 이후에도 변화하기 때문에 필요하다. 모델 업데이트(Model Updates), 데이터 분포 변화(Changing Data Distributions), 새로운 사용자 행동(New User Behaviors), 새롭게 나타나는 취약성(Emerging Vulnerabilities)은 이전에 식별되지 않은 위해요인을 발생시킬 수 있다. 운영 모니터링(Operational Monitoring), 사고 보고(Incident Reporting), 정기적인 재평가(Periodic Reassessment), 통제된 변경 관리(Controlled Change Management)는 시스템 수명주기(System Lifecycle) 전반에 걸쳐 안전 관련 의사결정의 유효성을 유지하도록 지원한다.
자율주행(Autonomous Driving)의 위험 평가는 인식(Perception), 예측(Prediction), 경로 계획(Planning), 차량 제어(Vehicle Control) 사이의 상호작용을 고려해야 한다. 위해요인은 보행자 미탐지(Missed Pedestrians), 잘못된 궤적 추정(Incorrect Trajectory Estimates), 위치 추정 오류(Localization Errors), 제동 결정 지연(Delayed Braking Decisions)에서 발생할 수 있다. 개별 오류가 안전 필수 행동(Safety-Critical Actions)으로 전파될 수 있으므로, 평가에서는 교통 복잡성(Traffic Complexity), 환경 불확실성(Environmental Uncertainty), 주행 속도(Operating Speed), 사용 가능한 대체 안전 기능(Fallback Capabilities)을 고려해야 한다.
로봇공학(Robotics)에서 위험 평가는 지능형 의사결정(Intelligent Decision-Making)을 물리적 움직임(Physical Motion) 및 환경과의 상호작용(Environmental Interaction)과 연결해야 한다. 관련 위해요인에는 충돌(Collisions), 불안정한 조작(Unstable Manipulation), 과도한 힘(Excessive Force), 예상하지 못한 움직임(Unexpected Movement), 위치 추정 상실(Loss of Localization)이 포함된다. 효과적인 평가는 기계적 한계(Mechanical Limitations), 센서 신뢰성(Sensor Reliability), 제어 응답(Control Response), 인간과의 근접성(Human Proximity), 자율성이 신뢰할 수 없게 되었을 때 안전하게 전환하는 능력을 검토한다.
의료 인공지능(Healthcare AI)은 임상적 결과(Clinical Consequences), 환자 다양성(Patient Variability), 데이터 대표성(Data Representativeness), 인간 감독(Human Oversight)을 고려하는 위험 평가가 필요하다. 잘못된 예측(Incorrect Predictions)은 진단 지연(Delayed Diagnosis), 부적절한 치료(Inappropriate Treatment), 불필요한 의료 개입(Unnecessary Intervention)에 영향을 미칠 수 있다. 따라서 평가는 임상 업무 흐름(Clinical Workflows), 불확실성 전달(Uncertainty Communication), 검증 대상 집단(Validation Populations), 인공지능이 생성한 권고(AI-Generated Recommendations)를 해석하는 의료 전문가의 책임을 검토해야 한다.
조직 거버넌스(Organizational Governance)는 위험 평가 결과(Risk Assessment Findings)가 공학적 의사결정(Engineering Decisions)과 배포 결정(Deployment Decisions)에 어떻게 반영되는지를 결정한다. 책임에는 위해요인 관리 책임(Hazard Ownership), 문서화(Documentation), 독립적 검토(Independent Review), 위험 완화 검증(Mitigation Verification), 잔여 위험의 공식적 수용(Formal Acceptance of Residual Risks)이 포함되어야 한다. 식별된 위해요인, 안전 요구사항(Safety Requirements), 구현된 통제 조치(Implemented Controls), 타당성 확인 증거(Validation Evidence) 사이의 추적성(Traceability)은 체계적인 감사(Systematic Auditing)를 가능하게 하고 개발 전반에 걸친 책임성(Accountability)을 지원한다.
효과적인 인공지능 위험 평가(AI Risk Assessment)는 기술적 분석(Technical Analysis)을 운영 환경에 대한 이해(Operational Understanding) 및 지속적인 증거 수집(Continuous Evidence Collection)과 통합한다. 단일 지표(Single Metric), 시험 방법(Testing Method), 프레임워크(Framework)만으로 모든 잠재적 피해 원인을 포괄할 수는 없다. 포괄적인 접근법(Comprehensive Approach)은 위해요인 식별(Hazard Identification), 정성적 및 정량적 분석(Qualitative and Quantitative Analysis), 시나리오 평가(Scenario Evaluation), 위험 완화 검증(Mitigation Verification), 수명주기 모니터링(Lifecycle Monitoring)을 결합하여 더욱 안전하고 책임 있는 인공지능 시스템(Responsible AI Systems)의 개발과 운영을 지원한다.
01.03 Failure Modes
인공지능 시스템(Artificial Intelligence Systems)의 실패 유형(Failure Modes)은 모델 또는 통합 응용 시스템이 부정확하거나 신뢰할 수 없거나 안전하지 않은 행동을 발생시키는 메커니즘을 설명한다. 개발 과정에서 높은 성능을 달성했다고 해서 배포 이후에도 안정적인 운영이 보장되는 것은 아니므로, 이러한 메커니즘을 이해하는 것이 중요하다. 인공지능 실패(AI Failures)는 일반적으로 분포 이동(Distribution Shift), 데이터 품질 문제(Data Quality Problems), 모델의 한계(Model Limitations), 그리고 복잡한 운영 환경에서 이러한 요인들 사이의 상호작용으로 인해 발생한다.
분포 이동(Distribution Shift)은 배포 데이터(Deployment Data)의 통계적 특성(Statistical Characteristics)이 학습 데이터(Training Data)에 나타난 특성과 달라질 때 발생한다. 기계학습 모델(Machine Learning Models)은 일반적으로 학습된 관계가 추론(Inference) 과정에서도 충분히 안정적으로 유지된다고 가정한다. 이러한 가정이 성립하지 않으면 예측 정확도(Prediction Accuracy)와 신뢰도 보정(Confidence Calibration)이 저하될 수 있다. 분포 이동은 환경 조건이 지속적이고 예측하기 어렵게 변화할 수 있는 자율 시스템(Autonomous Systems)에서 특히 중요하다.
공변량 이동(Covariate Shift)은 입력 특징(Input Features)의 분포가 변화하지만 입력과 목표 출력 사이의 조건부 관계(Conditional Relationship)는 안정적으로 유지되는 현상을 의미한다. 예를 들어 맑은 주간 환경에서 학습된 비전 모델(Vision Model)은 시각적 특성이 크게 다른 야간 영상(Nighttime Images)을 접할 수 있다. 기본적인 객체 범주(Object Categories)는 변하지 않더라도 관측된 특징 분포(Feature Distribution)가 학습 경험과 다르기 때문에 모델은 객체 인식(Object Recognition)에 어려움을 겪을 수 있다.
레이블 이동(Label Shift)은 학습과 배포 사이에서 목표 클래스(Target Classes)의 상대적 빈도가 변화하지만 클래스 조건부 입력 분포(Class-Conditional Input Distributions)는 안정적으로 유지되는 현상이다. 의료 진단 모델(Medical Diagnostic Model)은 학습 집단과 질병 유병률(Disease Prevalence)이 다른 환자 집단을 접할 수 있다. 이러한 변화는 예측 확률(Predicted Probabilities)과 의사결정 임계값(Decision Thresholds)에 영향을 미칠 수 있으므로 신중한 모니터링과 필요한 경우 보정 조정(Calibration Adjustment)이 요구된다.
개념 드리프트(Concept Drift)는 시간에 따라 입력 특징(Input Features)과 목표 결과(Target Outcomes) 사이의 관계가 변화하는 현상을 의미한다. 공변량 이동(Covariate Shift)과 달리 개념 드리프트는 입력 특성이 익숙하게 보이더라도 기존에 학습된 결정 경계(Decision Boundaries)를 무효화할 수 있다. 산업 시스템(Industrial Systems)에서는 장비 노후화(Equipment Aging), 변경된 운영 절차(Modified Operating Procedures), 생산 공정 변화(Changing Production Processes)가 센서 측정값과 실제 고장 조건 사이의 관계를 변화시킬 수 있다.
분포 외 입력(Out-of-Distribution Inputs)은 학습 데이터(Training Data)에 충분히 표현되지 않은 영역에 속하는 관측값을 의미한다. 이러한 입력에는 익숙하지 않은 객체(Unfamiliar Objects), 비정상적인 환경 조건(Unusual Environmental Conditions), 개별적으로는 익숙하지만 예상하지 못한 특징 조합(Unexpected Feature Combinations)이 포함될 수 있다. 모델은 이러한 관측값에 대해서도 높은 신뢰도의 예측(Highly Confident Predictions)을 생성할 수 있으므로, 불확실성 추정(Uncertainty Estimation)과 분포 외 탐지(Out-of-Distribution Detection)는 안전 모니터링(Safety Monitoring)의 중요한 구성요소가 된다.
데이터 문제(Data Issues)는 모델의 행동(Model Behavior)이 학습 정보의 품질(Quality), 완전성(Completeness), 대표성(Representativeness)에 의존하기 때문에 인공지능 실패 유형(AI Failure Modes)의 또 다른 주요 범주를 형성한다. 잘못된 레이블(Incorrect Labels), 결측값(Missing Values), 손상된 측정값(Corrupted Measurements), 일관되지 않은 전처리(Inconsistent Preprocessing), 표본 편향(Sampling Bias)은 체계적인 오류(Systematic Errors)를 유발할 수 있다. 학습 데이터셋과 검증 데이터셋이 동일한 근본적 결함을 공유하면 이러한 문제는 개발 과정에서 발견되지 않을 수 있다.
레이블 잡음(Label Noise)은 학습 예제(Training Examples)에 잘못되거나 일관되지 않거나 모호한 목표 주석(Target Annotations)이 포함되는 현상이다. 이러한 잡음은 학습된 결정 경계(Learned Decision Boundaries)를 왜곡하고 예측의 신뢰성(Prediction Reliability)을 저하시킬 수 있다. 안전 필수 응용 분야(Safety-Critical Applications)에서는 드문 위해 상황(Rare Hazards)에 잘못된 레이블이 부여되는 것이 특히 문제가 되며, 모델이 위험한 상황을 인식하지 못하게 만들 수 있다. 레이블 감사(Label Auditing), 주석 지침(Annotation Guidelines), 표적 검토(Targeted Review)는 이러한 취약성을 줄일 수 있다.
표본 편향(Sampling Bias)은 수집된 데이터가 배포 과정에서 접하게 되는 모집단(Population)이나 운영 조건(Operating Conditions)을 충분히 대표하지 못할 때 발생한다. 양호한 날씨(Favorable Weather), 일반적인 객체 범주(Common Object Categories), 특정 인구통계학적 집단(Specific Demographic Groups)에 편중된 데이터셋은 다른 환경에서 성능이 저하되는 모델을 만들 수 있다. 따라서 대표성 있는 표본 추출(Representative Sampling)과 체계적인 범위 분석(Systematic Coverage Analysis)은 충분히 표현되지 않은 시나리오(Underrepresented Scenarios)를 식별하고 불균등한 신뢰성(Uneven Reliability)을 예방하는 데 필수적이다.
데이터 누출(Data Leakage)은 정상적인 추론(Legitimate Inference) 과정에서는 이용할 수 없는 정보가 학습이나 평가에 부적절하게 영향을 미치는 현상이다. 데이터 누출에는 중복된 기록(Duplicated Records), 미래 관측값(Future Observations), 공유된 식별 정보(Shared Identities), 데이터셋 경계를 넘어 수행된 전처리(Preprocessing Across Dataset Boundaries)가 포함될 수 있다. 이는 실제보다 지나치게 낙관적인 검증 결과(Optimistic Validation Results)를 만들어 배포 과정에서 드러나는 취약성을 은폐할 수 있다. 데이터 누출을 방지하려면 엄격한 데이터셋 분리(Dataset Separation)와 재현 가능한 전처리 절차(Reproducible Preprocessing Procedures)가 필요하다.
데이터 손상(Data Corruption)과 파이프라인 불일치(Pipeline Inconsistencies)는 원본 데이터셋이 적절하더라도 실패를 유발할 수 있다. 센서 잡음(Sensor Noise), 타임스탬프 불일치(Timestamp Misalignment), 단위 변환 오류(Unit Conversion Errors), 누락된 기록(Missing Records), 일관되지 않은 정규화(Inconsistent Normalization)는 모델이 수신하는 정보를 변화시킬 수 있다. 다중모달 시스템(Multimodal Systems)에서는 카메라, 라이다(LiDAR), 기타 센서 사이의 동기화 오류(Synchronization Errors)가 개별 구성요소가 정상적으로 작동하더라도 잘못된 환경 해석(Environmental Interpretations)을 초래할 수 있다.
모델 실패(Model Failures)는 학습된 표현(Learned Representations), 결정 경계(Decision Boundaries), 최적화 목표(Optimization Objectives)가 관련 조건에서 신뢰할 수 있는 행동을 지원하지 못할 때 발생한다. 과소적합(Underfitting)은 모델이 중요한 관계를 충분히 학습하지 못하게 할 수 있으며, 과적합(Overfitting)은 학습 데이터에 특화된 패턴(Training-Specific Patterns)에 지나치게 의존하게 만들 수 있다. 두 문제 모두 일반화(Generalization)를 저하시킬 수 있지만, 그 영향은 서로 다른 평가 조건(Evaluation Conditions)에서 나타날 수 있다.
과신(Overconfidence)은 예측 신뢰도(Predicted Confidence)가 실제 정답 확률(Actual Probability of Correctness)을 반영하지 않을 수 있기 때문에 특히 위험한 모델 실패(Model Failure)이다. 신경망(Neural Networks)은 익숙하지 않거나 모호한 입력(Unfamiliar or Ambiguous Inputs)을 포함하여 잘못된 예측에 높은 신뢰도를 부여할 수 있다. 부정확한 신뢰도 보정(Poor Calibration)은 하위 의사결정 시스템(Downstream Decision Systems)이 불확실한 정보를 신뢰할 수 있는 정보로 취급하도록 오도하여 안전하지 않은 행동의 발생 가능성을 높일 수 있다.
최적화 관련 실패(Optimization-Related Failures)는 모델이 학습 목표(Training Objective)를 성공적으로 최소화하더라도 의도된 운영 결과(Intended Operational Outcome)를 달성하지 못할 때 발생한다. 강화학습(Reinforcement Learning)에서는 보상 해킹(Reward Hacking)이 실제 기대사항을 위반하면서 수치적 보상(Numerical Rewards)을 최대화하는 행동을 유도할 수 있다. 대리 목표(Surrogate Objectives)가 안전 제약조건(Safety Constraints), 장기적 결과(Long-Term Consequences), 사용자와 운영자의 실제 요구사항을 제대로 표현하지 못하는 경우에도 유사한 문제가 발생한다.
오류 전파(Error Propagation)는 여러 인공지능 구성요소(AI Components)가 순차적인 의사결정 파이프라인(Sequential Decision Pipeline)에서 작동할 때 중요해진다. 잘못된 인식 출력(Incorrect Perception Output)은 위치 추정(Localization), 경로 계획(Planning), 제어(Control)에 영향을 미쳐 작은 초기 오류가 점점 더 심각한 결과를 발생시키도록 만들 수 있다. 자율 로봇공학(Autonomous Robotics)에서 장애물 미탐지(Missed Obstacle)는 궤적 선택(Trajectory Selection)과 움직임 실행(Motion Execution)에 영향을 미칠 수 있으며, 이는 개별 모델의 정확도만으로 시스템 수준의 안전(System-Level Safety)을 판단할 수 없음을 보여준다.
시간적 실패(Temporal Failures)는 인공지능 시스템이 장기간에 걸친 관측과 행동의 연속 과정에서 일관된 행동을 유지하지 못할 때 발생한다. 이러한 문제에는 누적된 위치 추정 오류(Accumulated Localization Errors), 오래된 메모리(Outdated Memory), 지연된 응답(Delayed Responses), 불안정한 제어 결정(Unstable Control Decisions), 변화하는 목표를 인식하지 못하는 현상이 포함될 수 있다. 장기 자율 작업(Long-Horizon Autonomous Tasks)은 초기 실수가 이후 의사결정에 영향을 미치고 복구 기회를 줄일 수 있기 때문에 이러한 취약성을 더욱 증폭시킨다.
상호작용 실패(Interaction Failures)는 개별적으로는 허용 가능한 구성요소들이 통합된 이후 잘못된 행동을 나타낼 때 발생한다. 갱신 주기(Update Frequency), 통신 지연(Communication Latency), 좌표계(Coordinate Systems), 불확실성에 대한 가정(Assumptions About Uncertainty)의 차이는 안전하지 않은 시스템 행동을 유발할 수 있다. 이러한 실패는 개별 모델 시험(Isolated Model Testing)만으로 식별하기 어렵기 때문에 통합 시험(Integration Testing), 인터페이스 검증(Interface Validation), 종단 간 시나리오 평가(End-to-End Scenario Evaluation)가 필수적이다.
실패 탐지(Failure Detection)에는 비정상적인 입력(Abnormal Inputs), 성능 저하(Degraded Performance), 일관되지 않은 예측(Inconsistent Predictions), 운영 제약조건 위반(Operational Constraint Violations)을 인식하는 모니터링 메커니즘(Monitoring Mechanisms)이 필요하다. 활용 가능한 기술에는 통계적 드리프트 탐지(Statistical Drift Detection), 불확실성 추정(Uncertainty Estimation), 이상 탐지(Anomaly Detection), 센서 일관성 검사(Sensor Consistency Checks), 실행시간 진단(Runtime Diagnostics)이 포함된다. 탐지 임계값(Detection Thresholds)은 각 결정의 결과를 고려하면서 실패 미탐지(Missed Failures)와 불필요한 개입(Unnecessary Interventions) 사이의 균형을 유지해야 한다.
실패 완화(Failure Mitigation)는 예방적 설계(Preventive Design)와 예상하지 못한 행동의 결과를 제한하는 메커니즘을 결합한다. 개선된 데이터셋 범위(Improved Dataset Coverage), 강건한 학습(Robust Training), 보정된 신뢰도 추정(Calibrated Confidence Estimates), 중복 센싱(Redundant Sensing), 제약된 의사결정(Constrained Decision-Making)은 특정 취약성을 줄일 수 있다. 신뢰할 수 있는 운영을 유지할 수 없는 경우 감독 제어기(Supervisory Controllers)는 자율성을 제한하거나 대체 절차(Fallback Procedures)를 시작하거나 시스템을 더 안전한 운영 상태(Safer Operating State)로 전환할 수 있다.
실패 유형 평가(Failure Mode Evaluation)에는 기존의 정확도 벤치마크(Accuracy Benchmarks)를 넘어서는 시험이 필요하다. 스트레스 시험(Stress Testing), 통제된 교란(Controlled Perturbations), 희귀 사건 시뮬레이션(Rare-Event Simulation), 손상 데이터 실험(Corrupted-Data Experiments), 분포 이동 평가(Distribution-Shift Evaluations)는 표준 시험 데이터셋(Standard Test Sets)에서 놓칠 수 있는 취약성을 드러낸다. 의미 있는 평가는 실패 빈도(Failure Frequency)뿐만 아니라 심각도(Severity), 탐지 지연시간(Detection Latency), 복구 효과성(Recovery Effectiveness), 잘못된 의사결정의 운영상 결과(Operational Consequences)까지 측정해야 한다.
인공지능 실패 유형(AI Failure Modes)에 대한 포괄적인 이해는 분포 이동(Distribution Shift), 데이터 문제(Data Issues), 모델 실패(Model Failures)를 통합된 안전 공학 관점(Unified Safety Engineering Perspective)에서 연결한다. 이러한 범주는 빈번하게 상호작용하므로 복잡한 배포 시스템(Deployed Systems)을 설명할 때 개별적인 분석만으로는 충분하지 않다. 따라서 효과적인 안전 관리(Safety Management)는 인공지능 수명주기(AI Lifecycle) 전반에 걸쳐 체계적인 실패 분석(Systematic Failure Analysis), 대표성 있는 타당성 확인(Representative Validation), 지속적인 모니터링(Continuous Monitoring), 보호 메커니즘(Protective Mechanisms)을 결합해야 한다.
01.04 Safety Frameworks
인공지능 안전 프레임워크(AI Safety Frameworks)는 위해요인(Hazards)을 식별하고, 위험(Risks)을 관리하며, 책임 있는 시스템 개발(Responsible System Development)을 입증하기 위한 체계적인 원칙, 프로세스 및 요구사항을 제공한다. 이러한 프레임워크는 광범위한 안전 목표(Safety Objectives)를 반복 가능한 공학적 실무(Engineering Practices)와 거버넌스 실무(Governance Practices)로 구체화한다. 국제 표준(International Standards), 국가 지침(National Guidance), 조직의 위험 관리 프로세스(Organizational Risk Management Processes)는 기술적 신뢰성(Technical Reliability), 운영 책임성(Operational Accountability), 증거 기반 안전 보증(Evidence-Based Safety Assurance)을 다루면서 상호 보완적인 역할을 수행한다.
국제표준화기구(International Organization for Standardization, ISO)는 산업 전반에서 품질(Quality), 안전(Safety), 거버넌스(Governance), 위험 관리(Risk Management)에 대한 일관된 접근법을 지원하는 표준을 개발한다. ISO 표준은 조직이 응용 분야에 맞게 적용할 수 있는 공통 용어(Common Terminology), 문서화된 프로세스(Documented Processes), 평가 기준(Assessment Criteria)을 제공한다. 인공지능 분야에서 이러한 표준의 적용 범위는 조직 관리 시스템(Organizational Management Systems)부터 자율 기계(Autonomous Machines)와 안전 필수 운영(Safety-Critical Operations)에 대한 전문적인 요구사항까지 확장된다.
ISO/IEC 42001은 조직 내 인공지능 관리 시스템(Artificial Intelligence Management System)에 대한 요구사항을 수립한다. 이 표준은 정책(Policies), 책임(Responsibilities), 위험 처리(Risk Treatment), 운영 통제(Operational Controls), 성과 평가(Performance Evaluation), 지속적 개선(Continual Improvement)을 다룬다. 개별 인공지능 모델(AI Model)이 본질적으로 안전하다는 사실을 인증하는 것이 아니라, 인공지능 수명주기(AI Lifecycle) 전반에서 위험과 영향을 관리하는 것을 포함하여 인공지능 관련 활동을 체계적으로 관리하도록 지원한다.
ISO/IEC 23894는 인공지능과 관련된 위험을 관리하기 위한 지침(Guidance)을 제공한다. 이 표준은 인공지능의 고유한 특성(AI-Specific Characteristics)을 기존 위험 관리 원칙(Risk Management Principles)과 연결하며, 여기에는 맥락 정의(Context Definition), 위험 식별(Risk Identification), 분석(Analysis), 평가(Evaluation), 처리(Treatment), 모니터링(Monitoring)이 포함된다. 또한 인공지능 위험이 데이터 의존성(Data Dependencies), 모델 불확실성(Model Uncertainty), 변화하는 환경(Changing Environments), 기술 시스템과 인간 이해관계자 사이의 상호작용에서 발생할 수 있음을 강조한다.
ISO 31000은 조직의 위험 관리(Organizational Risk Management)를 위한 일반적인 원칙과 지침을 제공한다. 이 표준은 인공지능에만 국한되지 않지만, 조직의 목표에 영향을 미치는 불확실성(Uncertainty)을 체계적으로 식별하고 처리하는 프레임워크를 지원한다. 인공지능에 적용할 경우 기술적 위해요인(Technical Hazards)을 비즈니스 의사결정(Business Decisions), 이해관계자의 기대(Stakeholder Expectations), 책임 구조(Accountability Structures), 잔여 위험의 수용(Acceptance of Residual Risks)과 연결하는 데 도움을 준다.
ISO/IEC 22989는 인공지능의 용어와 개념(Terminology and Concepts)을 정립하여 엔지니어, 연구자, 감사자 및 의사결정자 사이의 일관된 의사소통을 지원한다. ISO/IEC 23053은 기계학습(Machine Learning)을 사용하는 인공지능 시스템의 프레임워크를 설명하며, 주요 시스템 구성요소(System Components)와 그 관계를 포함한다. 이러한 표준들은 조직이 시스템 경계(System Boundaries)를 정의하고, 인공지능 아키텍처(AI Architectures)를 설명하며, 안전 문서화(Safety Documentation)를 위한 공통 기반을 확립하도록 지원한다.
기능 안전 표준(Functional Safety Standards)은 인공지능 시스템이 물리적 장비(Physical Equipment)와 상호작용할 때 특히 중요해진다. IEC 61508은 안전 관련 전기·전자·프로그램 가능 전자 시스템(Safety-Related Electrical, Electronic, and Programmable Electronic Systems)에 대한 일반적인 프레임워크를 수립한다. ISO 26262는 도로 차량(Road Vehicles)의 기능 안전을 다루며, ISO 13849는 기계류의 안전 관련 제어 시스템(Safety-Related Control Systems) 설계를 지원한다. 이러한 표준의 적용 가능성(Applicability)은 시스템과 의도된 사용 목적(Intended Use)에 따라 달라진다.
ISO 21448은 의도된 기능의 안전성(Safety of the Intended Functionality, SOTIF)을 다루며, 특히 기존 구성요소의 오작동(Conventional Component Malfunctions)이 아니라 기능적 불충분성(Functional Insufficiencies)이나 합리적으로 예측 가능한 오용(Reasonably Foreseeable Misuse)에서 발생하는 위해요인에 초점을 맞춘다. 이러한 관점은 하드웨어 고장 없이도 잘못된 환경 해석(Incorrect Environmental Interpretation)이 발생할 수 있는 인식 기반 자율주행 시스템(Perception-Based Automated Driving Systems)에서 중요하다. 이는 의도된 시스템 행동의 한계를 검토함으로써 기능 안전 분석(Functional Safety Analysis)을 보완한다.
미국 국립표준기술연구소(National Institute of Standards and Technology, NIST)는 신뢰할 수 있고 책임 있는 인공지능(Trustworthy and Responsible AI)의 개발과 활용을 지원하기 위해 인공지능 위험 관리 프레임워크(AI Risk Management Framework)를 개발하였다. NIST AI RMF 1.0은 다양한 산업 분야의 조직을 대상으로 하는 자발적 위험 기반 프레임워크(Voluntary Risk-Based Framework)이다. 이 프레임워크는 신뢰할 수 있는 인공지능이 안전(Safety), 보안(Security), 신뢰성(Reliability), 설명 가능성(Explainability), 개인정보 보호(Privacy), 공정성(Fairness)과 같은 상호작용하는 속성으로 구성된다는 점을 인정하면서 실질적인 인공지능 위험 관리를 강조한다.
NIST 인공지능 위험 관리 프레임워크(NIST AI Risk Management Framework)는 핵심 활동을 거버넌스 수립(Govern), 맥락 파악(Map), 측정(Measure), 관리(Manage)를 중심으로 구성한다. 거버넌스 수립(Govern)은 인공지능 위험에 대한 조직 구조와 책임성을 확립한다. 맥락 파악(Map)은 시스템 맥락(System Context), 이해관계자(Stakeholders), 잠재적 영향(Potential Impacts)을 식별한다. 측정(Measure)은 위험과 시스템 특성을 평가하며, 관리(Manage)는 대응의 우선순위를 정하고 통제 조치를 구현한다. 이러한 기능들은 일회성이 아닌 지속적인 위험 관리(Continuous Risk Management)를 지원한다.
거버넌스 수립 기능(Govern Function)은 효과적인 인공지능 위험 관리(AI Risk Management)에 필요한 정책(Policies), 책임(Responsibilities), 자원(Resources), 조직 문화(Organizational Culture)를 확립한다. 여기에는 경영진의 의지(Leadership Commitment), 명확하게 정의된 역할(Defined Roles), 문서화 실무(Documentation Practices), 내부 감독 메커니즘(Internal Oversight Mechanisms)이 포함된다. 효과적인 거버넌스(Effective Governance)는 안전 관련 결정이 독립적인 기술적 판단에 머무르지 않고 조직의 목표, 이해관계자의 책임, 문서화된 책임성과 연결되도록 보장한다.
맥락 파악 기능(Map Function)은 인공지능 시스템의 의도된 목적(Intended Purpose), 운영 환경(Operating Environment), 사용자(Users), 영향을 받는 이해관계자(Affected Stakeholders)에 대한 이해를 발전시킨다. 이 기능은 시스템 배포(System Deployment)와 관련된 잠재적 이점(Potential Benefits), 한계(Limitations), 유해한 결과(Harmful Consequences)를 식별한다. 또한 인공지능 기능(AI Capabilities)이 인간의 의사결정(Human Decisions) 및 기존 프로세스(Existing Processes)와 어떻게 상호작용하는지 검토하여 의미 있는 위험 식별(Risk Identification)과 평가(Evaluation)에 필요한 맥락적 기반(Contextual Foundation)을 제공한다.
측정 기능(Measure Function)은 시험(Testing), 모니터링(Monitoring), 분석(Analysis), 증거 수집(Evidence Collection)을 통해 인공지능 위험을 평가한다. 측정 항목에는 예측 성능(Predictive Performance), 강건성(Robustness), 보안(Security), 공정성(Fairness), 설명 가능성(Explainability), 관련 운영 조건에서의 안전(Safety)이 포함될 수 있다. 단일 지표(Single Metric)만으로 위험의 모든 차원을 포착할 수 없으므로, 조직은 정량적 측정(Quantitative Measurements)과 정성적 평가(Qualitative Assessments)를 결합하고 이용 가능한 증거의 한계(Limitations of Available Evidence)를 문서화해야 한다.
관리 기능(Manage Function)은 식별되고 측정된 위험을 우선순위가 부여된 조치(Prioritized Actions)로 전환한다. 이러한 조치에는 시스템 설계 수정(System Design Modification), 배포 조건 제한(Restricting Deployment Conditions), 모니터링 강화(Strengthening Monitoring), 데이터셋 개선(Improving Datasets), 보호 통제 구현(Implementing Protective Controls)이 포함될 수 있다. 위험 처리 결정(Risk Treatment Decisions)은 심각도(Severity), 사용 가능한 자원(Available Resources), 불확실성(Uncertainty), 이해관계자에게 미치는 영향(Stakeholder Impacts)을 고려해야 한다. 남아 있는 위험(Remaining Risks)에 대해서는 문서화된 수용(Documented Acceptance), 의사소통(Communication), 정기적인 재평가(Periodic Reassessment)가 필요하다.
인공지능 위험 관리 프레임워크(AI Risk Management Frameworks)는 시스템 구상(System Conception)에서 시작하여 개발(Development), 타당성 확인(Validation), 배포(Deployment), 운영(Operation), 수정(Modification), 폐기(Retirement)에 이르는 전체 수명주기(Complete Lifecycle)를 다루어야 한다. 학습 데이터가 갱신되거나 모델이 재학습되고 인터페이스가 수정되거나 운영 환경이 변화하면 위험도 달라질 수 있다. 따라서 수명주기 거버넌스(Lifecycle Governance)에는 버전 관리(Version Control), 변경 영향 분석(Change Impact Analysis), 모니터링(Monitoring), 안전 증거의 재평가(Reassessment of Safety Evidence)가 필요하다.
안전 보증(Safety Assurance)은 프레임워크 요구사항(Framework Requirements)을 입증 가능한 공학적 증거(Demonstrable Engineering Evidence)와 연결한다. 위해요인 분석(Hazard Analyses), 안전 요구사항(Safety Requirements), 검증 결과(Verification Results), 타당성 확인 보고서(Validation Reports), 운영 로그(Operational Logs), 사고 기록(Incident Records)은 안전 주장(Safety Claims)을 뒷받침하는 근거를 제공한다. 구조화된 안전 사례(Structured Safety Case)는 이러한 요소를 일관된 논증(Coherent Argument)으로 구성하여 식별된 위험이 지정된 운영 경계(Operational Boundaries) 내에서 적절하게 통제되고 있는 이유를 설명할 수 있다.
자율주행(Autonomous Driving)에서 안전 프레임워크(Safety Frameworks)는 기계학습의 한계(Machine Learning Limitations)를 차량 수준의 위해요인 분석(Vehicle-Level Hazard Analysis) 및 운영 설계 제약조건(Operational Design Constraints)과 연결해야 한다. 인식 오류(Perception Errors), 불확실한 예측(Uncertain Predictions), 경로 계획 실패(Planning Failures)는 제동(Braking), 조향(Steering), 통신(Communication), 대체 안전 기능(Fallback Capabilities)과 함께 평가되어야 한다. 인공지능 위험 관리 지침(AI Risk Management Guidance)을 관련 자동차 안전 표준(Automotive Safety Standards)과 결합하면 지능형 차량 행동(Intelligent Vehicle Behavior)을 더욱 포괄적으로 평가할 수 있다.
로봇공학 응용 분야(Robotics Applications)에는 계산적 의사결정(Computational Decisions)과 물리적 상호작용(Physical Interactions)을 모두 다루는 프레임워크가 필요하다. 이동 로봇(Mobile Robots)과 매니퓰레이터(Manipulators)는 충돌(Collisions), 예상하지 못한 움직임(Unexpected Motion), 과도한 힘(Excessive Forces), 인간-로봇 협력(Human-Robot Coordination)의 실패와 관련된 위해요인을 발생시킨다. 적절한 기계류 안전 표준(Machinery Safety Standards), 시스템 수준 위해요인 분석(System-Level Hazard Analysis), 실행시간 모니터링(Runtime Monitoring), 운영 절차(Operational Procedures)는 학습 기반 자율 행동(Learned Autonomous Behavior)에 대한 보호 경계(Protective Boundaries)를 확립하는 데 도움을 준다.
의료 인공지능 프레임워크(Healthcare AI Frameworks)는 환자 안전(Patient Safety), 임상적 효과성(Clinical Effectiveness), 데이터 품질(Data Quality), 인간 감독(Human Oversight), 잘못된 권고(Incorrect Recommendations)의 결과를 고려해야 한다. 의도된 사용 목적(Intended Use)과 관할 지역(Jurisdiction)에 따라 관련 의료기기 표준(Medical Device Standards)과 규제 요구사항(Regulatory Requirements)이 적용될 수 있다. 위험 관리(Risk Management)는 임상 업무 흐름(Clinical Workflows), 검증 대상 집단(Validation Populations), 불확실성 전달(Uncertainty Communication), 새롭게 나타나는 안전 문제를 탐지하기 위한 배포 후 모니터링(Post-Deployment Monitoring)을 검토해야 한다.
실용적인 인공지능 안전 프레임워크(Practical AI Safety Framework)는 ISO 표준(ISO Standards), NIST 지침(NIST Guidance), 응용 분야별 위험 관리(Application-Specific Risk Management)를 일관된 조직 프로세스(Coherent Organizational Process)로 통합한다. 이러한 자원은 서로 다른 목적을 수행하므로 상호 교환 가능한 인증(Interchangeable Certifications)이나 보편적인 안전 보장(Universal Guarantees of Safety)으로 취급해서는 안 된다. 효과적인 구현(Effective Implementation)은 적용 가능한 요구사항(Applicable Requirements)을 선택하고, 가정(Assumptions)을 문서화하며, 책임(Responsibilities)을 지정하고, 통제 조치(Controls)가 실제 위해요인(Actual Hazards)에 대응하는지 검증하는 데 달려 있다.
안전 프레임워크(Safety Frameworks)의 궁극적인 가치는 인공지능 위험 관리(AI Risk Management)를 체계적(Systematic)이고 투명하며(Transparent) 반복 가능하게(Repeatable) 만드는 능력에 있다. 표준(Standards)은 공통의 기대사항(Shared Expectations)을 확립하고, 거버넌스 프레임워크(Governance Frameworks)는 책임을 조직화하며, 공학적 증거(Engineering Evidence)는 보호 조치(Protective Measures)가 효과적인지 입증한다. 인공지능의 능력(AI Capabilities)과 배포 환경(Deployment Environments)이 발전함에 따라 허용 가능한 위험(Acceptable Risk)과 신뢰할 수 있는 운영(Trustworthy Operation)을 유지하기 위해 지속적인 평가(Continual Assessment)와 개선(Improvement)이 필수적이다.
