STATERA Library · Volume 42 · Chapter 05 · KR
Source: https://github.com/Statera-Library/01_Vol_42_AI_Safety_Alignment_and_Interpretability/blob/main/Chapter_05_Robustness_and_Security/Chapter_05_Robustness_and_Security_KR.md

Volume 42. AI Safety Alignment and Interpretability

05. Robustness and Security

05.00 Overview

견고성(Robustness)과 보안성(Security)은 불확실하고 동적이며 잠재적으로 적대적인 환경(Adversarial Environment)에서 작동하는 인공지능(Artificial Intelligence, AI) 시스템의 핵심 요구사항이다. 견고성은 입력, 운영 조건 또는 환경적 가정이 변화하더라도 모델이 허용 가능한 성능을 유지하는 능력을 의미한다. 보안성은 시스템의 무결성(Integrity), 기밀성(Confidentiality), 가용성(Availability)을 침해하는 의도적인 조작, 무단 접근 및 공격으로부터 AI 시스템을 보호하는 데 중점을 둔다.

현대 AI 시스템은 통제된 평가 환경에서 높은 정확도를 달성하지만, 익숙하지 않은 입력이나 의도적인 간섭에 노출되면 예상하지 못한 실패를 보이기도 한다. 센서 측정값, 이미지 특성, 언어 표현 또는 데이터 분포(Data Distribution)의 작은 변화가 예측 결과에 불균형적으로 큰 영향을 미칠 수 있다. 이러한 취약성을 이해하려면 기계학습(Machine Learning)의 통계적 한계와 실제 배포된 컴퓨팅 시스템의 보안 특성을 함께 분석해야 한다.

견고성과 보안성은 서로 연관되어 있지만 구별되는 문제를 다룬다. 견고한 모델은 일반적인 잡음(Noise), 측정 불확실성(Measurement Uncertainty), 환경 변화 및 합리적인 분포 이동(Distribution Shift)을 심각한 성능 저하 없이 견뎌야 한다. 보안성이 높은 모델은 구조, 학습 과정, 인터페이스 또는 배포 인프라의 약점을 의도적으로 악용하는 공격자에도 대응해야 한다. 신뢰할 수 있는 AI 엔지니어링(AI Engineering)을 위해서는 두 특성을 독립적으로 평가하기보다 통합적으로 검증해야 한다.

견고성의 개념은 분류 정확도(Classification Accuracy)나 예측 안정성(Prediction Stability)을 넘어선다. 여기에는 입력 교란(Input Perturbation)에 대한 저항성, 변화하는 환경에서의 안정적인 동작, 불확실성 인식(Uncertainty Awareness), 가정이 위반되었을 때의 점진적 성능 저하(Graceful Degradation)가 포함된다. 견고한 시스템은 예측의 신뢰성이 낮아지는 상황을 인식하고 판단 보류(Abstention), 인간 개입(Human Intervention), 사전에 정의된 안전 운영 모드(Safe Operating Mode)로의 전환을 지원해야 한다.

적대적 기계학습(Adversarial Machine Learning)은 공격자가 학습된 결정 경계(Decision Boundary)와 계산 과정의 취약성을 악용하여 AI 동작을 조작하는 방법을 연구한다. 적대적 예제(Adversarial Example)는 잘못된 예측이나 바람직하지 않은 행동을 유도하도록 의도적으로 수정된 입력이다. 이러한 수정은 시각적으로 미세하거나 수학적 제약을 따르거나 물리적 환경에서 구현될 수 있다. 이는 일반적인 예측 정확도가 악의적인 간섭에 대한 저항성을 반드시 보장하지는 않음을 보여준다.

대표적인 적대적 공격(Adversarial Attack) 기법은 모델 취약성을 악용하는 다양한 접근 방식을 보여준다. 빠른 기울기 부호 방법(Fast Gradient Sign Method, FGSM)은 기울기 정보를 이용하여 교란을 효율적으로 생성하며, 투영 기울기 하강법(Projected Gradient Descent, PGD)은 제약된 반복 갱신을 통해 더 강력한 적대적 예제를 탐색한다. 칼리니-와그너 공격(Carlini-Wagner Attack, CW Attack)은 적대적 조작을 최적화 문제(Optimization Problem)로 정식화하여 특정 공격 목표를 충족하는 작은 교란을 찾는다.

이러한 공격 기법은 명확하게 정의된 가정 아래에서 모델의 약점을 조사하는 통제된 수단을 제공한다. 공격 효과는 공격자의 지식, 교란 제약(Perturbation Constraint), 사용 가능한 계산 자원, 모델 출력이나 기울기에 대한 접근 권한 등에 따라 달라진다. 화이트박스 공격(White-Box Attack)은 대상 모델에 대한 상당한 내부 지식을 가정하지만, 블랙박스 공격(Black-Box Attack)은 제한된 내부 정보만으로 수행된다. 두 관점 모두 현실적인 보안 평가를 설계하는 데 중요하다.

적대적 방어(Adversarial Defense)는 학습 방법, 모델 구조, 전처리(Preprocessing), 추론 절차(Inference Procedure)를 개선하여 취약성을 줄이려는 접근 방식이다. 적대적 학습(Adversarial Training)은 최적화 과정에서 의도적으로 교란된 예제를 모델에 노출하여 특정 위협 모델(Threat Model) 내에서 더 안정적인 예측을 유도한다. 다른 방법으로는 입력 변환(Input Transformation), 무작위화 기법(Randomized Mechanism), 인증된 방어(Certified Defense), 의심스러운 입력을 탐지하는 시스템 등이 있다.

어떤 단일 적대적 방어 기법도 모든 공격에 대한 보편적인 보호를 제공하지는 못한다. 방어 효과는 보호 메커니즘을 이해하고 이를 우회하려는 적응형 공격자(Adaptive Adversary)를 대상으로 평가해야 한다. 평가 과정에서는 실제 견고성 향상과 기울기 마스킹(Gradient Masking) 또는 불충분한 공격 최적화로 발생하는 잘못된 효과를 구별해야 한다. 신뢰할 수 있는 보안성 주장을 위해서는 명확한 위협 모델, 재현 가능한 실험(Reproducible Experiment), 한계에 대한 투명한 보고가 필요하다.

분포 외 탐지(Out-of-Distribution Detection, OOD Detection)는 운영 중 입력이 모델 개발에 사용된 데이터와 상당히 달라지는 상황을 다룬다. 이러한 차이는 환경 변화, 익숙하지 않은 객체, 센서 성능 저하, 새롭게 등장한 행동 또는 이전에 관찰되지 않은 운영 조건에서 발생할 수 있다. 기계학습 모델은 익숙하지 않은 입력에도 높은 확신도의 예측을 생성할 수 있으므로, 분포적 신규성(Distributional Novelty)을 식별하는 능력은 신뢰할 수 있는 의사결정에 필수적이다.

분포 외 탐지 방법은 관측값이 예상된 운영 분포에 속하는지 또는 익숙하지 않은 조건과 관련된 특성을 보이는지 추정한다. 대표적인 접근 방식은 예측 신뢰도(Predictive Confidence), 특징 표현(Feature Representation), 에너지 점수(Energy Score), 통계적 거리(Statistical Distance)를 분석한다. 그러나 익숙하지 않은 입력을 탐지했다고 해서 예측이 반드시 잘못되었다는 의미는 아니다. 따라서 탐지 성능은 보정(Calibration), 작업 정확도(Task Accuracy), 운영 위험(Operational Risk)과 함께 평가해야 한다.

모델 보안(Model Security)은 학습 데이터, 모델 매개변수(Model Parameter), 추론 인터페이스 및 지원 인프라를 포함한 전체 AI 생명주기(AI Lifecycle)의 위협을 다룬다. 모델 추출 공격(Model Extraction Attack)은 이용 가능한 상호작용을 통해 독점 모델의 동작을 재구성하거나 근사하려는 시도이다. 이러한 공격은 지식재산권(Intellectual Property)을 위협하고 결정 경계에 관한 정보를 노출할 수 있다. 효과적인 보호를 위해서는 접근 제어(Access Control), 질의 모니터링(Query Monitoring), 인터페이스 제한 및 보안을 고려한 배포가 필요하다.

데이터 오염 공격(Data Poisoning Attack)은 학습 데이터셋(Training Dataset)에 악의적이거나 오해를 유발하는 정보를 주입하여 학습 과정을 손상시킨다. 공격자는 전체 모델 정확도를 낮추거나 특정 예측을 조작하거나 배포 이후의 동작에 영향을 미치려 할 수 있다. 오염 공격의 심각성은 공격자가 데이터 파이프라인(Data Pipeline), 학습 알고리즘(Learning Algorithm), 검증 과정(Validation Process)에 대해 갖는 통제 수준에 따라 달라진다. 데이터 출처 추적(Data Provenance), 무결성 검증(Integrity Verification), 통제된 데이터셋 관리가 중요한 방어 요소이다.

백도어 공격(Backdoor Attack)은 특정 조건에서 모델이 의도된 동작을 벗어나도록 숨겨진 행동 유발 조건인 트리거(Trigger)를 삽입한다. 손상된 모델은 일반적인 입력에서는 정상적으로 작동하지만, 트리거가 나타나면 공격자가 선택한 출력을 생성할 수 있다. 백도어는 오염된 데이터셋, 손상된 사전학습 모델(Pretrained Model), 무단 매개변수 수정에서 발생할 수 있다. 이러한 조건부 동작은 탐지를 어렵게 하므로 모델 출처와 활성화 패턴(Activation Pattern)에 대한 체계적인 검사가 필요하다.

복원력 있는 시스템 설계(Resilient System Design)는 개별 모델을 넘어 전체 운영 구조로 견고성과 보안성을 확장한다. 신중하게 학습된 모델이라도 센서가 오작동하거나 통신 채널을 사용할 수 없거나 지원 소프트웨어가 손상되면 실패할 수 있다. 따라서 복원력 있는 AI 시스템은 중복성(Redundancy), 모니터링(Monitoring), 결함 격리(Fault Isolation), 보안 통신(Secure Communication), 복구 절차(Recovery Procedure), 부분적인 장애 중에도 필수 기능을 유지하는 메커니즘을 포함해야 한다.

복원력 있는 아키텍처(Resilient Architecture)는 장애를 예방하는 것과 장애의 영향을 제한하는 것을 구분해야 한다. 예방적 통제(Preventive Control)는 바람직하지 않은 사건의 발생 확률을 줄이며, 탐지 및 봉쇄 메커니즘(Detection and Containment Mechanism)은 장애의 확산을 제한한다. 복구 절차는 교란 이후 허용 가능한 운영 상태를 회복한다. 이러한 계층적 접근(Layered Approach)은 완벽한 모델 신뢰성이 일반적으로 달성하기 어렵고, 개별 구성요소가 높은 견고성을 보여도 시스템 수준의 안전장치가 필요하다는 사실을 반영한다.

견고성 평가(Robustness Evaluation)는 정상, 성능 저하, 미지의 환경 및 적대적 조건에 대한 체계적인 실험을 요구한다. 주요 측정 지표에는 정상 입력 정확도(Clean Accuracy), 적대적 정확도(Adversarial Accuracy), 공격 성공률(Attack Success Rate), 탐지 성능(Detection Performance), 보정 오차(Calibration Error), 복구 시간(Recovery Time), 서비스 가용성(Service Availability)이 포함된다. 이러한 지표는 서로 다른 시스템 특성을 나타내므로 응용 요구사항과 운영 제약, 실패의 결과를 고려하지 않고 단일 점수로 결합해서는 안 된다.

자율주행차(Autonomous Vehicle)에서 견고성과 보안성은 인식(Perception), 위치 추정(Localization), 경로 계획(Planning), 제어(Control)에 직접적인 영향을 미친다. 조명, 날씨, 도로 표시, 센서 품질의 변화는 인식 신뢰성을 떨어뜨릴 수 있으며, 악의적인 간섭은 주행 판단이나 의사결정을 손상시킬 수 있다. 견고한 차량 아키텍처는 다양한 센싱 능력, 불확실성 추정(Uncertainty Estimation), 운영 모니터링, 대체 운영 전략(Fallback Strategy)을 결합하여 개별 오류가 위험한 상황으로 발전할 가능성을 줄인다.

로봇 시스템(Robotic System)은 예측 결과가 물리적 상호작용(Physical Interaction)에 직접 영향을 미치기 때문에 추가적인 문제에 직면한다. 센서 교란, 예상하지 못한 접촉력(Contact Force), 익숙하지 않은 객체, 적대적인 환경 변경은 조작(Manipulation)과 이동(Navigation)에 영향을 줄 수 있다. 견고한 로봇 지능(Robotic Intelligence)은 인식 신뢰성과 제어 안정성(Control Stability), 충돌 회피(Collision Avoidance), 안전한 복구(Safe Recovery)를 통합해야 한다. 손상된 명령이나 관측값이 물리적 결과를 초래할 수 있으므로 보안 보호 역시 중요하다.

인프라 AI(Infrastructure AI)는 전력 관리(Power Management), 교통 조정(Transportation Coordination), 산업 모니터링(Industrial Monitoring), 자동화 시설 운영(Automated Facility Operation)과 같은 응용 분야를 지원한다. 이러한 환경은 장비 고장, 수요 변화, 통신 장애, 사이버보안 위협(Cybersecurity Threat) 속에서도 신뢰할 수 있는 동작을 요구한다. 핵심 서비스를 보호하려면 견고성과 보안성을 운영 연속성(Operational Continuity), 기존 엔지니어링 안전장치, 인간 감독 메커니즘(Human Supervisory Mechanism)과 통합해야 한다.

견고성, 보안성, 안전성(Safety), 정렬(Alignment)의 관계는 고급 AI 시스템(Advanced AI System)에서 특히 중요하다. 견고성은 변화하는 조건에서도 의도된 동작을 유지하도록 지원하며, 보안성은 의도적인 간섭으로부터 시스템을 보호한다. 안전성은 허용할 수 없는 피해를 예방하는 데 초점을 맞추고, 정렬은 의도된 목표와 인간의 선호(Human Preference)에 대한 일관성을 다룬다. 이러한 특성은 서로를 강화하지만, 한 영역의 성공이 다른 영역의 성공을 자동으로 보장하지는 않는다.

신뢰할 수 있는 인공지능(Trustworthy AI)을 구축하려면 설계, 개발, 평가, 배포 및 유지보수 전반에서 견고성과 보안성을 지속적으로 고려해야 한다. 시스템이 새로운 환경과 적대적 기법을 접함에 따라 위협 모델과 운영 가정도 발전해야 한다. 엄격한 시험(Rigorous Testing), 보안 엔지니어링(Secure Engineering), 불확실성 인식 기반 의사결정(Uncertainty-Aware Decision-Making), 복원력 있는 아키텍처를 결합함으로써 개발자는 불확실성, 교란 및 악의적 활동에 직면하더라도 더욱 신뢰할 수 있는 AI 시스템을 구축할 수 있다.

05.01 Robustness Definitions

인공지능(Artificial Intelligence, AI)에서 견고성(Robustness)은 학습(Training)이나 평가(Evaluation) 과정에서 경험한 조건과 다른 운영 환경에서도 모델 또는 시스템이 허용 가능한 성능을 유지하는 능력을 의미한다. 이러한 차이에는 입력 잡음(Input Noise), 환경 변화(Environmental Change), 분포 이동(Distribution Shift), 의도적인 교란(Intentional Perturbation)이 포함될 수 있다. 따라서 견고성은 단순한 정확도(Accuracy) 측정이 아니라 불확실성과 교란 상황에서 AI 시스템이 얼마나 신뢰성 있게 동작하는지를 나타내는 특성이다.

견고한 AI 모델은 입력의 본질적인 의미를 변경하지 않는 다양한 변화에 노출되더라도 안정적이고 적절한 출력을 생성해야 한다. 예를 들어 이미지 분류기(Image Classifier)는 조명, 방향 또는 배경이 적당히 변화하더라도 객체를 인식해야 한다. 마찬가지로 언어 모델(Language Model)은 동일한 의미의 지시가 서로 다른 방식으로 표현되더라도 의도된 해석을 유지해야 한다. 이러한 안정성(Stability)은 신뢰할 수 있는 실제 배포(Deployment)를 위해 필수적이다.

견고성은 일반화(Generalization)와 밀접하게 관련되어 있지만 서로 다른 개념이다. 일반화는 가정된 데이터 분포(Data Distribution)에서 추출된 이전에 관찰하지 못한 예제에 대해 모델이 얼마나 잘 작동하는지를 설명한다. 반면 견고성은 교란, 분포 변화 및 까다로운 운영 조건에서의 성능까지 추가로 검토한다. 모델이 일반적인 테스트 데이터(Test Data)에서는 효과적으로 일반화하더라도 작지만 정교하게 선택된 입력 변경에는 매우 취약할 수 있다.

중요한 구분 중 하나는 자연적 견고성(Natural Robustness)과 적대적 견고성(Adversarial Robustness)의 차이이다. 자연적 견고성은 센서 잡음(Sensor Noise), 이미지 손상(Image Corruption), 정보 누락(Missing Information), 환경 변동성(Environmental Variability)처럼 악의적인 의도 없이 발생하는 교란에 대한 저항성을 의미한다. 적대적 견고성은 잘못된 예측이나 안전하지 않은 행동을 유도하도록 의도적으로 구성된 입력에 대한 저항성을 의미한다. 두 형태 모두 실제 환경에서 작동하는 신뢰성 높은 AI 시스템에 필요하다.

국소 견고성(Local Robustness)은 특정 입력 주변에 정의된 영역(Neighborhood) 내에서 모델 예측이 얼마나 안정적인지를 설명한다. 작은 교란이 허용된 거리 범위 내에 있다면 모델은 원하는 예측을 유지하거나 지정된 행동 제약(Behavioral Constraint)을 만족해야 한다. 이 개념은 교란의 크기를 정량화하는 수학적 노름(Mathematical Norm)을 이용하여 자주 연구된다. 그러나 수학적 근접성(Mathematical Proximity)이 항상 지각적 유사성(Perceptual Similarity)이나 의미적 유사성(Semantic Similarity)에 직접 대응하는 것은 아니다.

전역 견고성(Global Robustness)은 개별 입력 주변의 제한된 영역이 아니라 더 넓은 운영 영역(Operational Domain) 전반에서 신뢰할 수 있는 동작을 유지하는 능력을 의미한다. 이는 다양한 환경, 집단, 작업 및 입력 조건에서 모델이 허용 가능한 성능을 유지하는지를 검토한다. 전역 견고성은 운영 영역에 수많은 교란 조합, 희귀 사건(Rare Event), 익숙하지 않은 상황이 포함될 수 있고 이를 모두 시험하기 어렵기 때문에 확립하기가 더욱 어렵다.

분포적 견고성(Distributional Robustness)은 배포 이후 관찰되는 데이터의 통계적 특성이 변화하는 상황을 다룬다. 학습 분포(Training Distribution)와 운영 분포(Operational Distribution)는 환경 변화, 장비 구성, 사용자 행동 또는 데이터 수집 절차의 차이로 인해 달라질 수 있다. 분포적으로 견고한 모델은 단일 관측 학습 분포에 대해서만 최적화하기보다 합리적으로 예상할 수 있는 분포들의 집합 전반에서 만족스러운 성능을 유지하는 것을 목표로 한다.

분포 이동(Distribution Shift)은 공변량 이동(Covariate Shift), 레이블 이동(Label Shift), 개념 이동(Concept Shift) 등 여러 형태로 나타날 수 있다. 공변량 이동은 입력과 목표값 사이의 조건부 관계를 유지하면서 입력 특징의 분포가 변화하는 현상이다. 레이블 이동은 클래스별 조건부 특징 분포를 유지하면서 클래스 빈도가 변화하는 현상이다. 개념 이동은 입력과 목표값 사이의 관계 자체가 변화하는 것으로, 단순한 통계적 보정보다 상당한 수준의 모델 적응(Model Adaptation)이 필요할 수 있다.

견고성은 입력 변화가 모델 출력에 미치는 영향을 조사하는 민감도 분석(Sensitivity Analysis)을 통해서도 이해할 수 있다. 민감도가 높은 모델은 작은 교란을 큰 예측 차이로 증폭할 수 있지만, 민감도가 낮은 모델은 더 높은 안정성을 보일 수 있다. 민감도는 기울기(Gradient), 립시츠 경계(Lipschitz Bound), 교란 실험(Perturbation Experiment), 경험적 반응 측정(Empirical Response Measurement)을 통해 조사할 수 있다. 그러나 낮은 민감도만으로 올바른 예측이 보장되는 것은 아니다.

견고성의 수학적 정식화(Mathematical Formulation)는 작업, 교란 모델(Perturbation Model), 허용 가능한 동작에 따라 달라진다. 분류(Classification)에서는 지정된 교란 집합(Perturbation Set) 내에서 예측이 변하지 않아야 할 수 있다. 회귀(Regression)에서는 출력 편차(Output Deviation)가 정의된 임계값(Threshold) 이하로 유지되어야 할 수 있다. 제어 시스템(Control System)에서는 교란과 모델링 오차(Modeling Error)가 존재하더라도 안정성을 유지하고 안전 제약(Safety Constraint)을 만족하며 허용 가능한 성능을 달성하는 것이 견고성에 포함될 수 있다.

인증된 견고성(Certified Robustness)은 명시적으로 정의된 가정 아래에서 모델 동작에 대한 형식적 보장(Formal Guarantee)을 제공한다. 인증 방법(Certification Method)에는 구간 경계 전파(Interval Bound Propagation), 무작위 평활화(Randomized Smoothing), 볼록 완화(Convex Relaxation), 형식 검증(Formal Verification) 기법 등이 사용될 수 있다. 이러한 접근 방식은 인증된 영역(Certified Region) 내에서 특정 교란 유형이 지정된 결과를 변경할 수 없음을 입증한다. 그러나 인증은 수학적 가정, 교란 모델 및 계산 가능성(Computational Feasibility)에 의해 제한된다.

경험적 견고성(Empirical Robustness)은 형식적 보장 대신 통제된 시험을 통해 모델 동작을 평가한다. 연구자는 잡음, 데이터 손상(Corruption), 변환(Transformation), 적대적 교란(Adversarial Perturbation), 분포 변화를 도입하여 성능 저하를 측정한다. 이러한 평가는 시스템 신뢰성에 관한 실용적인 증거를 제공하지만 보편적인 보호를 입증하지는 못한다. 평가의 타당성(Validity)은 대표성 있는 시험 조건, 적절한 공격 강도(Attack Strength), 투명한 실험 절차에 따라 달라진다.

견고성 지표(Robustness Metric)는 교란 상황에서 나타나는 다양한 성능 특성을 정량화한다. 대표적인 지표에는 견고 정확도(Robust Accuracy), 최악 사례 손실(Worst-Case Loss), 예측 일관성(Prediction Consistency), 손상 오류(Corruption Error), 정상 조건 대비 성능 저하(Performance Degradation)가 포함된다. 운영 시스템에서는 복구 시간(Recovery Time), 장애 빈도(Failure Frequency), 제약 위반(Constraint Violation), 서비스 연속성(Service Continuity)도 측정할 수 있다. 지표는 실제 응용 분야에서 오류가 초래하는 결과를 반영하여 선택해야 한다.

견고성은 불확실성 추정(Uncertainty Estimation) 및 보정(Calibration)과 구별해야 한다. 불확실성 추정은 모델이 자신의 예측에 대해 얼마나 불확실한지를 나타내며, 보정은 보고된 신뢰도(Confidence)가 실제 관측된 정확성과 얼마나 일치하는지를 평가한다. 모델이 특정 교란에는 견고하더라도 익숙하지 않은 입력에 대해서는 지나치게 높은 확신을 보일 수 있다. 반대로 보정이 잘된 모델이라도 적대적 조작이나 심각한 분포 이동에는 취약할 수 있다.

견고성은 복원력(Resilience)과도 구별되지만 두 개념은 상호 보완적이다. 견고성은 교란이 발생하는 동안 허용 가능한 동작을 유지하는 데 중점을 두지만, 복원력은 장애 탐지(Failure Detection), 영향 제한, 기능 복구(Function Recovery), 중단 이후 적응(Adaptation)까지 포함한다. 시스템이 일시적인 성능 저하를 경험하더라도 대체 운영 모드(Alternative Operating Mode)로 안전하게 전환하고 허용 가능한 범위 내에서 정상 기능을 복원할 수 있다면 복원력이 있다고 평가할 수 있다.

자율주행차(Autonomous Vehicle)에서 견고성은 변화하는 날씨, 조명, 도로 상태 및 센서 교란에도 신뢰할 수 있는 인식(Perception)과 의사결정(Decision-Making)을 수행하는 능력을 요구한다. 로봇공학(Robotics)에서는 불확실한 동역학(Dynamics)과 환경적 상호작용 속에서도 안정적인 조작(Manipulation)과 이동(Navigation)을 유지하는 것이 중요하다. 인프라 AI(Infrastructure AI)는 장비 결함, 통신 지연 및 변동하는 수요에도 안정적으로 작동해야 한다. 따라서 각 응용 분야에는 영역별 견고성 정의(Domain-Specific Robustness Definition)가 필요하다.

견고성 요구사항(Robustness Requirement)은 모델 개발 이전에 수립하고 운영 위험(Operational Risk)과 연결해야 한다. 엔지니어는 관련 교란, 허용 가능한 성능 한계(Performance Limit), 예상 운영 환경 및 장애의 결과를 식별해야 한다. 이러한 요구사항은 데이터 수집(Data Collection), 학습 전략(Training Strategy), 아키텍처 선택(Architecture Selection), 평가 프로토콜(Evaluation Protocol)을 안내한다. 견고성 목표가 명확하게 정의되지 않으면 시험에서 관찰된 개선이 실제 운영 신뢰성 향상으로 이어지지 않을 수 있다.

포괄적인 견고성 평가(Comprehensive Robustness Assessment)는 일반적인 테스트 성능, 스트레스 테스트(Stress Testing), 적대적 평가(Adversarial Evaluation), 분포 이동 분석(Distribution Shift Analysis), 시스템 수준 검증(System-Level Validation)을 결합해야 한다. 결과는 명시적인 교란 제약, 운영 가정 및 불확실성 추정값과 함께 보고해야 한다. 이러한 접근 방식은 견고성을 단일 벤치마크 점수(Benchmark Score)로 축소하는 것을 방지하고 서로 다른 운영 조건을 위해 설계된 모델 사이의 의미 있는 비교를 지원한다.

견고성은 궁극적으로 올바른 동작에 대한 절대적인 보장이 아니라 다차원적 특성(Multidimensional Property)이다. 그 의미는 어떤 교란을 고려하는지, 어떤 출력이 안정적으로 유지되어야 하는지, 어느 수준의 성능 저하가 허용되는지에 따라 달라진다. 견고성을 정확하게 정의하고 체계적으로 평가함으로써 AI 개발자는 현실적인 신뢰성 요구사항(Reliability Requirement)을 수립하고 불확실하고 까다로운 조건에서도 더욱 일관되게 작동하는 시스템을 구축할 수 있다.

05.02 Adversarial Attacks [w/Code]

적대적 공격(Adversarial Attack)은 기계학습(Machine Learning) 모델이 잘못된 예측이나 의도하지 않은 동작을 수행하도록 입력 데이터를 의도적으로 조작하는 행위이다. 이러한 공격은 학습된 결정 경계(Decision Boundary)의 취약성을 악용하며, 원본 입력의 겉보기 의미를 유지하는 작은 교란(Perturbation)을 통해 수행되는 경우가 많다. 적대적 공격의 존재는 일반적인 테스트 데이터셋(Test Dataset)에서 높은 정확도를 달성하더라도 적대적인 조건에서 신뢰할 수 있는 성능이 반드시 보장되는 것은 아님을 보여준다.

적대적 예제(Adversarial Example)는 일반적으로 교란 크기(Perturbation Magnitude)에 대한 사전 정의된 제약을 만족하면서 정상적인 입력을 수정하여 생성된다. 이미지 분류(Image Classification)에서는 이러한 수정이 인간 관찰자에게 거의 인식되지 않으면서도 모델의 예측을 크게 변화시킬 수 있다. 공격자는 수정된 입력을 허용된 교란 영역(Perturbation Region) 내에 유지하면서 예측 오류를 최대화하거나 특정 목표 분류(Target Classification)를 유도하거나 운영 요구사항(Operational Requirement)을 위반하도록 만드는 것을 목표로 한다.

적대적 위협 모델(Adversarial Threat Model)은 공격자의 목표, 능력 및 제약 조건을 정의한다. 화이트박스 공격(White-Box Attack)은 모델 구조(Model Architecture), 매개변수(Parameter), 기울기(Gradient)에 접근할 수 있다고 가정하는 반면, 블랙박스 공격(Black-Box Attack)은 모델 질의(Model Query) 또는 모델 간 전이성(Transferability)에 의존한다. 비표적 공격(Untargeted Attack)은 임의의 잘못된 예측을 유도하며, 표적 공격(Targeted Attack)은 특정 출력을 생성하도록 시도한다. 교란 예산(Perturbation Budget)은 공격자가 원본 입력을 수정할 수 있는 범위를 결정한다.

기울기 기반 공격(Gradient-Based Attack)은 신경망(Neural Network)의 미분 가능성(Differentiability)을 활용하여 선택된 손실 함수(Loss Function)를 증가시키는 입력 방향을 식별한다. 입력에 대한 손실 함수의 기울기를 계산함으로써 공격자는 어떤 수정이 모델 예측에 가장 큰 영향을 미칠 가능성이 있는지 추정할 수 있다. 이러한 접근 방식은 적대적 예제 생성을 예측 목표(Prediction Objective)와 허용 가능한 교란을 포함하는 제약 최적화 문제(Constrained Optimization Problem)로 변환한다.

빠른 기울기 부호 방법(Fast Gradient Sign Method, FGSM)은 가장 단순한 기울기 기반 적대적 공격 중 하나이다. 이 방법은 단일 기울기 계산(Single Gradient Computation)을 사용하고 엡실론(Epsilon)이라는 매개변수로 조절되는 교란을 적용하여 적대적 예제를 생성한다. 비표적 공격에서는 손실 함수의 입력 기울기 부호를 따라 교란을 적용하여 L-무한대 노름(L-Infinity Norm) 제약을 만족하면서 분류 오류를 증가시킨다.

FGSM은 수학적으로 x_adv = x + ε sign(∇x L(θ, x, y))로 표현할 수 있다. 여기서 x는 원본 입력(Original Input), ε는 교란 크기, θ는 모델 매개변수(Model Parameter), L은 손실 함수(Loss Function)를 의미한다. 기울기는 손실이 증가하는 방향을 식별하며, 부호 연산(Sign Operation)은 각 입력 요소에 대해 제한된 크기의 수정을 생성한다. 생성된 적대적 입력은 일반적으로 유효한 데이터 범위(Valid Data Range)를 유지하도록 클리핑(Clipping)된다.

파이토치(PyTorch)를 이용한 실제 FGSM 구현은 입력 텐서(Input Tensor)에 대한 기울기 추적(Gradient Tracking)을 활성화하는 것으로 시작한다. 모델은 순전파(Forward Pass)를 수행하고 분류 손실(Classification Loss)을 계산한 다음 역전파(Backpropagation)를 통해 입력에 대한 기울기를 구한다. 이후 기울기 부호에 엡실론을 곱한 값을 입력에 더하고 클리핑을 적용하여 적대적 입력을 생성한다. 평가는 정상 입력(Clean Input)과 교란된 입력(Perturbed Input)에 대한 예측을 비교하여 공격 효과를 정량화한다.

FGSM은 적대적 예제마다 단 한 번의 기울기 평가(Gradient Evaluation)만 필요하므로 계산 효율성(Computational Efficiency)이 높다. 그러나 손실 지형(Loss Landscape)이 매우 비선형적(Nonlinear)인 경우 단일 단계 근사(Single-Step Approximation)만으로는 더 강력한 적대적 교란을 찾지 못할 수 있다. 공격 효과는 엡실론, 모델 구조, 입력 정규화(Input Normalization), 선택된 손실 함수에도 영향을 받는다. 따라서 FGSM은 포괄적인 견고성 평가(Robustness Evaluation)보다는 초기 진단 도구(Initial Diagnostic Tool)로 유용하다.

투영 기울기 하강법(Projected Gradient Descent, PGD)은 반복 최적화(Iterative Optimization)를 통해 FGSM을 확장한다. PGD는 단일 교란을 적용하는 대신 공격 목표(Attack Objective)를 증가시키는 방향으로 적대적 입력을 반복적으로 갱신한다. 각 갱신 이후 후보 입력(Candidate Input)은 허용된 교란 영역으로 다시 투영(Projection)된다. 이러한 절차를 통해 사전에 정의된 제약을 유지하면서 더욱 효과적인 적대적 수정(Adversarial Modification)을 탐색할 수 있다.

비표적 L-무한대 공격(Untargeted L-Infinity Attack)에서 PGD는 x_next = Π(x_current + α sign(∇x L))를 사용하여 입력을 갱신한다. 여기서 α는 단계 크기(Step Size)를 나타내며, Π는 원본 입력 주변의 허용 영역으로 투영하는 연산을 의미한다. 이 과정은 지정된 반복 횟수(Number of Iterations)만큼 수행된다. 교란 예산 내에서 무작위 초기화(Random Initialization)를 적용하면 탐색 능력을 향상시키고 단일 시작점에 대한 의존성을 줄일 수 있다.

PGD의 파이토치(PyTorch) 구현에서는 반복적인 순전파와 역전파를 통해 갱신되는 적대적 텐서(Adversarial Tensor)를 유지한다. 각 반복에서는 현재 손실 기울기를 계산하고 제한된 기울기 단계(Bounded Gradient Step)를 적용한 다음, 결과를 엡실론 주변 영역(Epsilon Neighborhood)으로 투영하고 유효한 입력 범위로 클리핑한다. 여러 번의 무작위 재시작(Random Restart)을 사용하면 더 강력한 적대적 예제를 발견하고 경험적 견고성 추정(Empirical Robustness Estimation)의 신뢰성을 높일 수 있다.

PGD는 적대적 견고성 평가(Adversarial Robustness Evaluation)와 적대적 학습(Adversarial Training)을 위한 기준 공격(Reference Attack)으로 널리 사용된다. 반복적인 특성으로 인해 일반적으로 동일한 교란 제약 아래에서 기본 FGSM보다 강력하지만, 실제 성능은 최적화 설정(Optimization Setting)에 따라 달라진다. 반복 횟수를 늘리고 단계 크기를 조정하며 여러 번 재시작하면 공격 효과를 높일 수 있지만 계산 비용(Computational Cost)도 증가하며 전역 최적해(Global Optimum)를 보장하지는 않는다.

칼리니-와그너 공격(Carlini-Wagner Attack, CW Attack)은 교란 크기와 공격 성공 여부를 명시적으로 최적화하여 적대적 예제를 생성한다. 이 방법은 주로 기울기 부호 갱신(Gradient Sign Update)에 의존하기보다 오분류 목표(Misclassification Objective)를 만족하면서 선택된 거리 척도(Distance Measure)를 최소화하는 수정 입력을 탐색한다. 특히 L2 거리 제약(L2 Distance Constraint) 아래에서 정교하게 최적화된 적대적 예제를 생성하는 방법으로 알려져 있다.

일반적인 CW 정식화(Formulation)는 ||δ||² + c f(x + δ)를 최소화한다. 여기서 δ는 교란, c는 왜곡(Distortion)과 공격 성공 사이의 균형을 조절하는 계수이며, f는 모델 출력에 기반한 공격별 목적 함수(Attack-Specific Objective)를 나타낸다. 최적화 과정에서는 유용한 기울기를 얻기 위해 분류 확률(Classification Probability) 대신 로짓(Logit)을 사용할 수 있다. 신뢰도 매개변수(Confidence Parameter)는 목표 결과와 경쟁 클래스(Competing Class) 사이에 요구되는 분리 정도를 조절할 수 있다.

CW 구현에서는 최적화 과정에서 적대적 입력이 유효한 수치 범위(Numerical Bound)를 유지하도록 변수 변환(Variable Transformation)을 사용하는 경우가 많다. 변환된 변수는 아담(Adam)과 같은 기울기 기반 최적화 방법(Gradient-Based Optimization Method)을 사용하여 최적화하며, 절충 계수(Tradeoff Coefficient)에 대한 이진 탐색(Binary Search)을 통해 더 작은 성공적 교란을 찾을 수 있다. 이러한 절차는 FGSM 및 많은 PGD 설정에 비해 계산량이 많지만 고도로 최적화된 적대적 예제를 생성할 수 있다.

FGSM, PGD, CW는 계산 효율성, 최적화 강도(Optimization Strength), 교란 제어(Perturbation Control) 사이의 서로 다른 절충 관계(Tradeoff)를 보여준다. FGSM은 빠른 단일 단계 기준선(Single-Step Baseline)을 제공하고, PGD는 반복적인 제약 최적화(Constrained Optimization)를 수행하며, CW는 교란 크기와 공격 성공 사이의 균형을 명시적으로 최적화한다. 위협 모델, 교란 노름(Perturbation Norm), 공격 목표 및 계산 예산(Computational Budget)이 일관되게 정의되지 않으면 이들의 결과를 직접 비교하기 어렵다.

적대적 공격을 평가할 때는 잘못된 예측의 개수만 측정해서는 안 된다. 견고 정확도(Robust Accuracy), 공격 성공률(Attack Success Rate), 교란 크기(Perturbation Magnitude), 계산 비용(Computational Cost), 서로 다른 모델 구조에서의 공격 성공 여부는 상호 보완적인 정보를 제공한다. 표적 공격과 비표적 공격의 결과는 별도로 보고해야 한다. 이미 잘못 분류된 입력은 성공적인 적대적 수정의 증거가 아니므로 정상 입력의 예측 정확성도 함께 고려해야 한다.

적대적 공격은 서로 다른 신경망이 유사한 결정 경계나 취약한 특징(Vulnerable Feature)을 학습할 수 있기 때문에 모델 간 전이(Transfer)가 가능하다. 전이성(Transferability)은 대리 모델(Surrogate Model)을 이용하여 적대적 예제를 생성하고 이를 다른 시스템에 적용하는 블랙박스 공격을 가능하게 한다. 그러나 전이 성공률(Transfer Success Rate)은 모델 구조, 학습 데이터, 전처리 및 방어 메커니즘(Defensive Mechanism)에 따라 달라지므로 경험적 검증(Empirical Verification)이 필수적이다.

적대적 학습(Adversarial Training)은 생성된 공격 예제를 활용하여 정의된 위협 모델 내에서 모델의 저항성을 향상시킨다. FGSM 기반 학습(FGSM-Based Training)은 계산 효율성을 제공하며, PGD 기반 학습(PGD-Based Training)은 학습 중 적대적 예제에 대한 더 강력한 최적화를 수행할 수 있다. 그러나 견고성 향상은 정상 입력 정확도(Clean Accuracy), 학습 비용(Training Cost), 관찰하지 못한 공격에 대한 일반화(Generalization) 사이의 절충을 수반할 수 있다. 따라서 방어 기법은 충분히 강력한 적응형 평가(Adaptive Evaluation)를 통해 검증해야 한다.

자율주행차(Autonomous Vehicle), 로봇공학(Robotics), 인프라 AI(Infrastructure AI)에서 적대적 교란은 인식(Perception)과 후속 의사결정(Downstream Decision-Making)에 영향을 미칠 수 있다. 물리적 공격(Physical Attack)은 관측 각도(Viewing Angle), 조명(Illumination), 센서 특성(Sensor Characteristics), 환경 동역학(Environmental Dynamics)과 관련된 추가적인 제약을 가진다. 디지털 공격(Digital Attack)의 성공이 실제 환경에서의 효과를 자동으로 의미하지는 않는다. 신뢰할 수 있는 평가를 위해서는 현실적인 운영 조건에서 전체 인식 및 제어 파이프라인(Perception and Control Pipeline)을 검증해야 한다.

적대적 공격 연구(Adversarial Attack Research)는 궁극적으로 취약성이 운영 장애(Operational Failure)를 초래하기 전에 이를 체계적으로 식별하기 위한 프레임워크(Framework)를 제공한다. FGSM은 계산 비용이 낮은 기준선(Baseline)을 제공하고, PGD는 더욱 강력한 반복 평가(Iterative Evaluation)를 지원하며, CW는 최적화 기반 교란 최소화(Optimization-Based Perturbation Minimization)를 보여준다. 이러한 방법들은 연구자가 모델의 취약성을 분석하고 방어 전략(Defensive Strategy)을 검증하며 안전하고 견고한 AI 배포(Secure and Robust AI Deployment)를 위한 더욱 엄격한 기준을 수립하도록 지원한다.

05.03 Adversarial Defenses [w/Code]

적대적 방어(Adversarial Defense)는 의도적으로 조작된 입력에 대한 기계학습(Machine Learning) 모델의 저항성을 향상시키기 위해 설계된 기술이다. 주요 목표는 공격자가 모델의 취약성(Model Vulnerability)을 악용하기 위한 교란(Perturbation)을 도입하더라도 신뢰할 수 있는 예측과 허용 가능한 시스템 동작을 유지하는 것이다. 효과적인 방어를 위해서는 공격자의 능력, 교란 제약(Perturbation Constraint), 잘못된 의사결정의 결과를 포함하는 적대적 위협 모델(Adversarial Threat Model)을 이해해야 한다.

적대적 방어는 모델 오류를 최대화하도록 구성된 입력을 명시적으로 고려한다는 점에서 기존 정규화(Regularization)와 다르다. 전통적인 학습(Traditional Training)은 표본으로 추출된 데이터 분포(Data Distribution)에 대한 기대 손실(Expected Loss)을 최소화하지만, 견고한 학습(Robust Training)은 관측된 예제 주변의 잠재적으로 유해한 변형을 포함한다. 이러한 차이는 정상 입력 정확도(Clean Accuracy)가 매우 높은 모델이라도 불안정한 결정 경계(Decision Boundary)를 악용하는 적대적 예제(Adversarial Example)에 취약할 수 있기 때문에 중요하다.

적대적 학습(Adversarial Training)은 가장 광범위하게 연구된 방어 접근 방식 중 하나이다. 이 방법은 모델 최적화(Model Optimization) 과정에 적대적으로 교란된 예제를 도입하여 신경망(Neural Network)이 허용된 교란에 덜 민감한 결정 경계를 학습하도록 유도한다. 학습 목적(Training Objective)은 일반적으로 지정된 교란 영역(Perturbation Region) 내에서 기대 최악 사례 손실(Expected Worst-Case Loss)을 최소화하는 것이다. 이러한 정식화(Formulation)는 적대적 방어와 견고 최적화(Robust Optimization) 사이의 연관성을 형성한다.

빠른 기울기 부호 방법(Fast Gradient Sign Method, FGSM)을 이용한 학습은 단일 기울기 기반 교란 단계(Single Gradient-Based Perturbation Step)를 사용하여 적대적 예제를 생성한다. 이러한 예제는 학습 배치(Training Batch)에 포함되어 모델이 정상 입력과 수정된 입력을 모두 올바르게 분류하도록 학습한다. 이 접근 방식은 강력한 반복 방법(Iterative Method)에 비해 계산 효율성이 높지만, 학습에 사용된 공격에 대한 겉보기 견고성이 더 강력한 평가로 일반화되지 않는 급격한 과적합(Catastrophic Overfitting)이 발생할 수 있다.

투영 기울기 하강법(Projected Gradient Descent, PGD)을 이용한 적대적 학습은 반복 공격(Iterative Attack)을 사용하여 제약된 영역 내에서 최악 사례 교란(Worst-Case Perturbation)을 근사한다. 각 학습 반복에서 PGD는 입력을 반복적으로 갱신하고 허용된 교란 집합(Perturbation Set)으로 투영하여 까다로운 예제를 생성한다. 이후 모델 매개변수(Model Parameter)는 이러한 예제에 대해 최적화된다. 이 방법은 기본적인 단일 단계 학습(Single-Step Training)보다 강력한 경험적 견고성(Empirical Robustness)을 제공하는 경우가 많지만 훨씬 많은 계산이 필요하다.

적대적 학습의 효과는 교란 예산(Perturbation Budget), 최적화 설정(Optimization Setting), 공격 강도(Attack Strength), 학습 데이터 품질(Training Data Quality)에 따라 달라진다. L-무한대 교란(L-Infinity Perturbation)에 대해 학습된 모델이 L2 공격(L2 Attack), 기하학적 변환(Geometric Transformation), 물리적 조작(Physical Manipulation)에 자동으로 저항하는 것은 아니다. 교란 예산을 증가시키면 지정된 위협 모델 내에서 저항성이 향상될 수 있지만 정상 입력 정확도는 감소할 수 있다. 따라서 방어 설계에서는 견고성, 예측 성능(Predictive Performance), 계산 효율성(Computational Efficiency) 사이의 균형이 필요하다.

입력 전처리(Input Preprocessing)는 적대적 방어의 또 다른 범주이다. 이미지 압축(Image Compression), 평활화(Smoothing), 잡음 제거(Denoising), 양자화(Quantization), 특징 재구성(Feature Reconstruction) 등의 기술은 추론(Inference) 이전에 유해한 교란을 제거하거나 감소시키는 것을 목표로 한다. 이러한 변환은 특정 형태의 잡음을 억제할 수 있지만 유용한 정보도 제거할 수 있다. 또한 전처리 연산을 알고 있는 공격자는 변환 파이프라인(Transformation Pipeline)을 통과해도 유지되는 교란을 최적화할 수 있다.

무작위화 방어(Randomized Defense)는 모델 추론이나 입력 처리 과정에 제어된 확률적 동작(Stochastic Behavior)을 도입한다. 무작위 크기 조정(Random Resizing), 확률적 변환(Stochastic Transformation), 잡음 주입(Noise Injection), 무작위 평활화(Randomized Smoothing)는 모델 반응의 예측 가능성을 감소시킬 수 있다. 무작위 평활화는 특정 수학적 가정 아래에서 인증된 견고성 보장(Certified Robustness Guarantee)을 제공할 수도 있다. 그러나 공격자가 반복적인 평가를 통해 기대 기울기(Expected Gradient)를 추정할 수 있다면 무작위성만으로 보안이 확립되지는 않는다.

인증된 적대적 방어(Certified Adversarial Defense)는 경험적 시험에만 의존하지 않고 수학적으로 정당화된 보장(Mathematically Justified Guarantee)을 확립하는 것을 목표로 한다. 대표적인 기술에는 구간 경계 전파(Interval Bound Propagation), 볼록 완화(Convex Relaxation), 무작위 평활화(Randomized Smoothing), 형식 검증(Formal Verification)이 포함된다. 이러한 방법은 지정된 영역 내의 모든 교란에 대해 모델 예측이 변하지 않는지를 판단한다. 인증 보장은 가치가 있지만 인증 절차에서 다루는 가정, 교란 집합 및 모델 특성으로 제한된다.

탐지 기반 방어(Detection-Based Defense)는 적대적 입력이 후속 의사결정(Downstream Decision-Making)에 영향을 미치기 전에 이를 식별하려고 시도한다. 탐지기(Detector)는 예측 신뢰도(Prediction Confidence), 특징 분포(Feature Distribution), 재구성 오류(Reconstruction Error), 여러 모델 사이의 불일치(Inconsistency)를 분석할 수 있다. 의심스러운 입력은 거부(Rejection), 추가 검증(Additional Verification), 대체 동작(Fallback Behavior)을 유발할 수 있다. 그러나 적대적 탐지 자체도 적응형 공격(Adaptive Attack)에 취약하며, 탐지 정확도(Detection Accuracy)는 현실적인 운영 조건에서 평가해야 한다.

특징 수준 방어(Feature-Level Defense)는 입력만 수정하는 대신 내부 표현(Internal Representation)의 안정성을 향상시키는 것을 목표로 한다. 표현 정규화(Representation Regularization), 대조 학습(Contrastive Learning), 특징 잡음 제거(Feature Denoising), 일관성 목적 함수(Consistency Objective)는 모델이 교란 상황에서도 의미 있는 특징을 유지하도록 유도할 수 있다. 이러한 접근 방식은 적대적 학습과 결합될 때 견고성을 향상시킬 수 있다. 그러나 안정적인 특징 표현이 모든 공격 전략에 대한 저항성을 자동으로 보장하는 것은 아니다.

앙상블 방어(Ensemble Defense)는 여러 모델의 예측을 결합하여 개별 결정 경계에 대한 의존성을 감소시킨다. 모델 구조(Model Architecture), 학습 절차(Training Procedure), 입력 표현(Input Representation)의 다양성은 특정 공격에 대한 저항성을 향상시킬 수 있다. 그러나 공격자는 전체 앙상블(Ensemble)을 대상으로 최적화하거나 공유된 취약성(Shared Vulnerability)을 악용할 수 있다. 따라서 앙상블의 효과는 단순한 모델 수가 아니라 실질적인 다양성과 엄격한 평가에 따라 결정된다.

기울기 마스킹(Gradient Masking)은 적대적 방어 평가에서 중요한 문제이다. 일부 방어 메커니즘(Defensive Mechanism)은 모델 견고성을 실질적으로 향상시키지 않으면서 기울기를 신뢰할 수 없게 만들거나 계산하기 어렵게 만든다. 이러한 시스템은 기본적인 기울기 공격(Gradient Attack)에 저항하는 것처럼 보이지만 더 강력한 최적화, 전이 공격(Transfer Attack), 기울기 근사 방법(Gradient Approximation Method)에는 여전히 취약할 수 있다. 견고성 주장은 실제 방어 개선과 비효과적인 공격 절차에서 발생한 인위적인 결과를 구분해야 한다.

적응형 적대적 평가(Adaptive Adversarial Evaluation)는 공격자가 방어 메커니즘을 이해하고 이에 따라 공격 전략을 수정한다고 가정한다. 미분 가능한 방어(Differentiable Defense)의 경우 가능한 한 전체 처리 파이프라인(Processing Pipeline)을 통해 공격을 최적화해야 한다. 미분 불가능한 구성요소(Nondifferentiable Component)나 무작위화된 구성요소(Randomized Component)에 대해서는 적절한 근사 방법(Approximation Method)이나 기댓값 기반 방법(Expectation-Based Method)이 필요할 수 있다. 방어되지 않은 모델을 대상으로 설계된 공격만 평가하면 방어 효과를 상당히 과대평가할 수 있다.

방어 평가(Defense Evaluation)에서는 정상 입력 정확도(Clean Accuracy), 견고 정확도(Robust Accuracy), 공격 성공률(Attack Success Rate), 교란 제약(Perturbation Constraint), 계산 오버헤드(Computational Overhead)를 보고해야 한다. 비교에는 일관된 데이터셋(Dataset), 위협 모델(Threat Model), 공격 예산(Attack Budget), 평가 절차(Evaluation Procedure)를 사용해야 한다. 여러 공격과 최적화 설정을 적용하면 단일 벤치마크(Benchmark)에서 놓칠 수 있는 취약성을 발견하는 데 도움이 된다. 독립적인 시험(Independent Testing)은 특히 안전 필수 응용 분야(Safety-Critical Application)를 위한 방어를 평가할 때 중요하다.

견고성 향상은 정확도(Accuracy), 지연 시간(Latency), 에너지 소비(Energy Consumption), 학습 복잡도(Training Complexity) 사이의 절충 관계를 수반하는 경우가 많다. 반복적 적대적 학습(Iterative Adversarial Training)은 계산 요구량을 크게 증가시킬 수 있으며, 탐지 및 전처리는 추론 지연(Inference Delay)을 추가할 수 있다. 실시간 시스템(Real-Time System)에서 방어 메커니즘은 엄격한 시간 제약(Timing Constraint) 내에서 작동해야 한다. 분류 견고성을 향상시키더라도 운영 마감시간(Operational Deadline)을 위반하는 방어는 전체 시스템 신뢰성(System Dependability)을 감소시킬 수 있다.

시스템 수준 방어(System-Level Defense)는 신경망 최적화를 넘어 모니터링(Monitoring), 중복성(Redundancy), 접근 제어(Access Control), 안전 대체 메커니즘(Safe Fallback Mechanism)까지 확장된다. AI 시스템은 불확실하거나 의심스러운 조건을 인식하고 신뢰할 수 없는 예측이 직접적으로 유해한 행동을 유발하지 않도록 해야 한다. 견고한 인식(Robust Perception)을 독립적인 안전 점검(Independent Safety Check) 및 운영 제약(Operational Constraint)과 결합하면 성공적인 적대적 조작의 결과를 줄일 수 있다.

자율주행차(Autonomous Vehicle)와 로봇 시스템(Robotic System)은 물리적 환경(Physical Environment)과 센서 상호작용(Sensor Interaction)을 고려한 방어가 필요하다. 적대적 수정(Adversarial Modification)은 조명(Illumination), 관측 각도(Viewing Angle), 거리(Distance), 움직임(Motion), 센서 특성(Sensor Characteristics)의 영향을 받을 수 있다. 따라서 방어 전략(Defensive Strategy)은 현실적인 환경 변화(Environmental Variation)와 완전한 인식·제어 파이프라인(Perception-Control Pipeline)을 사용하여 평가해야 한다. 디지털 견고성(Digital Robustness)만으로는 실제 물리 환경에서의 신뢰할 수 있는 성능을 입증할 수 없다.

인프라 AI(Infrastructure AI)는 손상된 예측(Compromised Prediction)이 핵심 서비스(Critical Service)와 산업 공정(Industrial Process)에 영향을 미칠 수 있으므로 추가적인 요구사항을 가진다. 방어 메커니즘에는 이상 모니터링(Anomaly Monitoring), 센서 중복성(Sensor Redundancy), 인증된 데이터 채널(Authenticated Data Channel), 독립적인 운영 안전장치(Independent Operational Safeguard)가 포함될 수 있다. 이러한 보호 수단은 모델 수준 견고성(Model-Level Robustness)을 대체하는 것이 아니라 보완해야 한다. 보안 공학(Security Engineering)은 데이터 무결성(Data Integrity), 시스템 가용성(System Availability), 교란 이후 복구(Recovery After Disturbance)도 고려해야 한다.

적대적 방어는 영구적인 해결책이 아니라 지속적인 공학적 과정(Continuous Engineering Process)으로 이해하는 것이 적절하다. 공격 방법은 진화하고 운영 환경은 변화하며 새롭게 발견된 취약성은 이전의 가정을 무효화할 수 있다. 효과적인 방어 프로그램(Defense Program)은 위협 모델링(Threat Modeling), 견고한 학습(Robust Training), 적응형 시험(Adaptive Testing), 배포 모니터링(Deployment Monitoring), 주기적 재평가(Periodic Reassessment)를 결합한다. 이러한 수명주기 접근 방식(Lifecycle Approach)은 AI 보안과 운영 신뢰성(Operational Reliability)의 지속적인 개선을 지원한다.

궁극적으로 단일 적대적 방어 기술만으로 모든 가능한 공격에 대한 보호를 보장할 수는 없다. 적대적 학습(Adversarial Training), 전처리(Preprocessing), 무작위화 방법(Randomized Method), 인증된 견고성(Certified Robustness), 탐지(Detection), 시스템 수준 안전장치(System-Level Safeguard)는 서로 다른 취약성을 다루며 각기 다른 가정 아래에서 작동한다. 신뢰할 수 있는 AI 아키텍처(Trustworthy AI Architecture)는 상호 보완적인 방어를 결합하고 그 한계를 투명하게 평가하며 개별 보호 메커니즘이 실패하더라도 허용 가능한 동작을 유지해야 한다.

05.04 Out of Distribution Detection

분포 외 탐지(Out-of-Distribution Detection, OOD Detection)는 인공지능(Artificial Intelligence, AI) 모델을 학습시키는 데 사용된 데이터 분포(Data Distribution)와 의미 있게 다른 입력을 식별하는 과정이다. 기존 기계학습(Machine Learning)은 학습 데이터(Training Data)와 배포 데이터(Deployment Data)가 충분히 유사한 통계적 패턴(Statistical Pattern)을 따른다고 가정한다. 이러한 가정이 성립하지 않으면 모델이 높은 신뢰도 점수(Confidence Score)를 출력하더라도 예측의 신뢰성이 저하될 수 있다. OOD 탐지는 이러한 상황을 오류가 확산되기 전에 인식하도록 지원한다.

분포 내 데이터(In-Distribution Data)는 모델 개발 과정에서 표현된 통계적 특성(Statistical Characteristic)과 작업 정의(Task Definition)에 부합하는 표본을 의미한다. 분포 외 데이터(Out-of-Distribution Data)에는 익숙하지 않은 객체, 예상하지 못한 환경, 새로운 운영 조건 또는 학습 중 거의 관찰되지 않은 특징 조합(Feature Combination)이 포함될 수 있다. 실제 데이터 분포는 서로 겹치고 시간에 따라 변화하므로 이러한 구분이 항상 절대적인 것은 아니다. 따라서 OOD 탐지에는 신중하게 정의된 기준 분포(Reference Distribution)와 운영 맥락(Operational Context)이 필요하다.

OOD 탐지는 입력을 반드시 알려진 범주(Known Category)에 할당하는 것이 목적은 아니라는 점에서 일반적인 분류(Classification)와 다르다. 대신 입력이 모델이 학습한 예상 데이터의 표현(Learned Representation)과 충분히 일치하는지를 추정한다. 분류 모델(Classification Model)은 출력 공간(Output Space)에 알려진 레이블(Known Label)만 존재하기 때문에 익숙하지 않은 객체를 기존 클래스에 높은 신뢰도로 할당할 수 있다. OOD 탐지기(OOD Detector)는 이러한 예측을 신중하게 처리해야 하는 상황을 식별하려고 한다.

분포 이동(Distribution Shift)은 센서, 환경, 사용자 집단(User Population), 데이터 획득 절차(Data Acquisition Procedure), 변수 간 기본 관계의 변화로 발생할 수 있다. 공변량 이동(Covariate Shift)은 입력 특성을 변화시키고, 레이블 이동(Label Shift)은 클래스 빈도(Class Frequency)를 변화시킨다. 개념 이동(Concept Shift)은 입력과 목표값(Target) 사이의 관계를 변화시킨다. OOD 탐지는 익숙하지 않은 관측값을 식별하는 데 중점을 두지만 모든 분포 이동이 개별적으로 탐지 가능한 이상(Anomaly)을 발생시키는 것은 아니며, 일부 이동은 시간에 따른 집계 데이터(Aggregated Data)의 모니터링이 필요하다.

기본적인 구분 중 하나는 근거리 분포 외 표본(Near-OOD Sample)과 원거리 분포 외 표본(Far-OOD Sample)의 차이이다. 근거리 OOD 입력은 학습 분포와 유사하지만 익숙하지 않은 하위 클래스(Unfamiliar Subclass)나 미묘한 환경 변화처럼 의미 있는 차이를 포함한다. 원거리 OOD 입력은 특정 목적의 분류기에 관련 없는 이미지를 제공하는 경우처럼 예상 데이터와 상당히 다르다. 근거리 OOD 탐지는 익숙하지 않은 예제가 학습된 특징 공간(Learned Feature Space)에서 알려진 클래스와 가까운 영역에 위치할 수 있으므로 더 어려운 경우가 많다.

소프트맥스 신뢰도(Softmax Confidence)는 OOD 탐지를 위한 간단한 기준선(Baseline)을 제공한다. 분류기는 알려진 클래스에 대한 확률을 생성하며, 최대 예측 확률(Maximum Predicted Probability)은 입력의 친숙도를 나타내는 지표로 사용할 수 있다. 그러나 신경망(Neural Network)은 익숙하지 않거나 의미 없는 입력에도 높은 신뢰도를 부여하는 경우가 많다. 따라서 소프트맥스 점수(Softmax Score)는 입력이 학습 분포에 속하는지를 신뢰성 있게 추정하기보다 사용 가능한 클래스 사이의 상대적 선호도를 측정한다.

엔트로피 기반 탐지(Entropy-Based Detection)는 예측된 클래스 분포(Class Distribution)의 불확실성(Uncertainty)을 조사한다. 높은 예측 엔트로피(Predictive Entropy)는 확률 질량(Probability Mass)이 여러 클래스에 분산되어 있음을 나타내며, 분류 결정(Classification Decision)에 대한 불확실성을 시사한다. 낮은 엔트로피는 예측이 특정 클래스에 집중되어 있음을 의미하지만 입력의 친숙도를 반드시 보장하지는 않는다. 따라서 엔트로피는 모호한 예제(Ambiguous Example)를 식별하는 데 도움이 되지만 확신에 찬 잘못된 예측을 생성하는 익숙하지 않은 입력은 탐지하지 못할 수 있다.

에너지 기반 OOD 탐지(Energy-Based OOD Detection)는 정규화된 분류 확률(Normalized Classification Probability)에만 의존하지 않고 모델 로짓(Model Logit)으로부터 스칼라 점수(Scalar Score)를 도출한다. 에너지 점수(Energy Score)는 모델 출력 지형(Output Landscape)의 특정 특성을 요약하며, 익숙한 입력과 익숙하지 않은 입력을 구분하는 데 유용할 수 있다. 임계값(Threshold)을 적용하여 분포 내 관측값으로 추정되는 입력과 의심스러운 OOD 표본을 구별한다. 성능은 모델 학습, 점수 보정(Score Calibration), 평가 데이터셋(Evaluation Dataset)의 특성에 따라 달라진다.

특징 기반 탐지(Feature-Based Detection)는 최종 예측 점수만 사용하는 대신 신경망의 내부 표현(Internal Representation)을 평가한다. 중간 임베딩(Intermediate Embedding)은 입력이 학습된 특징 공간에서 알려진 학습 예제와 얼마나 유사한지를 보여줄 수 있다. 거리 기반 접근 방식(Distance-Based Approach)은 임베딩을 기준 표본(Reference Sample)이나 클래스 원형(Class Prototype)과 비교한다. 이러한 방법은 출력 확률(Output Probability)에 드러나지 않는 익숙하지 않은 패턴을 탐지할 수 있지만 효과는 표현 품질(Representation Quality)과 특징 공간의 기하학적 구조(Feature Geometry)에 따라 달라진다.

마할라노비스 거리(Mahalanobis Distance)는 대표적인 특징 기반 OOD 탐지 방법이다. 이 방법은 특징 차원(Feature Dimension) 사이의 공분산(Covariance)을 고려하면서 임베딩이 추정된 클래스 분포로부터 얼마나 떨어져 있는지를 측정한다. 알려진 클래스 중심(Class Center)에서 멀리 떨어진 표본은 익숙하지 않은 입력으로 처리할 수 있다. 이 방법은 추정된 특징 통계(Feature Statistics)에 의존하며, 클래스 분포가 부정확하게 근사되거나 운영 조건이 크게 변화하면 신뢰성이 떨어질 수 있다.

밀도 기반 접근 방식(Density-Based Approach)은 학습 데이터의 확률 분포(Probability Distribution)를 추정하고 추정 우도(Estimated Likelihood)가 낮은 표본을 식별하려고 한다. 생성 모델(Generative Model), 정규화 흐름(Normalizing Flow), 확률적 표현(Probabilistic Representation)은 이러한 전략을 지원할 수 있다. 그러나 특히 고차원 데이터(High-Dimensional Data)에서는 높은 우도(High Likelihood)가 항상 의미적 친숙도(Semantic Familiarity)를 의미하지 않는다. 생성 모델이 다른 데이터셋의 표본에 예상보다 높은 우도를 부여할 수 있으므로 단순한 밀도 기반 탐지에는 한계가 있다.

재구성 기반 방법(Reconstruction-Based Method)은 오토인코더(Autoencoder) 또는 관련 모델을 사용하여 학습된 표현으로부터 입력을 재구성한다. 기본 가정은 익숙한 입력이 익숙하지 않은 예제보다 더 정확하게 재구성될 수 있다는 것이다. 따라서 큰 재구성 오류(Reconstruction Error)는 분포적 신규성(Distributional Novelty)을 나타낼 수 있다. 그러나 표현력이 높은 재구성 모델(Expressive Reconstruction Model)은 OOD 입력도 효과적으로 재현할 수 있으며, 어렵지만 유효한 분포 내 표본에서도 상당한 오류가 발생할 수 있다.

불확실성 인식 방법(Uncertainty-Aware Method)은 앙상블(Ensemble), 베이지안 근사(Bayesian Approximation), 확률적 추론(Stochastic Inference)을 사용하여 예측 불확실성(Predictive Uncertainty)을 추정한다. 독립적으로 학습된 모델 사이의 불일치(Disagreement)는 익숙하지 않은 입력이나 불충분한 학습 범위(Training Coverage)를 나타낼 수 있다. 몬테카를로 드롭아웃(Monte Carlo Dropout)은 확률적 순전파(Stochastic Forward Pass) 사이의 변동을 조사하는 또 다른 근사 방법이다. 이러한 방법은 불확실성 특성화(Uncertainty Characterization)를 개선할 수 있지만 추가 계산이 필요하며 신뢰할 수 있는 OOD 분리를 보장하지는 않는다.

OOD 탐지 성능은 임계값 선택(Threshold Selection)에 크게 좌우된다. 탐지기는 일반적으로 사전에 정의된 임계값을 사용하여 연속적인 신규성 점수(Novelty Score)를 수용 또는 거부 결정(Acceptance or Rejection Decision)으로 변환한다. 낮은 임계값은 익숙하지 않은 입력에 대한 민감도(Sensitivity)를 높이는 동시에 정상적인 관측값도 거부할 수 있다. 높은 임계값은 운영 가용성(Operational Availability)을 유지하는 데 유리할 수 있지만 더 많은 OOD 표본을 통과시킬 수 있다. 따라서 임계값은 오경보(False Alarm)와 탐지 누락(Missed Detection)의 결과를 반영해야 한다.

평가에서는 일반적으로 수신자 조작 특성 곡선 아래 면적(Area Under the Receiver Operating Characteristic Curve, AUROC)을 사용하여 여러 임계값에서 분포 내 표본과 OOD 표본 사이의 구별 능력(Discrimination)을 측정한다. 추가 지표에는 정밀도-재현율 곡선 아래 면적(Area Under the Precision-Recall Curve), 지정된 참양성률(True Positive Rate)에서의 거짓양성률(False Positive Rate), 탐지 오류(Detection Error)가 포함된다. 이러한 지표는 데이터셋 구성(Dataset Composition), 클래스 불균형(Class Imbalance), 양성 탐지 사건(Positive Detection Event)의 정확한 정의와 함께 해석해야 한다.

신뢰할 수 있는 OOD 평가(Reliable OOD Evaluation)에는 서로 다른 형태의 비친숙성(Unfamiliarity)을 나타내는 여러 테스트 데이터셋이 필요하다. 근거리 OOD, 원거리 OOD, 손상된 입력(Corrupted Input), 현실적인 배포 환경의 분포 이동(Deployment Shift)은 서로 다른 취약성을 드러내므로 별도로 조사해야 한다. 정보 누출(Information Leakage)을 방지하기 위해 학습, 검증(Validation), 테스트 데이터는 적절하게 분리되어야 한다. 평가에서는 탐지 지연 시간(Detection Latency), 계산 오버헤드(Computational Overhead), 임계값 선택에 대한 민감도도 보고해야 한다.

OOD 탐지는 개방 집합 인식(Open-Set Recognition) 및 신규성 탐지(Novelty Detection)와 밀접하게 관련되어 있지만 목적이 완전히 동일하지는 않다. 개방 집합 인식은 알려진 범주를 분류하면서 알려지지 않은 범주(Unknown Category)에 속하는 예제를 거부하려고 한다. 신규성 탐지는 확립된 기준 분포(Reference Distribution)와 다른 관측값을 식별한다. OOD 탐지는 모델이 신뢰성 있게 작동할 것으로 예상되는 분포적 가정(Distributional Assumption)에 입력 데이터가 부합하는지를 보다 폭넓게 다룬다.

자율주행차(Autonomous Vehicle)와 로봇공학(Robotics)에서 OOD 입력은 익숙하지 않은 장애물(Unfamiliar Obstacle), 악천후(Severe Weather), 비정상적인 도로 구성(Unusual Road Configuration), 센서 성능 저하(Sensor Degradation)로 인해 발생할 수 있다. 탐지 신호(Detection Signal)는 속도 감소, 추가 감지(Additional Sensing), 인간 개입(Human Intervention), 최소 위험 운영 모드(Minimum-Risk Operating Mode)를 유발할 수 있다. 그러나 탐지만으로 안전을 보장할 수는 없다. 시스템은 신규성 추정(Novelty Estimate)을 검증된 의사결정 정책(Verified Decision Policy), 운영 제약(Operational Constraint), 신뢰할 수 있는 대체 메커니즘(Fallback Mechanism)과 연결해야 한다.

인프라 및 산업 AI 시스템(Infrastructure and Industrial AI System)은 장비 노후화(Equipment Aging), 예상하지 못한 결함(Unexpected Fault), 공정 변화(Process Change), 변경된 운영 환경(Operating Environment)으로 인해 OOD 조건에 직면한다. 지속적인 모니터링(Continuous Monitoring)은 광범위한 예측 실패(Prediction Failure)가 발생하기 전에 새로운 분포 변화를 식별할 수 있다. 시간적 집계(Temporal Aggregation), 센서 일관성 검사(Sensor Consistency Check), 영역별 임계값(Domain-Specific Threshold)은 개별 표본 탐지를 보완할 수 있다. 운영 대응(Operational Response)은 불필요한 중단을 방지하기 위해 실제 이상과 무해한 변동(Harmless Variation)을 구별해야 한다.

OOD 탐지는 불확실성 추정(Uncertainty Estimation), 보정(Calibration), 견고성 시험(Robustness Testing), 모니터링(Monitoring), 통제된 모델 갱신(Controlled Model Update)을 포함하는 보다 광범위한 신뢰성 프레임워크(Reliability Framework)에 통합되어야 한다. 단일 탐지기로 모든 익숙하지 않거나 위험한 상황을 식별할 수는 없으며, 분포적 친숙도(Distributional Familiarity)가 예측의 정확성을 보장하지도 않는다. 신중하게 검증된 탐지 방법을 안전한 운영 대응(Safe Operational Response)과 결합함으로써 AI 시스템은 자신의 역량 경계(Competence Boundary)를 더 잘 인식하고 변화하는 조건에서도 신뢰할 수 있는 동작을 유지할 수 있다.

05.05 Model Security

모델 보안(Model Security)은 인공지능(Artificial Intelligence, AI) 모델, 학습 데이터(Training Data), 추론 인터페이스(Inference Interface), 관련 인프라(Infrastructure)를 무단 접근(Unauthorized Access)과 악의적인 조작(Malicious Manipulation)으로부터 보호하는 것을 의미한다. 기존 소프트웨어 보안(Software Security)과 달리 모델 보안은 학습된 통계적 동작(Learned Statistical Behavior)과 데이터 의존성(Data Dependency)에서 발생하는 취약성을 고려해야 한다. 모델 추출(Model Extraction), 데이터 중독(Data Poisoning), 백도어 공격(Backdoor Attack)은 기밀성(Confidentiality), 무결성(Integrity), 운영 신뢰성(Operational Reliability)에 영향을 미치는 세 가지 주요 위협이다.

포괄적인 모델 보안 프레임워크(Model Security Framework)는 데이터 획득(Data Acquisition), 전처리(Preprocessing), 학습(Training), 검증(Validation), 배포(Deployment), 유지보수(Maintenance)를 포함하는 전체 기계학습 수명주기(Machine Learning Lifecycle)를 고려한다. 공격자는 접근 권한(Access Privilege)과 목표에 따라 서로 다른 단계를 공격할 수 있다. 일부 공격은 독점적인 모델 기능(Proprietary Model Functionality)을 복제하려고 시도하며, 다른 공격은 학습 정보를 조작하거나 숨겨진 동작(Hidden Behavior)을 도입한다. 효과적인 보호를 위해서는 신뢰 경계(Trust Boundary)를 식별하고 시스템 구성요소 사이의 상호작용을 보호해야 한다.

모델 추출 공격(Model Extraction Attack)은 승인 없이 보호된 기계학습 모델의 기능이나 특성을 재구성하려는 공격이다. 공격자는 공개적으로 접근할 수 있는 예측 인터페이스(Prediction Interface)와 상호작용하고 관찰된 응답을 이용하여 대체 모델(Substitute Model)을 학습시킬 수 있다. 추출된 모델은 결정 경계(Decision Boundary)를 근사하거나 예측을 재현하거나 상업적으로 가치 있는 동작을 드러낼 수 있다. 이러한 공격은 지식재산권(Intellectual Property)을 위협하며 추가적인 적대적 분석(Adversarial Analysis)을 가능하게 할 수 있다.

예측 응용 프로그래밍 인터페이스(Prediction Application Programming Interface, Prediction API)는 구성 방식에 따라 서로 다른 수준의 정보를 노출한다. 전체 확률 분포(Probability Distribution)를 반환하는 인터페이스는 클래스 레이블(Class Label)만 반환하는 인터페이스보다 풍부한 동작 정보를 제공한다. 공격자는 반복적인 질의(Repeated Query)를 이용하여 입력-출력 쌍(Input-Output Pair)을 수집하고 보호된 모델을 근사할 수 있다. 추출의 효과는 질의 접근 권한(Query Access), 응답의 상세 수준(Response Detail), 모델 복잡도(Model Complexity), 공격자가 생성한 입력과 운영 데이터 사이의 유사성에 따라 달라진다.

모델 추출은 관찰 가능한 동작(Observable Behavior)을 통한 지식 전달(Knowledge Transfer)의 한 형태로 이해할 수 있다. 공격자는 원본 모델의 매개변수(Parameter)에 직접 접근하는 대신 대상 시스템(Target System)에서 얻은 응답을 사용하여 대리 모델(Surrogate Model)을 구축한다. 이 과정은 지식 증류(Knowledge Distillation)와 유사하지만 승인 여부와 보안상 의미는 다르다. 성공적인 추출이 반드시 원본 아키텍처(Architecture)나 가중치(Weight)를 복제하는 것은 아니지만 기밀성을 훼손할 만큼 충분한 기능을 복원할 수 있다.

모델 추출에 대한 방어에는 인증(Authentication), 접근 제어(Access Control), 질의 모니터링(Query Monitoring), 요청 속도 제한(Rate Limiting), 노출되는 예측 정보의 제한이 포함된다. 통계적 모니터링(Statistical Monitoring)은 비정상적인 질의 패턴(Query Pattern)을 식별할 수 있지만 정상적인 응용 프로그램도 많은 질의를 생성할 수 있다. 워터마킹(Watermarking)과 동작 지문 분석(Behavioral Fingerprinting)은 적절하게 설계된 경우 소유권 검증(Ownership Verification)을 지원할 수 있다. 보호 조치는 기밀성과 정상적인 고객의 사용성(Usability) 및 정확도 요구사항 사이의 균형을 유지해야 한다.

데이터 중독 공격(Data Poisoning Attack)은 학습이나 모델 갱신(Model Update)에 사용되는 정보를 조작하여 모델 동작을 손상시킨다. 추론 시점 적대적 공격(Inference-Time Adversarial Attack)과 달리 데이터 중독은 학습 과정(Learning Process) 자체를 변경한다. 공격자는 악의적인 표본(Malicious Sample)을 삽입하거나 레이블(Label)을 변경하거나 데이터 수집 파이프라인(Data Collection Pipeline)에 영향을 주어 결과 모델을 변화시킬 수 있다. 그 결과 정확도 감소, 편향된 예측(Biased Prediction), 표적 오분류(Targeted Misclassification), 특정 운영 조건에서의 성능 저하가 발생할 수 있다.

데이터 중독 위협은 학습 파이프라인(Training Pipeline)이 외부에서 제공된 데이터셋(Dataset), 사용자 피드백(User Feedback), 자동 주석(Automated Annotation), 지속적으로 수집되는 운영 데이터(Operational Data)를 포함하는 경우 특히 중요하다. 이러한 데이터 소스(Data Source)에는 부정확하거나 의도적으로 조작된 정보가 포함될 수 있다. 공격자에게 유리한 조건에서는 비교적 적은 양의 악성 데이터도 학습에 영향을 미칠 수 있지만 효과는 학습 절차, 데이터셋 구성(Dataset Composition), 공격자의 제어 범위에 따라 달라진다. 따라서 데이터 출처 추적(Data Provenance)은 핵심적인 보안 요구사항이다.

가용성 중독(Availability Poisoning)과 표적 중독(Targeted Poisoning)은 서로 다른 공격 목표를 나타낸다. 가용성 중독은 전체 모델 성능을 저하시키거나 유용한 학습을 방해하는 것을 목표로 한다. 표적 중독은 다른 영역에서는 허용 가능한 성능을 유지하면서 특정 입력, 클래스 또는 운영 조건에 대한 예측에 영향을 주려고 한다. 정상 레이블 중독(Clean-Label Poisoning)은 악성 예제가 겉보기에는 올바른 레이블을 유지하면서 학습된 결정 경계에 영향을 주도록 구성될 수 있기 때문에 탐지하기가 특히 어렵다.

데이터 중독 방어(Data Poisoning Defense)는 신뢰할 수 있는 데이터 획득(Trusted Data Acquisition)과 검증 가능한 데이터셋 관리(Verifiable Dataset Management)에서 시작된다. 출처 추적(Provenance Tracking), 암호학적 무결성 검사(Cryptographic Integrity Check), 통제된 레이블링 절차(Controlled Labeling Procedure), 제한된 갱신 권한(Restricted Update Permission)은 무단 수정의 기회를 줄인다. 통계적 이상 탐지(Statistical Anomaly Detection)와 중복 분석(Duplicate Analysis)은 의심스러운 표본을 식별할 수 있으며, 견고한 학습 절차(Robust Training Procedure)는 오염된 관측값(Contaminated Observation)에 대한 민감도를 줄일 수 있다. 그러나 단일 필터링 방법으로 모든 중독 전략을 신뢰성 있게 탐지할 수는 없다.

견고 통계(Robust Statistics)와 영향 분석(Influence Analysis)은 의심스러운 학습 데이터를 조사하기 위한 추가적인 도구를 제공한다. 영향 추정(Influence Estimation)은 모델 매개변수나 예측에 불균형적으로 큰 영향을 미치는 표본을 식별하려고 한다. 기울기 기반 진단(Gradient-Based Diagnostics)과 표현 분석(Representation Analysis)은 비정상적인 학습 패턴(Training Pattern)을 드러낼 수 있다. 이러한 기술은 정상적인 희귀 예제(Rare Example)도 상당한 영향을 미칠 수 있으므로 신중하게 해석해야 한다. 특이한 관측값을 무분별하게 제거하면 중요한 운영 조건에 대한 데이터 포괄성(Data Coverage)이 감소할 수 있다.

백도어 공격(Backdoor Attack)은 모델 입력이나 운영 맥락(Operating Context)에 특정 트리거(Trigger)가 나타날 때 활성화되는 숨겨진 동작을 도입한다. 손상된 모델(Compromised Model)은 일반적인 평가 데이터에서는 정상적으로 작동하면서 트리거가 존재하면 공격자가 원하는 출력(Attacker-Desired Output)을 생성할 수 있다. 이러한 조건부 동작(Conditional Behavior)은 백도어를 일반적인 정확도 저하와 구별한다. 백도어는 중독된 학습 표본(Poisoned Training Sample), 손상된 사전학습 모델(Compromised Pretrained Model), 학습 파이프라인에 대한 무단 수정을 통해 도입될 수 있다.

백도어 트리거(Backdoor Trigger)는 시각적 패턴(Visual Pattern), 텍스트 시퀀스(Textual Sequence), 음향 특징(Acoustic Signature) 또는 인식 가능한 다른 입력 특성을 포함할 수 있다. 트리거의 효과는 모델이 해당 특성과 공격자가 원하는 동작 사이의 연관성(Association)을 학습하는지에 따라 달라진다. 일부 트리거는 눈에 잘 띄지만 다른 트리거는 일반적인 입력에 자연스럽게 섞이도록 설계된다. 트리거 설계(Trigger Design)와 환경 변동성(Environmental Variability)은 통제된 평가 조건을 벗어난 상황에서도 백도어가 효과를 유지할 수 있는지에 영향을 미친다.

백도어 공격은 표적형(Targeted) 또는 더 광범위한 형태로 수행될 수 있다. 표적 백도어(Targeted Backdoor)는 트리거가 포함된 특정 입력이 특정 분류 결과를 받도록 만들 수 있으며, 다른 공격은 지정된 조건에서 모델 동작을 변경할 수 있다. 손상된 모델은 높은 정상 입력 정확도(Clean Accuracy)를 유지할 수 있으므로 기존 검증(Conventional Validation)만으로는 충분하지 않다. 따라서 보안 평가(Security Evaluation)는 조건부 동작, 의심스러운 특징 연관성(Feature Association), 모델 개발 산출물(Model Development Artifact)의 무결성을 조사해야 한다.

백도어 탐지(Backdoor Detection) 기술에는 활성화 분석(Activation Analysis), 표현 군집화(Representation Clustering), 트리거 중심 시험(Trigger-Oriented Testing), 학습 데이터 또는 모델 동작 검사가 포함된다. 일부 접근 방식은 특정 입력 특징과 출력 클래스 사이의 비정상적으로 강한 연관성을 탐색한다. 다른 방법은 정상 예제(Clean Example)와 의심스러운 예제 사이의 내부 반응(Internal Response)을 비교한다. 정상적인 작업 특징(Task Feature)이 트리거와 유사할 수 있고 적응형 공격자(Adaptive Attacker)가 단순한 탐지를 회피하도록 백도어 동작을 수정할 수 있기 때문에 탐지는 여전히 어렵다.

백도어 완화(Backdoor Mitigation)에는 의심스러운 학습 표본 제거, 영향을 받은 구성요소의 재학습(Retraining), 선택된 뉴런(Neuron)의 가지치기(Pruning), 신중하게 검증된 모델 복구(Model Repair) 절차 적용이 포함될 수 있다. 신뢰할 수 있는 데이터로 미세조정(Fine-Tuning)을 수행하면 원하지 않는 연관성을 약화시킬 수 있지만 완전한 제거를 보장하지는 않는다. 무결성을 확립할 수 없는 경우에는 모델 교체(Model Replacement)가 필요할 수 있다. 모든 완화 조치는 정상 성능과 대표적인 트리거 조건(Trigger Condition)을 모두 기준으로 평가해야 한다.

모델 추출, 데이터 중독, 백도어 공격은 서로 다른 보안 속성(Security Property)에 영향을 미치지만 더 광범위한 위협 시나리오(Threat Scenario)에서는 상호작용할 수 있다. 모델 추출은 주로 기밀성을 위협하고, 데이터 중독은 학습 무결성(Training Integrity)을 손상시키며, 백도어는 숨겨진 조건부 장애(Conditional Failure)를 도입한다. 탈취된 대리 모델은 취약성 분석(Vulnerability Analysis)을 지원할 수 있으며, 중독된 데이터셋은 백도어의 전달 수단(Delivery Mechanism)이 될 수 있다. 따라서 보안 평가는 각 공격을 독립적으로 취급하기보다 결합된 위협(Combined Threat)을 조사해야 한다.

공급망 보안(Supply Chain Security)은 AI 시스템이 외부 데이터셋, 사전학습 가중치(Pretrained Weight), 라이브러리(Library), 모델 저장소(Model Repository)에 자주 의존하기 때문에 필수적이다. 손상된 의존성(Compromised Dependency)은 배포가 시작되기 전부터 취약성을 도입할 수 있다. 산출물 서명(Artifact Signing), 의존성 검증(Dependency Verification), 접근 감사(Access Auditing), 재현 가능한 빌드 절차(Reproducible Build Procedure)는 개발 입력에 대한 신뢰를 강화한다. 버전 관리된 데이터셋(Versioned Dataset)과 모델 레지스트리(Model Registry)는 의심스러운 동작이 발견되었을 때 조사와 복구도 지원한다.

운영 모니터링(Operational Monitoring)은 모델 보안을 초기 배포 이후까지 확장한다. 예측 패턴(Prediction Pattern), 모델 갱신(Model Update), 접근 로그(Access Log), 데이터 수집 파이프라인(Data Ingestion Pipeline)을 모니터링하여 예상하지 못한 변화를 식별해야 한다. 사고 대응 절차(Incident Response Procedure)는 격리(Isolation), 롤백(Rollback), 포렌식 조사(Forensic Investigation), 신뢰할 수 있는 산출물로부터의 복원(Restoration)을 지원해야 한다. 모니터링은 개인정보 보호(Privacy)와 운영 제약(Operational Constraint)을 준수하면서 공격을 일반적인 분포 이동(Distribution Shift)이나 시스템 결함(System Fault)과 구별할 수 있는 충분한 증거를 제공해야 한다.

모델 보안은 궁극적으로 데이터, 알고리즘(Algorithm), 인터페이스, 인프라, 거버넌스 프로세스(Governance Process)에 대한 조정된 보호를 요구한다. 예방적 통제(Preventive Control)는 침해 가능성을 줄이고, 탐지 메커니즘(Detection Mechanism)은 의심스러운 활동을 식별하며, 복구 절차(Recovery Procedure)는 운영상 결과를 제한한다. 공격은 AI 역량(AI Capability)의 발전과 함께 진화하므로 보안 보증(Security Assurance)은 통제된 시험(Controlled Testing), 문서화된 위협 모델(Documented Threat Model), 체계적인 수명주기 관리(Systematic Lifecycle Management)를 통해 지속적으로 재평가되어야 한다.

05.06 Resilient System Design

복원력 있는 시스템 설계(Resilient System Design)는 허용할 수 없는 운영상의 결과를 초래하지 않으면서 교란(Disturbance)을 예측하고, 견디고, 탐지하고, 복구하며, 적응할 수 있는 인공지능(Artificial Intelligence, AI) 시스템을 구축하는 공학적 접근 방식이다. 지정된 교란 상황에서 성능을 유지하는 데 중점을 두는 견고성(Robustness)과 달...