STATERA Library · Series 01_00 · Volume 04 · Chapter 07 · KR
Source: https://github.com/Statera-Library/01_00_Vol_04_Embodied_AI_and_Robotics/blob/main/07_Object_Tracking/07_Object_Tracking_KR.md

07_Object_Tracking 개요

객체 추적(Object Tracking)은 연속적으로 입력되는 영상이나 센서 데이터에서 객체의 위치, 정체성(Identity), 그리고 움직임을 시간에 따라 지속적으로 추정하는 기술이다. 객체 탐지(Object Detection)가 특정 시점의 영상에서 어떤 객체가 존재하는지를 알려준다면, 객체 추적은 여러 프레임에 걸쳐 동일한 객체가 어떻게 이동하고 변화하는지를 추적한다. 즉, 객체 탐지가 "무엇이 있는가?"에 대한 답을 제공한다면, 객체 추적은 "그 객체가 어디로 이동하고 있는가?"와 "현재 보이는 객체가 이전에 관측했던 동일한 객체인가?"에 대한 답을 제공한다.

로보틱스와 Embodied AI에서 객체 추적은 정적인 인식을 동적인 환경 이해로 확장하는 핵심 기술이다. 이를 통해 로봇은 주변 환경의 움직임을 이해하고 미래 행동을 예측하며, 사람이나 차량과 같은 동적 객체와 안전하게 상호작용할 수 있다. 따라서 Object Tracking은 지각(Perception)과 의사결정(Decision Making)을 연결하는 핵심 구성 요소라 할 수 있다.

이 장은 07_00_Tracking_Foundations에서 시작된다. 여기서는 움직임 추정(Motion Estimation), 시간적 일관성(Temporal Consistency), 객체 정체성 유지(Identity Preservation), 상태 표현(State Representation), 운동 모델(Motion Models), 필터링 기법(Filter Methods), 궤적 생성(Trajectory Generation) 등의 기본 개념을 다룬다. 또한 Kalman Filter, Bayesian Tracking, Prediction-Correction 구조와 같은 현대 추적 시스템의 이론적 기반도 설명한다.

다음으로 07_01_Single_Object_Tracking에서는 하나의 목표 객체를 지속적으로 추적하는 문제를 다룬다. 상관 필터(Correlation Filter), Siamese Network, Transformer 기반 추적기, 템플릿 매칭, 외형 기반 모델링 등의 기술을 학습한다. 이 장에서는 객체가 가려지거나(Occlusion), 크기가 변하거나, 조명이 변화하거나, 카메라가 이동하는 상황에서도 동일한 객체를 안정적으로 추적하는 방법을 설명한다. 이러한 기술은 드론 추종, 로봇 조작, 감시 시스템, 자율 점검 로봇 등에 널리 활용된다.

07_02_Multi_Object_Tracking에서는 여러 개의 객체를 동시에 추적하는 문제를 다룬다. 이 경우 단순히 위치를 추정하는 것을 넘어 각 객체의 고유한 ID를 유지해야 한다. 여러 객체가 서로 교차하거나 가려지거나 밀집된 환경에서는 난이도가 크게 증가한다. 현대의 MOT(Multi-Object Tracking) 시스템은 운동 모델, 외형 특징(Embedding), 시간적 정보, 최적화 알고리즘을 결합하여 객체의 정체성을 유지한다.

객체 추적의 핵심 기술 중 하나는 07_03_Data_Association이다. 데이터 연관(Data Association)은 현재 프레임에서 관측된 객체와 이전 프레임의 추적 객체를 연결하는 과정이다. 이는 동일한 객체의 ID를 유지하기 위한 핵심 메커니즘이다. Nearest Neighbor Matching, Hungarian Assignment, 확률 기반 매칭, 그래프 최적화, Re-Identification(ReID) 기법 등이 소개된다. 실제로 Data Association은 객체 추적 시스템의 성능을 결정하는 가장 중요한 요소 중 하나로 평가된다.

이어지는 07_04_Tracking_by_Detection에서는 현대 객체 추적의 표준 패러다임을 설명한다. 이 방식에서는 먼저 객체 탐지기가 각 프레임에서 객체를 검출한 뒤, 추적기가 이를 시간적으로 연결한다. SORT, Deep SORT, ByteTrack, OC-SORT, BoT-SORT, Transformer 기반 Tracker 등이 대표적인 예이다. 이 접근법은 객체 탐지 기술의 발전을 그대로 활용할 수 있기 때문에 현재 가장 널리 사용되는 추적 방식이 되었다.

마지막으로 07_05_Real_Time_Robot_Tracking에서는 실제 로봇 시스템에 적용되는 객체 추적 기술을 다룬다. 실제 환경에서는 지연 시간, 계산 자원, 전력 소비, 신뢰성 등의 제약이 존재한다. 따라서 엣지 AI 환경, 임베디드 시스템, ROS2 통합, GPU 최적화, 다중 센서 추적, 자율주행 로봇, 드론, 자율주행차, 휴머노이드 로봇에서의 실시간 추적 기법을 설명한다. 핵심 목표는 실제 환경에서도 안정적이고 신뢰성 있는 추적 성능을 달성하는 것이다.

결과적으로 Object Tracking 장은 객체 추적의 기초 이론에서 시작하여 다중 객체 추적, 데이터 연관, Tracking-by-Detection, 그리고 실시간 로봇 추적까지 체계적으로 다룬다. 이를 통해 독자는 움직이는 환경을 이해하고 객체의 행동을 예측하며 자율적인 의사결정을 지원하는 지능형 추적 시스템을 설계할 수 있는 역량을 갖추게 된다.

07_Object_Tracking이 전체 구조와 연결되는 방식

Volume 04: Embodied AI and Robotics 전체 구조에서 Object Tracking은 지각 시스템의 시간적 지능(Temporal Intelligence)을 담당하는 핵심 계층이다. 객체 탐지가 특정 시점의 객체를 인식하는 기술이라면, 객체 추적은 시간의 흐름 속에서 객체의 움직임과 변화를 이해하게 해준다. 따라서 로봇이 동적인 환경에서 행동하기 위해 반드시 필요한 기술이다.

Object Tracking은 03_Robot_Perception, 04_SLAM_and_Mapping, 05_Computer_Vision_for_Robotics, 06_Object_Detection 위에 구축된다. Robot Perception은 카메라, LiDAR, RGB-D 센서, 레이더 등의 데이터를 제공한다. Computer Vision은 이 데이터를 의미 있는 시각 정보로 변환한다. Object Detection은 각 프레임에서 객체를 찾아낸다. Object Tracking은 이러한 탐지 결과를 시간적으로 연결하여 객체의 궤적과 정체성을 유지한다.

특히 06_Object_Detection과의 연결성이 가장 강하다. 현대 객체 추적 시스템 대부분은 Tracking-by-Detection 구조를 사용한다. 객체 탐지가 위치 정보를 제공하고, 객체 추적은 시간적 연속성을 제공한다. 따라서 탐지 성능이 향상되면 추적 성능도 함께 향상된다. 반대로 추적은 일시적인 탐지 오류를 보완하여 전체 인식 시스템의 안정성을 높여준다.

또한 Object Tracking은 08_Segmentation 및 09_Depth_and_3D_Vision과도 긴밀하게 연결된다. Segmentation은 객체의 정확한 경계를 제공하고, Depth 및 3D Vision은 객체의 공간적 위치를 제공한다. 여기에 Tracking이 결합되면 객체의 위치뿐 아니라 크기, 방향, 3차원 움직임까지 시간에 따라 분석할 수 있다.

04_SLAM_and_Mapping과의 연관성도 매우 중요하다. Semantic SLAM에서는 움직이는 객체를 지속적으로 추적하여 정적인 환경과 동적인 객체를 구분한다. 이를 통해 지도 생성과 위치 추정의 정확성을 높일 수 있다. 또한 장기간 추적된 객체 궤적은 의미 지도(Semantic Map)의 일부로 활용될 수 있다.

Object Tracking은 10_Path_Planning과 11_Robot_Control의 핵심 입력 데이터이기도 하다. 자율주행 로봇은 사람, 차량, 동물, 다른 로봇의 미래 움직임을 예측해야 한다. 추적 시스템은 이러한 객체의 궤적 정보를 제공하여 충돌 회피, 경로 생성, 안전 제어, 동적 장애물 회피를 가능하게 한다. 추적이 없다면 로봇은 현재 상태만 보고 반응하는 수준에 머무르게 된다.

또한 12_Reinforcement_Learning_for_Robotics와 13_World_Models에서도 중요한 역할을 수행한다. 강화학습 에이전트는 추적된 객체의 상태를 학습 상태(State)로 활용할 수 있으며, World Model은 추적 데이터를 이용하여 미래 환경 변화를 예측할 수 있다. 즉, Tracking은 시간 정보를 포함한 상태 표현을 제공하는 역할을 한다.

14_Multi_Agent_Robotics에서는 다수의 로봇이 서로를 추적하고 협력해야 한다. 군집 로봇(Swarm Robotics), 로봇 플릿(Fleet Management), 다중 로봇 협업 시스템에서는 신뢰성 높은 추적 기술이 필수적이다.

응용 분야와의 연결성도 매우 크다. 15_Humanoid_Robots에서는 사람 추종, 제스처 인식, 사회적 상호작용을 지원한다. 16_Industrial_Robotics에서는 컨베이어 추적, 동적 피킹, 품질 검사에 활용된다. 17_Autonomous_Vehicles에서는 차량, 보행자, 자전거, 도로 이용자의 행동을 예측하는 핵심 기술이다. 18_Drones_and_UAVs에서는 목표 추종, 감시, 정찰, 시설 점검을 지원한다.

또한 19_Edge_AI_for_Robotics에서는 제한된 계산 자원에서 실시간 추적을 수행해야 한다. NVIDIA Jetson과 같은 임베디드 플랫폼에서 동작 가능한 경량 추적 알고리즘은 실제 로봇 시스템에서 매우 중요한 요소이다.

더 나아가 20_Robot_Foundation_Models와 24_Embodied_AGI에서는 단순한 객체 인식을 넘어 시간적 이해 능력이 요구된다. Foundation Model은 객체가 어떻게 움직이고 상호작용하는지 이해해야 하며, Embodied AGI는 장기적인 행동 예측과 계획을 수행해야 한다. 이러한 능력의 기반에는 객체 추적이 존재한다.

또한 21_Digital_Twins에서는 실제 추적 데이터를 시뮬레이션 검증에 활용할 수 있으며, 22_Real_World_Deployment에서는 추적 성능이 시스템의 안전성과 신뢰성을 결정한다.

결국 Object Tracking은 정적인 객체 인식을 동적인 세계 이해로 확장하는 기술이다. 센서 데이터를 미래 예측으로 연결하고, 미래 예측을 경로 계획과 제어로 연결하며, 최종적으로 지능적인 행동을 가능하게 만든다. 따라서 Embodied AI와 Robotics 전체 구조에서 Object Tracking은 시간 축(Time Dimension)을 제공하는 핵심 기술이며, 로봇이 끊임없이 변화하는 현실 세계를 이해하고 대응할 수 있도록 만드는 기반 기술이라고 할 수 있다.

한글 번역

객체 추적(Object Tracking)은 현대 컴퓨터 비전, 로보틱스, 자율 시스템, 그리고 Embodied AI의 가장 중요한 기술 중 하나이다. 객체 탐지(Object Detection)가 특정 시점에서 어떤 객체가 존재하는지를 알려준다면, 객체 추적은 시간의 흐름에 따라 객체의 위치, 정체성, 움직임, 그리고 행동 변화를 지속적으로 추정한다. 실제 환경에서는 단순히 객체가 존재하는지를 아는 것보다 객체가 어떻게 움직이는지를 이해하는 것이 훨씬 중요하다. 자율주행 로봇, 자율주행차, 드론, 감시 시스템, 산업 자동화 플랫폼, 휴머노이드 로봇은 모두 동적인 환경을 이해하고 지능적인 의사결정을 수행하기 위해 객체 추적 기술에 의존한다.

객체 추적의 가장 기본적인 개념은 시간적 연속성(Temporal Continuity)이다. 현실 세계는 끊임없이 변화하며, 대부분의 객체는 시간에 따라 일정한 규칙성을 가지고 움직인다. 추적 시스템은 각 프레임을 독립적으로 처리하는 대신 여러 시점의 관측 결과를 연결하여 객체의 움직임을 이해한다. 이를 통해 객체의 정체성을 유지하고 미래 움직임을 예측하며 일시적인 인식 실패를 보완할 수 있다. 시간적 연속성은 개별 관측을 의미 있는 궤적으로 변환하는 핵심 원리이다.

추적의 핵심 개념 중 하나는 객체 상태(Object State)이다. 상태는 객체의 현재 상황을 설명하는 데 필요한 모든 정보를 의미한다. 응용 분야에 따라 상태는 위치, 속도, 가속도, 방향, 크기, 외형 특징, 그리고 불확실성 정보 등을 포함할 수 있다. 예를 들어 이동 로봇이 보행자를 추적하는 경우, 상태는 보행자의 위치 좌표, 이동 속도, 이동 방향, 신뢰도 값 등을 포함할 수 있다. 상태 표현의 품질은 추적 정확도와 예측 능력을 결정하는 중요한 요소이다.

운동 모델(Motion Model)은 객체 추적의 또 다른 핵심 요소이다. 센서 측정은 항상 연속적으로 제공되지 않으며 노이즈를 포함하고 있기 때문에, 추적기는 관측 사이의 시간 동안 객체가 어떻게 움직였는지를 추정해야 한다. 운동 모델은 이러한 움직임을 수학적으로 표현한다. 가장 단순한 모델은 일정 속도(Constant Velocity)를 가정하며, 더 발전된 모델은 가속도, 차량 조향 특성, 인간 보행 특성, 학습된 움직임 패턴 등을 포함할 수 있다. 운동 모델은 일시적으로 관측이 사라지더라도 객체의 위치를 예측할 수 있게 해준다.

대부분의 추적 시스템은 예측(Prediction)과 보정(Correction)의 반복 구조를 기반으로 동작한다. 예측 단계에서는 운동 모델을 사용하여 객체의 미래 상태를 추정한다. 보정 단계에서는 새롭게 들어온 센서 데이터를 이용하여 예측 결과를 수정한다. 이러한 예측-보정 루프는 사전 지식과 실제 관측을 균형 있게 결합하여 불확실한 환경에서도 안정적인 추적을 가능하게 한다.

예측과 보정을 구현하는 대표적인 방법이 칼만 필터(Kalman Filter)이다. 원래 항공우주 분야에서 개발된 칼만 필터는 객체 추적 분야에서 가장 널리 사용되는 알고리즘 중 하나이다. 선형 시스템과 가우시안 노이즈 환경에서 최적의 상태 추정을 제공하며, 운동 모델의 예측 결과와 실제 센서 관측값을 결합하여 더욱 정확한 상태를 계산한다. 계산 효율성이 높고 수학적으로 안정적이기 때문에 로봇 추적 시스템의 표준 기술로 사용되고 있다.

그러나 실제 환경은 대부분 비선형적이다. 이를 해결하기 위해 확장 칼만 필터(Extended Kalman Filter)와 무향 칼만 필터(Unscented Kalman Filter)가 개발되었다. 더욱 복잡한 상황에서는 파티클 필터(Particle Filter)가 사용된다. 파티클 필터는 다수의 가설을 동시에 유지함으로써 비선형성과 다중 모드 확률 분포를 효과적으로 처리할 수 있다.

불확실성(Uncertainty)은 객체 추적의 핵심 개념이다. 센서 데이터는 노이즈, 가려짐(Occlusion), 조명 변화, 환경 조건, 하드웨어 한계 등으로 인해 항상 오차를 포함한다. 현대 추적 시스템은 이러한 오차를 확률적으로 모델링하여 신뢰도를 계산하고 불확실한 상황에서도 안정적으로 동작할 수 있도록 한다. 따라서 확률론적 추론은 객체 추적 기술의 가장 중요한 특징 중 하나이다.

객체 정체성 유지(Identity Preservation) 역시 중요한 과제이다. 추적기는 객체가 잠시 사라지거나 다른 객체와 매우 유사하게 보이는 경우에도 동일한 ID를 유지해야 한다. 특히 군중 환경이나 다중 객체 환경에서는 객체 간 교차와 겹침이 빈번하게 발생하기 때문에 정체성 유지가 매우 어려워진다. 이러한 능력은 단순한 움직임 추정을 넘어 진정한 의미의 객체 추적을 가능하게 한다.

궤적(Trajectory)은 객체 추적의 가장 중요한 출력 결과이다. 궤적은 시간에 따라 정렬된 객체 상태들의 연속으로 구성되며, 객체가 공간 속에서 어떻게 이동했는지를 나타낸다. 자율주행차는 보행자의 미래 이동 경로를 예측하기 위해 궤적을 활용하며, 산업용 로봇은 이동하는 부품을 추적하기 위해 사용하고, 감시 시스템은 행동 패턴 분석에 활용한다.

외형 모델링(Appearance Modeling)은 추적 성능을 향상시키는 또 다른 요소이다. 운동 정보는 객체가 어디로 이동할지를 예측하지만, 외형 정보는 현재 관측된 객체가 누구인지를 판단하게 해준다. 색상, 질감, 형태, 딥러닝 임베딩, Transformer 기반 특징 표현 등이 외형 모델로 사용된다. 운동 정보와 외형 정보를 결합하면 객체가 가려지거나 교차하는 상황에서도 훨씬 강인한 추적이 가능하다.

가려짐(Occlusion) 문제도 추적 분야의 핵심 과제이다. 실제 환경에서는 객체가 다른 객체 뒤에 숨어 일시적으로 보이지 않는 경우가 자주 발생한다. 강인한 추적기는 관측이 사라져도 객체의 정체성을 유지해야 한다. 이를 위해 운동 예측, 외형 기억, 확률 모델, 재식별(Re-Identification) 기술 등이 활용된다.

딥러닝의 발전은 객체 추적 기술에도 큰 변화를 가져왔다. 과거에는 수작업으로 설계된 운동 모델과 외형 특징이 사용되었지만, 최근에는 CNN, Siamese Network, Graph Neural Network, Transformer, Foundation Model 기반 추적기가 등장하였다. 이러한 기술들은 대규모 데이터로부터 직접 추적 표현을 학습하여 다양한 환경에서 높은 강인성과 일반화 능력을 제공한다.

객체 추적은 추정 이론(Estimation Theory), 제어 이론(Control Theory), 신호 처리(Signal Processing), 확률 로보틱스(Probabilistic Robotics)와도 깊게 연결되어 있다. 자율주행, SLAM, 센서 융합, 의사결정 시스템에 사용되는 많은 개념들이 동일한 수학적 기반을 공유한다. 따라서 객체 추적은 지각, 예측, 행동을 연결하는 핵심 학문 분야라고 볼 수 있다.

로보틱스 관점에서 객체 추적은 지각 시스템의 시간적 백본(Temporal Backbone) 역할을 한다. 객체를 단순히 탐지하는 것만으로는 로봇이 움직임과 행동을 이해할 수 없다. 객체 추적을 통해 로봇은 사람의 이동을 예측하고, 차량의 경로를 추정하며, 목표물을 따라가고, 충돌을 회피하고, 다른 에이전트와 협력할 수 있다. 추적이 없다면 로봇은 연속적인 세계를 이해하지 못하고 단순한 스냅샷만을 처리하게 된다.

Embodied AI와 World Model 기술이 발전할수록 객체 추적의 중요성은 더욱 커지고 있다. 미래의 지능형 로봇은 객체가 존재하는지뿐 아니라 어떻게 움직이고, 상호작용하며, 변화하는지를 이해해야 한다. 객체 추적은 이러한 시간적 이해를 가능하게 하는 핵심 기술이다. 따라서 Tracking Foundations는 Single Object Tracking, Multi-Object Tracking, Data Association, Tracking-by-Detection, Real-Time Robot Tracking과 같은 모든 고급 추적 기술의 이론적 출발점이 되는 가장 중요한 기반 분야라고 할 수 있다.

한글 번역

Single Object Tracking(SOT)은 컴퓨터 비전, 로보틱스, 자율 시스템 분야에서 가장 기본적이면서도 오랫동안 연구되어 온 핵심 문제 중 하나이다. Single Object Tracking의 목표는 매우 단순하게 정의할 수 있다. 비디오의 첫 번째 프레임에서 특정 객체의 위치가 주어졌을 때, 이후 모든 프레임에서 동일한 객체의 위치를 지속적으로 추정하는 것이다. 객체 탐지(Object Detection)가 각 프레임마다 독립적으로 객체를 찾는다면, Single Object Tracking은 하나의 목표 객체에 집중하여 시간에 따라 그 객체의 위치와 정체성을 유지하는 데 초점을 맞춘다. 이러한 시간적 연속성은 로봇과 지능형 시스템이 객체의 움직임을 이해하고 미래 행동을 예측하며 동적인 환경과 효과적으로 상호작용할 수 있도록 해준다.

Single Object Tracking의 역사는 템플릿 매칭과 수작업 특징 기반의 전통적인 컴퓨터 비전 기법에서 시작되었다. 초기 추적기는 객체를 픽셀 패턴, 색상 히스토그램, 에지 특징, 텍스처 특징 등으로 표현하였다. 이후 프레임에서 유사한 특징을 찾음으로써 객체를 추적하였다. 이러한 방법들은 단순한 환경에서는 효과적이었지만, 조명 변화, 가려짐(Occlusion), 배경 혼잡도, 객체 외형 변화에 매우 취약하였다. 이러한 한계를 극복하기 위해 더욱 강인한 추적 기법들이 연구되기 시작하였다.

본질적으로 Single Object Tracking은 연속적인 상태 추정(Sequential Estimation) 문제로 볼 수 있다. 추적기는 지속적으로 입력되는 영상으로부터 목표 객체가 어디에 존재하는지를 추정해야 한다. 이를 위해 두 가지 중요한 정보를 활용한다. 첫 번째는 객체가 어떻게 보이는지를 설명하는 외형 정보(Appearance Information)이며, 두 번째는 객체가 어떻게 움직이는지를 설명하는 운동 정보(Motion Information)이다. 강인한 추적기는 이 두 가지 정보를 효과적으로 결합하여 다양한 환경 변화에도 안정적인 추적 성능을 제공한다.

Single Object Tracking에서 가장 어려운 문제 중 하나는 외형 변화(Appearance Variation)이다. 실제 환경에서 객체는 항상 동일한 모습으로 보이지 않는다. 조명 변화, 시점 변화, 크기 변화, 회전, 변형, 환경 변화 등에 의해 객체의 외형은 크게 달라질 수 있다. 예를 들어 사람이 밝은 실외에서 어두운 실내로 이동하거나, 차량이 정면에서 측면으로 회전하거나, 드론이 다양한 각도에서 목표를 관찰하는 경우 객체의 외형은 지속적으로 변화한다. 따라서 추적기는 이러한 변화 속에서도 동일한 객체를 유지해야 한다.

템플릿 매칭(Template Matching)은 가장 직관적인 추적 방법 중 하나이다. 초기 프레임에서 객체의 이미지 패치를 추출하여 템플릿으로 저장한 후, 이후 프레임에서 가장 유사한 영역을 탐색한다. 정규화 상관관계(Normalized Cross Correlation), 제곱 오차(Sum of Squared Differences), 특징 공간 거리 등의 유사도 측정 기법이 사용된다. 비록 단순한 방법이지만 계산 효율성이 높아 일부 실시간 응용 분야에서는 여전히 활용되고 있다.

상관 필터(Correlation Filter) 기반 추적기는 Single Object Tracking 발전의 중요한 전환점이었다. MOSSE, KCF, CSRT, ECO와 같은 기법들은 목표 객체와 배경을 구분하는 판별 모델을 학습한다. 특히 주파수 영역(Frequency Domain)에서 연산을 수행함으로써 매우 빠른 추적 속도를 달성할 수 있었다. 오랫동안 상관 필터 기반 방법은 실용적인 실시간 추적기의 대표적인 기술로 사용되었다.

확률 기반 추적(Probabilistic Tracking)은 또 다른 중요한 접근 방식이다. Kalman Filter, Extended Kalman Filter, Unscented Kalman Filter, Particle Filter는 객체 상태와 불확실성을 동시에 추정한다. 센서 데이터가 노이즈를 포함하거나 일시적으로 관측이 사라지는 경우에도 운동 모델을 이용해 객체의 위치를 예측할 수 있다. 이러한 특성 때문에 확률 기반 추적은 로봇과 자율주행 시스템에서 매우 널리 사용된다.

딥러닝의 발전은 Single Object Tracking 분야에도 혁신을 가져왔다. CNN 기반 추적기는 대규모 데이터셋으로부터 강력한 외형 표현을 학습할 수 있게 되었다. 기존의 수작업 특징 대신 딥러닝 특징을 사용함으로써 조명 변화, 크기 변화, 복잡한 배경 환경에 대한 강인성이 크게 향상되었다.

특히 Siamese Network 기반 추적기는 현대 Single Object Tracking의 대표적인 패러다임이 되었다. Siamese 구조는 초기 객체 템플릿과 현재 프레임의 후보 영역을 동일한 특징 추출 네트워크에 통과시켜 특징 유사도를 계산한다. SiamFC, SiamRPN, SiamMask, SiamR-CNN 등의 모델은 높은 정확도와 실시간 성능을 동시에 달성하며 추적 분야의 발전을 이끌었다.

SiamRPN은 Region Proposal Network를 결합하여 위치 추정과 크기 추정을 동시에 수행할 수 있도록 하였다. 이후 다양한 모델들이 Attention Mechanism, Feature Fusion, Adaptive Modeling 등을 도입하여 성능을 더욱 향상시켰다.

최근에는 Transformer 기반 추적기가 등장하며 새로운 발전 단계에 진입하였다. Transformer는 Self-Attention을 활용하여 장거리 관계와 문맥 정보를 학습할 수 있다. 이를 통해 여러 프레임의 정보를 통합하고 장면 전체를 고려한 추적이 가능해졌다. TransT, STARK, MixFormer, OSTrack 등은 현재 최고 수준의 성능을 보여주는 대표적인 Transformer Tracker이다.

가려짐(Occlusion)은 Single Object Tracking의 가장 어려운 문제 중 하나이다. 객체가 다른 물체 뒤에 숨거나 카메라 시야에서 잠시 사라질 수 있다. 강인한 추적기는 관측이 사라져도 객체의 정체성을 유지해야 한다. 이를 위해 외형 기억(Appearance Memory), 운동 예측(Motion Prediction), Attention Mechanism, 재식별(Re-Identification) 기술이 활용된다.

크기 변화(Scale Variation)도 중요한 문제이다. 객체가 카메라에 가까워지거나 멀어질 때 크기가 크게 변한다. 따라서 추적기는 객체 위치뿐 아니라 크기 변화도 지속적으로 추정해야 한다. 이를 위해 다중 스케일 특징(Multi-Scale Features)과 적응형 크기 추정 기법이 사용된다.

Single Object Tracking의 평가는 객체 탐지와는 다소 다르다. Precision, Success Rate, Area Under Curve(AUC), Center Location Error, Overlap Precision, Tracking Robustness 등의 지표가 사용된다. OTB, VOT, LaSOT, GOT-10k, TrackingNet, UAV123과 같은 벤치마크 데이터셋이 추적 알고리즘 평가에 널리 사용된다.

로보틱스 분야에서 Single Object Tracking은 매우 중요한 역할을 수행한다. 드론은 감시와 점검 임무에서 목표를 추적하고, 이동 로봇은 사람을 따라가며, 산업용 로봇은 컨베이어 위의 부품을 추적한다. 자율주행차는 보행자와 차량을 지속적으로 추적하며, 휴머노이드 로봇은 사람과의 자연스러운 상호작용을 위해 시각적 주의를 유지한다.

Single Object Tracking은 또한 고수준 지능의 기반이 된다. 추적 결과는 행동 분석, 의도 추론, 활동 인식, 미래 예측, 의사결정 등에 활용된다. World Model, 강화학습 시스템, Embodied AI는 객체가 시간에 따라 어떻게 변화하는지를 이해하기 위해 추적 정보를 적극 활용한다.

인공지능이 Embodied Intelligence와 Autonomous Reasoning 방향으로 발전할수록 Single Object Tracking의 중요성은 더욱 커지고 있다. 미래의 시스템은 더 강력한 강인성, 장기적 시간 추론, 풍부한 문맥 이해, 멀티모달 정보 융합 능력을 요구하게 될 것이다. 따라서 Single Object Tracking은 앞으로도 로봇 비전과 동적 환경 이해를 위한 가장 핵심적인 기반 기술 중 하나로 남을 것이다.

한글 번역

Multi-Object Tracking(MOT)은 현대 컴퓨터 비전, 로보틱스, 자율 시스템, 감시 시스템, 지능형 교통 시스템, Embodied AI 분야에서 가장 중요하면서도 어려운 연구 분야 중 하나이다. Single Object Tracking이 하나의 객체를 지속적으로 추적하는 문제라면, Multi-Object Tracking은 여러 개의 움직이는 객체를 동시에 추적하는 문제를 다룬다. 목표는 단순히 각 프레임에서 객체의 위치를 추정하는 것이 아니라, 각 객체의 고유한 정체성(Identity)을 시간에 걸쳐 유지하는 것이다. 다시 말해 MOT 시스템은 지속적으로 두 가지 질문에 답해야 한다. 첫 번째는 각 객체가 현재 어디에 있는가이고, 두 번째는 현재 관측된 객체가 이전에 관측한 어떤 객체와 동일한가이다.

추적해야 할 객체 수가 증가할수록 문제의 복잡성은 급격히 증가한다. 예를 들어 자율주행차는 도심 환경에서 수십 또는 수백 명의 보행자, 차량, 자전거, 오토바이 등을 동시에 추적해야 한다. 물류창고의 자율주행 로봇은 작업자, 지게차, 팔레트, 다른 AMR을 동시에 인식하고 추적해야 한다. 감시 시스템 역시 많은 사람들의 움직임을 동시에 분석해야 한다. 이러한 환경에서 정확한 궤적과 객체 정체성을 유지하는 것은 인공지능이 해결해야 할 가장 어려운 문제 중 하나이다.

Multi-Object Tracking의 기반은 시간적 연속성(Temporal Continuity)과 정체성 유지(Identity Preservation)에 있다. 객체는 시간에 따라 일정한 움직임 패턴을 보이며, 추적기는 연속된 프레임 사이에서 관측 결과를 연결하여 하나의 궤적(Trajectory)을 생성해야 한다. 객체 탐지가 각 프레임을 독립적으로 처리하는 반면, MOT는 시간 정보를 핵심 요소로 활용한다. 현재 관측 결과가 과거 관측 결과와 어떻게 연결되는지를 판단하고, 미래 상태를 예측해야 한다.

MOT의 핵심 개념 중 하나는 객체 ID이다. 각 객체는 고유한 식별자를 부여받으며, 이 식별자는 추적이 진행되는 동안 유지되어야 한다. 그러나 실제 환경에서는 객체들이 서로 교차하거나 가려지기 때문에 정체성 유지가 매우 어렵다. 보행자들이 서로 스쳐 지나가거나, 차량이 다른 차량 뒤에 가려지거나, 여러 객체가 군집을 형성하는 경우 ID가 바뀌는 문제가 발생할 수 있다. 따라서 객체의 정체성을 안정적으로 유지하는 능력은 MOT 성능을 평가하는 가장 중요한 요소 중 하나이다.

운동 모델(Motion Model)은 Multi-Object Tracking의 핵심 구성 요소이다. 대부분의 추적기는 객체가 미래 프레임에서 어디에 나타날지를 예측하기 위해 운동 모델을 사용한다. 가장 단순한 모델은 일정 속도를 가정하지만, 더 발전된 모델은 가속도, 행동 패턴, 환경 제약, 학습된 동역학까지 고려한다. 운동 예측은 탐지 실패, 센서 노이즈, 가려짐이 발생했을 때도 추적을 유지할 수 있게 해준다. 특히 Kalman Filter는 계산 효율성과 실시간 성능 덕분에 MOT에서 가장 널리 사용되는 기법 중 하나이다.

외형 모델(Appearance Model)은 운동 모델을 보완한다. 운동 모델이 객체가 어디로 이동할지를 예측한다면, 외형 모델은 객체가 어떻게 보이는지를 설명한다. 색상 분포, 질감 특징, 형태 정보, 딥러닝 기반 임베딩, Transformer 기반 특징 등이 활용된다. 현대 MOT 시스템은 운동 정보와 외형 정보를 결합하여 강인성을 높인다. 예를 들어 두 명의 보행자가 교차하는 경우 운동 정보만으로는 구분이 어려울 수 있지만, 외형 정보는 서로 다른 사람임을 식별하는 데 도움을 준다.

가려짐(Occlusion)은 Multi-Object Tracking의 가장 어려운 문제 중 하나이다. 실제 환경에서는 객체가 다른 객체 뒤에 숨어 보이지 않는 경우가 자주 발생한다. 예를 들어 보행자가 차량 뒤를 지나가는 동안 몇 초간 시야에서 사라질 수 있다. 이 기간 동안 추적기는 직접적인 관측 없이도 객체의 ID를 유지해야 한다. 이를 위해 운동 예측, 외형 기억, 궤적 추론, 재식별(Re-Identification) 기술이 활용된다.

재식별(ReID)은 현대 MOT 시스템의 핵심 기술로 자리 잡았다. ReID는 오랜 시간 가려졌다가 다시 나타난 객체를 동일한 객체로 인식하는 기술이다. 딥러닝 기반 ReID 모델은 사람이나 차량을 구별할 수 있는 강력한 특징 표현을 학습하며, 장기 추적 성능을 크게 향상시킨다.

역사적으로 Multi-Object Tracking은 여러 세대를 거쳐 발전해 왔다. 초기 방법들은 수작업 특징, 확률 모델, 그래프 최적화 기법에 의존하였다. 당시 추적은 데이터 연관(Data Association) 문제로 표현되었으며, 관측 결과를 시간에 따라 연결하는 최적화 문제로 해결되었다. 그러나 복잡한 환경에서는 성능에 한계가 있었다.

딥러닝의 등장 이후 MOT는 급격한 발전을 이루었다. 심층 신경망은 강력한 외형 특징을 추출할 수 있게 하였으며, 정체성 유지 성능을 크게 향상시켰다. 또한 End-to-End 학습이 가능해지면서 수작업 특징 설계에 대한 의존성이 감소하였다.

현대 MOT의 대표적인 패러다임은 Tracking-by-Detection이다. 이 방식에서는 먼저 객체 탐지기가 각 프레임에서 객체를 검출하고, 이후 추적기가 시간적으로 연결하여 궤적을 생성한다. 따라서 추적 성능은 탐지 정확도와 데이터 연관 성능에 크게 의존한다. SORT, Deep SORT, ByteTrack, OC-SORT, BoT-SORT, StrongSORT 등이 대표적인 예이다.

SORT(Simple Online and Realtime Tracking)는 비교적 단순한 구조로도 높은 성능을 달성할 수 있음을 보여준 시스템이다. Kalman Filter와 Hungarian Assignment를 결합하여 실시간 추적을 수행한다.

Deep SORT는 여기에 딥러닝 기반 외형 특징을 추가하였다. 운동 정보뿐 아니라 시각적 특징을 활용하여 객체를 구분함으로써 ID 변경 문제를 크게 줄였다. 현재까지도 가장 널리 사용되는 MOT 시스템 중 하나이다.

최근 등장한 ByteTrack은 낮은 신뢰도를 가진 탐지 결과도 데이터 연관 과정에 활용하였다. 이를 통해 기존 방식에서 잃어버리던 객체를 복구할 수 있었고, 매우 큰 성능 향상을 달성하였다. 이는 데이터 연관 전략이 MOT 성능에 얼마나 중요한지를 보여주는 사례이다.

Transformer 기반 MOT는 최신 연구 방향을 대표한다. Transformer는 Self-Attention을 이용하여 객체 간 관계와 장면 전체의 문맥을 학습할 수 있다. MOTR, TrackFormer, MeMOTR 등의 모델은 객체 간 상호작용을 고려하면서 추적을 수행하며, 탐지와 추적, 장면 이해의 경계를 점차 허물고 있다.

Multi-Object Tracking의 평가는 위치 정확도와 정체성 유지 성능을 모두 고려해야 한다. 대표적인 지표로는 MOTA, MOTP, ID Switches, False Positives, False Negatives, Fragmentation이 있으며, 최근에는 HOTA가 탐지 성능과 연관 성능을 함께 평가하는 지표로 사용되고 있다. MOT17, MOT20, DanceTrack, KITTI, Waymo Open Dataset, nuScenes 등이 대표적인 평가 데이터셋이다.

로보틱스에서 MOT는 동적 환경 이해의 핵심 기술이다. 자율주행 로봇은 주변 사람과 차량을 추적하며, 자율주행차는 교통 참여자의 미래 행동을 예측한다. 드론은 목표 추적과 감시에 활용하며, 산업용 로봇은 작업자와 이동 부품을 모니터링한다.

또한 Embodied Intelligence에서도 매우 중요한 역할을 한다. 인간과 함께 작업하는 로봇은 단순히 객체의 위치뿐 아니라 궤적, 의도, 상호작용을 이해해야 한다. MOT는 행동 예측, 사회적 내비게이션, 협업 작업, 지능적 의사결정을 위한 시간 정보를 제공한다.

인공지능이 Foundation Model, World Model, Embodied AGI 방향으로 발전할수록 Multi-Object Tracking의 중요성은 더욱 커지고 있다. 미래 시스템은 여러 센서와 다양한 시점에서 관측되는 객체를 장기간 추적해야 하며, 의미적 일관성을 유지해야 한다. 따라서 MOT는 단순한 컴퓨터 비전 기술을 넘어 기계 지능의 핵심 구성 요소로 발전하고 있다.

결국 Multi-Object Tracking은 객체 탐지를 동적 장면 이해(Dynamic Scene Understanding)로 확장하는 기술이다. 객체의 위치를 추정하고, 정체성을 유지하며, 상호작용을 이해하고, 미래 움직임을 예측함으로써 로봇과 인공지능 시스템이 현실 세계를 지속적으로 변화하는 환경으로 이해할 수 있게 만든다. 이러한 능력은 지각, 예측, 계획, 행동을 연결하는 핵심 역할을 수행하며, 현대 로보틱스와 인공지능의 가장 중요한 기반 기술 중 하나로 자리 잡고 있다.

한글 번역

Data Association은 현대 객체 추적 시스템에서 가장 중요하면서도 가장 어려운 핵심 기술 중 하나이다. 객체 탐지(Object Detection)가 현재 장면에 어떤 객체가 존재하는지를 찾고, 객체 추적(Object Tracking)이 객체의 이동 궤적을 추정한다면, Data Association은 현재 관측된 객체가 과거에 관측된 어떤 객체와 동일한지를 판단하는 역할을 수행한다. 즉, "현재 프레임에서 탐지된 객체가 이전 프레임에서 보았던 동일한 객체인가?"라는 질문에 답하는 기술이다. 이 문제는 Multi-Object Tracking(MOT), 자율주행차, 로보틱스, 감시 시스템, 드론, Embodied AI의 핵심 기반 기술이다.

Data Association이 중요한 이유는 센서가 객체의 정체성을 직접 제공하지 않기 때문이다. 카메라, LiDAR, 레이더, RGB-D 센서 등은 특정 시점의 객체를 탐지할 수 있지만, 그 객체가 이전에 관측했던 객체인지, 새롭게 등장한 객체인지, 잠시 사라졌다가 다시 나타난 객체인지는 알려주지 않는다. Data Association은 이러한 관측 결과들을 시간적으로 연결하여 객체의 연속적인 정체성을 유지하게 만든다.

본질적으로 Data Association은 매칭(Matching) 문제이다. 추적 시스템은 이전 프레임들로부터 생성된 객체 트랙(Track) 집합을 가지고 있으며, 현재 프레임에서는 새로운 탐지 결과(Detection)를 얻는다. Data Association의 목적은 각 탐지 결과를 적절한 트랙과 연결하는 것이다. 이 과정은 모든 프레임에서 반복적으로 수행되며, 객체 수가 증가할수록 문제의 복잡도도 급격히 증가한다.

가장 단순한 방법은 Nearest Neighbor Association이다. 이 방식은 탐지 객체와 예측된 트랙 사이의 거리만을 이용하여 가장 가까운 객체를 연결한다. 계산량이 적고 구현이 간단하지만, 사람이 밀집된 환경이나 객체가 서로 교차하는 상황에서는 쉽게 오류가 발생할 수 있다.

이러한 문제를 줄이기 위해 많은 시스템은 Gating 기법을 사용한다. Gating은 연관 가능성이 낮은 후보를 미리 제거하는 과정이다. 예를 들어 Kalman Filter가 예측한 위치 주변의 일정 범위 안에 있는 탐지만 후보로 고려할 수 있다. 이를 통해 계산량을 줄이고 잘못된 매칭 가능성을 낮출 수 있다.

현대 MOT 시스템에서 가장 널리 사용되는 알고리즘 중 하나는 Hungarian Algorithm이다. Data Association은 트랙 집합과 탐지 집합 사이의 최적 할당 문제로 표현할 수 있다. 비용 행렬(Cost Matrix)을 생성한 후 Hungarian Algorithm을 사용하여 전체 비용이 최소가 되는 최적의 매칭을 찾는다. SORT, Deep SORT와 같은 대표적인 추적 시스템들이 이 방식을 사용한다.

운동 정보(Motion Information)는 Data Association의 중요한 요소이다. 대부분의 추적 시스템은 Kalman Filter, Extended Kalman Filter, Unscented Kalman Filter, Particle Filter 등을 사용하여 객체의 다음 위치를 예측한다. 현재 탐지 결과가 예측 위치와 가까울수록 동일 객체일 가능성이 높아진다.

그러나 운동 정보만으로는 충분하지 않다. 특히 군중 환경에서는 여러 객체가 유사한 움직임을 보일 수 있다. 따라서 외형 기반 연관(Appearance-Based Association)이 중요해진다. 외형 모델은 객체가 어떻게 보이는지를 표현한다. 전통적으로는 색상 히스토그램, 텍스처 특징, 형태 특징 등이 사용되었으며, 최근에는 딥러닝 기반 임베딩이 주로 활용된다.

현대 Data Association 시스템의 핵심은 운동 정보와 외형 정보를 통합하는 것이다. Deep SORT는 Kalman Filter 기반 운동 예측과 딥러닝 외형 특징을 결합한 대표적인 사례이다. 이를 통해 객체가 어디에 있어야 하는지와 어떤 모습이어야 하는지를 동시에 고려할 수 있게 된다.

Data Association의 가장 어려운 문제 중 하나는 Identity Preservation이다. 객체가 서로 교차하거나 겹치거나 군집을 형성하거나 가려질 때 동일한 ID를 유지해야 한다. 잘못된 매칭이 발생하면 Identity Switch가 발생하며, 이는 객체의 장기 궤적 정보를 손상시키고 상위 의사결정 시스템의 신뢰성을 크게 떨어뜨린다.

Occlusion Handling은 따라서 매우 중요한 연구 주제이다. 객체가 다른 객체 뒤에 숨어 사라진 경우에도 추적기는 다시 나타났을 때 동일한 객체로 인식해야 한다. 이를 위해 운동 예측, 외형 기억, 궤적 연속성, ReID 기술 등이 활용된다.

Re-Identification(ReID)은 현대 Data Association에서 핵심 기술로 자리 잡았다. ReID는 시점 변화, 조명 변화, 자세 변화에도 비교적 안정적인 시각적 특징을 학습한다. 객체가 오랜 시간 사라졌다가 다시 등장하더라도 이전 특징과 비교하여 동일 객체로 식별할 수 있다. 최신 추적 시스템에서 ReID는 사실상 필수 요소가 되었다.

확률적 Data Association도 중요한 접근 방식이다. Joint Probabilistic Data Association(JPDA)은 하나의 탐지를 하나의 트랙에 확정적으로 연결하는 대신 여러 가능성을 확률적으로 유지한다. 이는 매우 복잡한 환경에서 불확실성을 효과적으로 처리할 수 있게 해준다.

Multiple Hypothesis Tracking(MHT)은 이를 더욱 확장한 방법이다. 하나의 연관 결과를 즉시 선택하지 않고 여러 가능한 가설을 동시에 유지한다. 이후 추가 관측이 들어오면서 가능성이 낮은 가설은 제거하고 높은 가설은 유지한다. 계산량은 크지만 매우 어려운 환경에서 뛰어난 성능을 제공한다.

최근에는 그래프 기반 Data Association도 활발히 연구되고 있다. 탐지와 트랙을 그래프의 노드로 표현하고, 연관 가능성을 엣지로 표현한 뒤 그래프 최적화를 통해 전체 장면에서 가장 일관성 있는 연결을 찾는다. 이러한 방법은 장기 추적과 대규모 감시 시스템에서 특히 효과적이다.

딥러닝의 발전은 Data Association에도 큰 변화를 가져왔다. Siamese Network, Graph Neural Network, Transformer, Foundation Model 기반 구조들이 등장하면서 데이터 연관 자체를 학습하는 방향으로 발전하고 있다. 이러한 시스템은 단순 거리 계산을 넘어 장면 문맥과 객체 간 관계까지 고려할 수 있다.

특히 Transformer 기반 Data Association은 미래의 유망한 연구 방향으로 평가된다. Self-Attention을 활용하여 장면 내 모든 객체의 관계를 동시에 분석할 수 있기 때문이다. 이를 통해 개별 객체 간의 단순 비교가 아니라 장면 전체 수준의 최적 연관이 가능해진다.

로보틱스 분야에서 Data Association은 필수 기술이다. 이동 로봇은 사람, 차량, 장애물을 지속적으로 추적해야 하며, 자율주행차는 주변 교통 참여자의 상태를 유지해야 한다. 드론은 이동 목표물을 추적하고, 산업용 로봇은 부품과 작업자를 모니터링한다.

Data Association은 단순한 추적을 넘어 World Model과 Embodied Intelligence에도 직접적인 영향을 미친다. 로봇이 관측을 일관되게 연결할 수 없다면 환경에 대한 지속적인 이해를 형성할 수 없다. 행동 예측, 사회적 상호작용, 의미 지도 생성, 장기 계획, 의사결정 모두 안정적인 객체 정체성 유지에 의존한다.

인공지능이 Foundation Model, World Model, Embodied AI 방향으로 발전할수록 Data Association의 중요성은 더욱 증가할 것이다. 미래의 로봇은 다중 센서, 다중 시점, 다중 환경에서 객체를 장기간 추적하고 그 역사와 의도, 상호작용까지 이해해야 한다.

결국 Data Association은 독립적인 탐지 결과들을 의미 있는 객체 궤적과 세계 모델로 변환하는 핵심 메커니즘이다. 객체의 정체성을 유지하고, 가려진 객체를 복구하며, 동적인 환경을 이해하고, 지능적 의사결정을 가능하게 만든다. 이러한 이유로 Data Association은 현대 객체 추적 시스템의 진정한 지능(Intelligence)이라고 불리며, 로봇 인식 기술의 가장 중요한 기반 기술 중 하나로 평가된다.

한글 번역

Tracking-by-Detection(TbD)은 현대 Multi-Object Tracking(MOT)의 가장 대표적인 패러다임이며, 로보틱스, 자율주행차, 감시 시스템, 지능형 교통 시스템, 산업 자동화, Embodied AI 분야에서 사용되는 대부분의 추적 시스템의 기반 기술이다. Tracking-by-Detection의 핵심 아이디어는 매우 단순하면서도 강력하다. 객체를 영상에서 직접 추적하는 대신, 먼저 각 프레임에서 객체 탐지를 수행한 후, 시간에 따라 탐지 결과를 연결하여 객체 궤적을 생성하는 방식이다. 즉, 탐지(Detection)와 추적(Tracking)을 분리하여 각각의 문제를 독립적으로 해결한 뒤 결합하는 구조이다. 이러한 접근은 객체 탐지 기술의 발전을 그대로 활용할 수 있게 만들었으며, 현대 추적 시스템의 성능을 크게 향상시켰다.

초기의 객체 추적 시스템은 광류(Optical Flow), 템플릿 매칭, 특징점 추적과 같은 직접 추적 기법에 의존하였다. 이러한 방법들은 픽셀 수준의 변화를 분석하여 객체를 따라가는 방식이었다. 그러나 객체의 외형 변화, 크기 변화, 가려짐, 급격한 움직임이 발생하면 성능이 크게 저하되었다. 이후 Faster R-CNN, SSD, RetinaNet, YOLO, EfficientDet, Transformer Detector와 같은 강력한 객체 탐지기가 등장하면서 상황이 바뀌었다. 연구자들은 높은 정확도의 탐지 결과를 활용하여 훨씬 안정적인 추적 시스템을 구축할 수 있다는 사실을 발견하였다.

Tracking-by-Detection 프레임워크는 여러 단계로 구성된다. 첫 번째 단계는 객체 탐지이다. 각 프레임에서 객체 탐지기는 객체의 위치, 클래스, 신뢰도 점수, 그리고 경우에 따라 외형 특징(Embedding)까지 추출한다. 이러한 탐지 결과는 현재 환경의 관측 정보를 제공한다.

두 번째 단계는 운동 예측(Motion Prediction)이다. 각 객체 트랙은 위치, 속도, 크기, 불확실성 등의 상태 정보를 유지한다. Kalman Filter와 같은 알고리즘은 객체가 다음 프레임에서 어디에 나타날지를 예측한다. 보다 복잡한 환경에서는 Extended Kalman Filter, Unscented Kalman Filter, Particle Filter 또는 학습 기반 운동 모델도 사용된다.

세 번째 단계는 데이터 연관(Data Association)이다. 이는 Tracking-by-Detection의 핵심 지능이라고 할 수 있다. 새롭게 탐지된 객체와 기존 트랙을 연결하여 동일 객체인지 판단한다. 이 과정에서는 위치 정보, 외형 정보, 운동 정보, 의미 정보 등이 활용된다. 목표는 객체의 ID를 유지하면서 잘못된 연결과 Identity Switch를 최소화하는 것이다.

데이터 연관은 일반적으로 최적화 문제로 표현된다. Hungarian Algorithm이 가장 널리 사용되는 방법이며, 트랙과 탐지 결과 사이의 비용 행렬(Cost Matrix)을 기반으로 최적의 매칭을 찾는다. 비용은 IoU, 유클리드 거리, 마할라노비스 거리, 외형 유사도 등으로 계산될 수 있다. 최종적으로 기존 트랙은 업데이트되고, 새로운 객체는 신규 트랙으로 생성되며, 오랫동안 관측되지 않은 트랙은 종료된다.

Tracking-by-Detection의 가장 큰 장점 중 하나는 모듈성(Modularity)이다. 탐지와 추적이 분리되어 있기 때문에 객체 탐지 성능이 향상되면 추적 성능도 자동으로 향상된다. 따라서 탐지 기술의 발전을 쉽게 추적 시스템에 적용할 수 있으며, 이는 MOT 연구가 빠르게 발전한 중요한 이유 중 하나이다.

SORT(Simple Online and Realtime Tracking)는 가장 영향력 있는 Tracking-by-Detection 시스템 중 하나이다. SORT는 객체 탐지, Kalman Filter, Hungarian Assignment만을 사용하여 매우 단순한 구조를 가지지만 뛰어난 실시간 성능을 보여주었다. 특히 로봇과 임베디드 시스템에서 널리 활용되었다.

Deep SORT는 SORT를 확장하여 외형 기반 연관(Appearance-Based Association)을 도입하였다. SORT가 운동 정보에 의존하는 반면, Deep SORT는 딥러닝 기반 외형 특징을 추가로 사용한다. 이를 통해 유사한 움직임을 보이는 객체도 구분할 수 있게 되었으며, Identity Switch를 크게 줄일 수 있었다. 현재까지도 가장 널리 사용되는 추적 시스템 중 하나이다.

추적 연구가 발전하면서 기존 연관 방식의 한계도 드러났다. 많은 시스템이 오탐(False Positive)을 줄이기 위해 낮은 신뢰도의 탐지를 제거하였다. 그러나 이는 실제 객체를 놓치는 문제를 발생시켰다. ByteTrack은 이러한 문제를 해결하기 위해 낮은 신뢰도의 탐지까지 데이터 연관 과정에 활용하였다. 이 단순한 아이디어는 다양한 벤치마크에서 큰 성능 향상을 가져왔으며, 현대 Tracking-by-Detection 연구의 중요한 전환점이 되었다.

OC-SORT는 Observation-Centric Motion Modeling을 제안하였다. 기존 추적기가 예측 상태에 크게 의존하는 반면, OC-SORT는 실제 관측 결과를 더욱 중요하게 활용한다. 이를 통해 급격한 움직임이나 비선형 경로에서도 더욱 강인한 성능을 달성하였다.

BoT-SORT는 카메라 움직임 보정(Camera Motion Compensation)과 향상된 외형 특징을 도입하였다. 실제 환경에서는 객체의 움직임뿐 아니라 카메라 자체의 이동도 고려해야 한다. BoT-SORT는 이러한 요소를 반영하여 이동 로봇, 자율주행차, 드론 환경에서 더욱 높은 성능을 제공한다.

최근에는 Transformer 기반 Tracking-by-Detection 시스템이 등장하였다. TrackFormer, MOTR, MeMOTR과 같은 모델은 Self-Attention을 활용하여 객체 간 관계와 장면 전체 문맥을 이해한다. 이들은 탐지와 추적의 경계를 점차 통합하고 있지만, 여전히 시간에 따라 탐지 결과를 연결한다는 Tracking-by-Detection의 핵심 철학을 유지하고 있다.

현대 Tracking-by-Detection 시스템에서는 외형 모델링의 중요성이 더욱 커지고 있다. CNN, Vision Transformer, Foundation Model 기반 특징 표현은 객체를 매우 강력하게 구별할 수 있게 해준다. 또한 Re-Identification 기술은 장기간 가려진 객체가 다시 등장했을 때도 동일한 객체로 인식할 수 있도록 지원한다.

Occlusion Handling 역시 매우 중요한 문제이다. 객체는 다른 객체 뒤에 숨어 사라질 수 있으며, 환경 구조물에 의해 가려질 수도 있다. 강인한 Tracking-by-Detection 시스템은 운동 예측, 외형 기억, 궤적 연속성, 확률적 추론을 활용하여 이러한 상황에서도 객체 ID를 유지한다.

로보틱스에서 Tracking-by-Detection은 동적 환경 이해의 핵심 기술이다. 이동 로봇은 사람, 차량, 장애물, 다른 로봇을 추적한다. 자율주행차는 주변 교통 참여자의 미래 행동을 예측한다. 드론은 목표 추종과 감시를 수행하며, 산업용 로봇은 이동하는 제품과 작업자를 모니터링한다.

또한 Tracking-by-Detection은 지각과 의사결정을 연결하는 핵심 역할을 한다. 객체 탐지는 개별적인 관측 정보를 제공하지만, 추적은 이를 연속적인 궤적으로 변환한다. 이러한 궤적은 충돌 회피, 경로 계획, 의도 예측, 사회적 내비게이션, 행동 분석, 자율 제어 등에 활용된다.

현대 Embodied AI 시스템에서도 Tracking-by-Detection은 중요한 구성 요소이다. 지속적인 객체 ID는 로봇이 장기적인 환경 모델을 구축하고, 객체 간 상호작용을 이해하며, 미래 상태를 예측할 수 있도록 해준다. Foundation Model, World Model, 멀티모달 AI 역시 이러한 시간적으로 일관된 객체 표현의 혜택을 받는다.

미래의 Tracking-by-Detection은 더욱 강력한 Foundation Model, 멀티모달 인식, 그래프 추론, Transformer 구조, 자기지도학습(Self-Supervised Learning)과 결합될 것으로 예상된다. 그러나 핵심 원리는 변하지 않을 것이다. 신뢰성 높은 객체 탐지와 강인한 데이터 연관이 결합되어야 지속적인 객체 궤적과 동적 환경 이해가 가능해진다.

결국 Tracking-by-Detection은 객체 추적을 단순한 비전 기술에서 자율 시스템의 핵심 기능으로 발전시킨 기술이다. 객체 탐지, 운동 예측, 데이터 연관, 외형 모델링, 머신러닝을 통합함으로써 객체의 움직임과 상호작용을 이해할 수 있게 한다. 이러한 능력은 로보틱스, 자율주행, 감시 시스템, 산업 자동화, 그리고 미래 Embodied AI의 핵심 기반 기술로 자리 잡고 있다.

한글 번역

Real-Time Robot Tracking은 객체 추적 기술을 실제 로봇 시스템에 적용하는 분야를 의미한다. 일반적인 객체 추적 연구가 벤치마크 데이터셋에서의 정확도 향상에 초점을 맞춘다면, 실시간 로봇 추적은 실제 환경에서 지속적으로 객체를 인식하고 추적하며 예측하고 대응하는 능력에 중점을 둔다. 로보틱스에서 추적은 단순한 인식 기능이 아니라 의사결정, 자율주행, 인간-로봇 상호작용, 물체 조작, 협업 작업을 가능하게 하는 핵심 기술이다. 주변 객체에 대한 정확하고 시의적절한 정보를 유지할 수 있는 능력은 로봇의 성능과 안전성을 결정하는 중요한 요소가 된다.

Real-Time Robot Tracking의 핵심 목표는 지속적으로 변화하는 환경 속에서 "주변에 어떤 객체가 존재하는가?", "그 객체는 어디로 이동하고 있는가?", "앞으로 무엇을 할 가능성이 있는가?"라는 질문에 답하는 것이다. 일반적인 영상 분석 시스템은 기록된 영상을 사후 처리할 수 있지만, 로봇은 실시간으로 동작해야 한다. 따라서 추적 결과는 매우 짧은 시간 안에 생성되어야 하며, 이후 경로 계획기, 제어기, 의사결정 시스템이 이를 즉시 활용할 수 있어야 한다. 추적 결과가 늦게 제공되면 충돌, 경로 오류, 작업 실패와 같은 문제가 발생할 수 있다.

로봇 추적은 일반적인 비디오 추적과 중요한 차이가 있다. 영상 분석 시스템에서는 추적 결과가 단순히 저장되거나 화면에 표시될 수 있다. 그러나 로봇은 추적 결과를 이용하여 실제 행동을 결정한다. 예를 들어 보행자를 추적한 결과는 충돌 회피를 유발할 수 있고, 특정 물체를 추적한 결과는 조작 작업의 목표가 될 수 있다. 따라서 추적 오류는 곧바로 로봇의 행동 오류로 이어질 수 있기 때문에 정확성뿐 아니라 강인성과 신뢰성이 매우 중요하다.

실시간 성능은 로봇 추적 시스템의 핵심 특징이다. 현대의 자율주행 로봇은 일반적으로 10Hz에서 100Hz 이상의 제어 주기로 동작한다. 따라서 추적 시스템은 센서 데이터를 수집하고 객체 상태를 업데이트하며 데이터 연관을 수행하고 미래 위치를 예측한 뒤 결과를 수 밀리초 내에 제공해야 한다. 이러한 요구사항을 만족하기 위해서는 하드웨어, 소프트웨어, 알고리즘 수준에서 최적화가 필수적이다.

센서 통합은 실시간 로봇 추적의 기반이 된다. 대부분의 로봇은 단일 센서에 의존하지 않고 RGB 카메라, 스테레오 카메라, RGB-D 센서, LiDAR, 레이더, 초음파 센서, IMU, 휠 엔코더, GNSS 등을 함께 사용한다. 카메라는 풍부한 의미 정보를 제공하지만 조명 변화에 취약하다. LiDAR는 정확한 거리 정보를 제공하지만 외형 정보가 부족하다. 레이더는 악천후 환경에 강하지만 해상도가 낮다. 따라서 다양한 센서를 결합하여 환경을 보다 정확하게 이해하는 것이 중요하다.

센서 융합(Sensor Fusion)은 추적의 신뢰성을 크게 향상시킨다. Kalman Filter, Extended Kalman Filter, Unscented Kalman Filter, Particle Filter, Factor Graph Optimization과 같은 기법을 사용하여 여러 센서의 정보를 통합한다. 이러한 방식은 단일 센서 기반 추정보다 더 높은 정확도와 안정성을 제공한다.

객체 탐지(Object Detection)는 대부분의 실시간 로봇 추적 시스템에서 관측 정보의 주요 공급원이다. 현대 로봇은 Tracking-by-Detection 구조를 사용하며, YOLO, RT-DETR, EfficientDet, Transformer Detector와 같은 객체 탐지기를 통해 객체를 인식한다. 이후 추적 시스템은 이 탐지 결과를 시간적으로 연결하여 객체의 정체성과 궤적을 유지한다.

미래 움직임 예측(Trajectory Prediction)은 실시간 로봇 추적의 중요한 기능이다. 추적 시스템은 현재 위치를 추정하는 데 그치지 않고 객체가 앞으로 어떻게 움직일지를 예측한다. 이를 통해 자율주행 로봇은 보행자의 이동 경로를 예측하여 충돌을 회피할 수 있고, 물류 로봇은 작업자와 지게차의 움직임을 고려하여 경로를 계획할 수 있다. 이러한 예측 기능은 단순한 관찰을 능동적인 상황 인식으로 발전시킨다.

동적 장애물 추적(Dynamic Obstacle Tracking)은 자율주행 로봇에서 가장 중요한 응용 중 하나이다. 현실 환경에는 사람, 차량, 동물, 다른 로봇 등 끊임없이 움직이는 객체들이 존재한다. 실시간 추적은 이러한 동적 객체를 지속적으로 모니터링하고 경로 계획에 반영함으로써 안전한 주행을 가능하게 한다.

실시간 로봇 추적은 SLAM과도 밀접하게 연결된다. 로봇은 정적인 구조물과 움직이는 객체를 구분해야 한다. 움직이는 객체가 SLAM에 포함되면 위치 추정과 지도 생성에 오류가 발생할 수 있다. 추적 시스템은 동적 객체를 식별하여 이러한 문제를 방지하며, Semantic SLAM에서는 추적된 객체가 의미 지도의 일부로 활용되기도 한다.

계산 효율성은 로봇 배치에서 중요한 문제이다. 이동 로봇은 클라우드 서버가 아니라 제한된 전력과 계산 자원을 가진 임베디드 플랫폼에서 동작한다. NVIDIA Jetson Orin, Jetson Thor, Intel Edge AI 플랫폼, Qualcomm Robotics Processor와 같은 장치에서 실시간 추적을 수행하기 위해 경량 모델, 양자화, TensorRT 최적화, 하드웨어 가속이 활용된다.

ROS2는 실시간 로봇 추적을 위한 대표적인 소프트웨어 프레임워크이다. ROS2는 인식, 추적, 계획, 제어 모듈 간의 효율적인 데이터 교환을 지원한다. 추적 결과는 객체 상태, 궤적, 신뢰도, 의미 정보 등의 형태로 ROS Topic을 통해 전달되며, 다른 모듈이 이를 활용하여 의사결정을 수행한다.

다중 객체 추적은 실제 로봇 환경에서 매우 중요하다. 병원, 공항, 쇼핑몰, 공공시설에서 동작하는 서비스 로봇은 수많은 사람과 물체를 동시에 추적해야 한다. 산업용 로봇은 작업자, AGV, 컨베이어 제품을 추적해야 하며, 자율주행차는 수백 개의 교통 객체를 동시에 관리해야 한다. 따라서 실시간 로봇 추적은 정확성과 계산 효율성 사이의 균형이 중요하다.

인간 추적(Human Tracking)은 특히 중요한 응용 분야이다. 인간 중심 환경에서 동작하는 로봇은 사람의 움직임을 이해하고 사회적 거리를 유지하며 행동을 예측해야 한다. 인간 추적은 협업 로봇, 서비스 로봇, 의료 로봇, 사회적 로봇의 핵심 기술이다. 최근에는 자세 추정, 제스처 인식, 감정 분석, 행동 인식과 결합되어 더욱 발전하고 있다.

드론과 UAV 환경은 추가적인 도전 과제를 제공한다. UAV는 빠르게 움직이는 카메라, 변화하는 시점, 다양한 고도 환경에서 동작한다. 따라서 추적 시스템은 드론 자체의 움직임(Ego Motion)을 보상하면서도 목표를 안정적으로 추적해야 한다. 이는 감시, 시설 점검, 재난 구조, 정밀 농업, 물류 배송 등에 활용된다.

자율주행차는 가장 까다로운 추적 응용 분야 중 하나이다. 차량은 보행자, 자전거, 차량, 교통 표지판, 신호등, 차선 등을 지속적으로 추적해야 한다. 또한 다양한 날씨와 조명 환경에서도 높은 신뢰성을 유지해야 한다. 작은 추적 오류도 안전 문제로 이어질 수 있기 때문에 매우 정교한 추적 시스템이 사용된다.

산업용 로봇 역시 실시간 추적에 크게 의존한다. 스마트 팩토리에서는 이동하는 컨베이어 제품, AGV, 작업자와 협력해야 한다. 실시간 추적은 유연 생산, 협업 작업, 지능형 제조를 가능하게 한다.

최근 AI 기술의 발전은 로봇 추적에도 큰 영향을 미치고 있다. 딥러닝 기반 외형 모델, Transformer, Graph Neural Network, Foundation Model, 멀티모달 인식 기술은 객체의 정체성 유지와 장기 추적 성능을 향상시키고 있다. 미래의 추적 시스템은 단순한 위치 추정을 넘어 의미 이해와 행동 예측을 포함하는 방향으로 발전할 것이다.

Embodied Intelligence 시대에는 추적의 중요성이 더욱 커진다. 지능형 로봇은 객체를 시간에 걸쳐 이해하고 기억해야 한다. 추적은 기억(Memory), 계획(Planning), 추론(Reasoning), 상호작용(Interaction)을 위한 시간적 연속성을 제공한다. 따라서 객체 정체성을 유지할 수 없는 로봇은 진정한 상황 인식을 수행할 수 없다.

향후 로봇이 물류, 의료, 공공 서비스, 제조, 교통 분야에 대규모로 배치됨에 따라 Real-Time Robot Tracking은 더욱 중요한 기술이 될 것이다. 미래 시스템은 다중 센서 융합, Foundation Model, 엣지 AI, 클라우드 협업, World Model을 결합하여 지금보다 훨씬 높은 수준의 상황 인식을 제공할 것이다.

결론적으로 Real-Time Robot Tracking은 객체 추적을 단순한 컴퓨터 비전 알고리즘에서 실제 자율 행동을 지원하는 핵심 기능으로 발전시킨 기술이다. 객체 상태를 지속적으로 추정하고, 정체성을 유지하며, 미래 행동을 예측하고, 로봇의 의사결정 시스템과 통합함으로써 안전한 주행과 지능적인 상호작용을 가능하게 만든다. 따라서 이는 현대 자율 로봇과 Embodied AI를 구성하는 가장 중요한 핵심 기술 중 하나라고 할 수 있다.

저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go