STATERA Library · Series 09 · Volume 08 · Chapter 03 · EN
Source: https://github.com/Statera-Library/09_Vol_08_Robot_Foundation_Models_and_VLA/blob/main/Chapter_03_Vision_Language_Models_for_Robotics/Chapter_03_Vision_Language_Models_for_Robotics_EN.md

Volume 08. Robot Foundation Models and VLA

Chapter 03. Vision Language Models for Robotics

03.01. VLM Fundamentals for Robotics

Vision-language models connect visual perception with linguistic representations so that a robot can interpret what it sees in terms of concepts, objects, relationships, and instructions. Instead of treating an image only as pixels or geometric measurements, a VLM maps visual observations into semantic representations that can be related to words and sentences. This capability provides an important bridge between perception-oriented robot systems and foundation models that reason through language.

For robotics, the central value of a VLM is its ability to associate open-ended visual observations with flexible language descriptions. A conventional perception system may contain separately trained detectors for predefined objects, while a VLM can use concepts learned from large-scale image-text data to recognize and describe a much broader range of scenes. This changes robot perception from a fixed classification problem toward a more general semantic interpretation problem.

A typical VLM contains a visual encoder, a language model or language-oriented representation module, and a mechanism that aligns or fuses information between them. The visual encoder transforms camera images into feature representations, while the language component represents instructions, questions, object names, goals, and semantic knowledge. Cross-modal projection, attention, or token-based interfaces then allow visual and linguistic information to interact within a shared computational representation.

Visual observations are commonly converted into sequences of visual features or tokens before being processed together with language tokens. This token-oriented formulation is particularly compatible with Transformer architectures because attention mechanisms can establish relationships between different regions of an image and different elements of an instruction. A phrase such as "the red container beside the table" can therefore become associated with relevant visual regions rather than remaining an isolated textual command.

Multimodal alignment is fundamental because visual and linguistic representations originate from very different information spaces. Training attempts to make corresponding images and descriptions semantically compatible so that related visual and textual concepts occupy useful regions of a shared or connected representation space. Once this alignment is learned at sufficient scale, a robot can exploit language as an interface for querying, organizing, and interpreting visual information encountered in its environment.

Large-scale pretraining gives VLMs broad semantic knowledge that would be difficult to obtain exclusively from robot demonstrations. Internet-scale image-text datasets expose models to objects, activities, environments, materials, attributes, and relationships far beyond a single robot deployment. Robotics can therefore reuse general visual-semantic knowledge and subsequently adapt it with robot-specific data, rather than learning every object category and linguistic concept from physical interaction alone.

The distinction between semantic understanding and physical understanding is especially important in robotics. A VLM may correctly identify a cup, table, drawer, tool, or person and describe their apparent relationships, but recognition alone does not guarantee accurate knowledge of depth, force, friction, mass, stability, collision constraints, or reachability. Consequently, VLM representations usually complement rather than replace geometric perception, state estimation, proprioception, and physical world modeling.

Language grounding turns abstract instructions into references to observable entities and relationships. If a user asks a robot to "pick up the bottle next to the blue box," the system must connect the linguistic concepts of bottle, blue box, and spatial relation with specific elements in the current scene. VLMs provide a foundation for this process by jointly representing visual evidence and language, enabling instructions to become conditioned on the robot\'s actual perceptual context.

Spatial reasoning extends grounding beyond object identification. Robots must understand relationships such as left and right, inside and outside, near and far, above and below, as well as more operational concepts such as reachable, blocked, supported, or contained. VLMs can contribute semantic and relational hypotheses, but reliable robotic operation often requires these hypotheses to be combined with depth sensing, 3D reconstruction, localization, occupancy information, or other explicitly geometric representations.

Affordance understanding provides another connection between visual semantics and physical interaction. Objects are not important only because of what they are called, but also because of what actions they permit. A handle may be grasped, a button pressed, a drawer pulled, and an open region traversed. VLM knowledge can help infer such possibilities from appearance and language, while robot-specific perception and control must determine whether the predicted interaction is physically feasible for the current embodiment.

VLMs also enable visual question answering and scene-oriented reasoning that can support higher-level robot cognition. A robot may query whether a target object is visible, which container is likely to hold an item, whether a workspace appears organized, or what objects are relevant to a requested task. Such reasoning can transform raw perception into structured semantic context that later modules use for task decomposition, planning, monitoring, or human-robot interaction.

Temporal robotics introduces requirements beyond single-image understanding. Mobile robots and manipulators operate through sequences of observations in which objects move, actions change the environment, and previously visible information may disappear. Video-language representations can incorporate temporal context to identify activities, state transitions, and evolving relationships. Maintaining this history is essential when understanding what happened earlier affects interpretation of the robot\'s present situation and future task decisions.

In a practical robot architecture, a VLM can therefore operate as a semantic perception and reasoning layer between sensory processing and action-oriented intelligence. Camera observations and language instructions enter the multimodal model, which produces grounded objects, semantic relationships, scene descriptions, task-relevant concepts, or reasoning features. These outputs may then condition planners, world models, navigation systems, manipulation policies, or other robot foundation-model components rather than directly commanding actuators.

This separation highlights the boundary between a vision-language model and a vision-language-action model. A VLM primarily connects perception with linguistic and semantic reasoning, whereas a VLA extends multimodal modeling toward generation of robot actions. The transition requires explicit treatment of observations, embodiment, action representations, temporal context, control constraints, and interaction feedback, which is why VLMs form a conceptual foundation for the later VLA architectures in the overall structure.

For robot foundation models, VLMs ultimately provide a reusable interface between broad world knowledge and situated visual perception. Their strength lies in open-vocabulary recognition, semantic generalization, language grounding, multimodal reasoning, and transfer from large-scale pretraining. Their limitations arise when semantic plausibility is mistaken for physical correctness, making integration with geometry, dynamics, uncertainty estimation, world models, and closed-loop control essential for dependable physical intelligence.

비전-언어 모델(Vision-Language Model, VLM)은 시각적 지각(visual perception)을 언어적 표현(linguistic representation)과 연결하여 로봇이 자신이 보는 것을 개념(concept), 객체(object), 관계(relationship), 명령(instruction)의 관점에서 해석할 수 있도록 한다. 이미지를 단순히 픽셀(pixel)이나 기하학적 측정값(geometric measurement)으로 처리하는 대신, VLM은 시각적 관측(visual observation)을 단어나 문장과 연결할 수 있는 의미 표현(semantic representation)으로 변환한다. 이러한 능력은 지각 중심 로봇 시스템(perception-oriented robot system)과 언어를 통해 추론하는 파운데이션 모델(foundation model)을 연결하는 중요한 가교 역할을 한다.

로보틱스(robotics)에서 VLM의 핵심 가치는 개방형 시각적 관측(open-ended visual observation)을 유연한 언어 설명(language description)과 연결할 수 있다는 점이다. 기존 지각 시스템(conventional perception system)은 사전에 정의된 객체를 위해 별도로 학습된 검출기(detector)를 사용할 수 있지만, VLM은 대규모 이미지-텍스트 데이터(image-text data)에서 학습한 개념을 활용하여 훨씬 광범위한 장면을 인식하고 설명할 수 있다. 이는 로봇 지각(robot perception)을 고정된 분류 문제(classification problem)에서 보다 일반적인 의미 해석 문제(semantic interpretation problem)로 확장한다.

일반적인 VLM은 비전 인코더(visual encoder), 언어 모델(language model) 또는 언어 중심 표현 모듈(language-oriented representation module), 그리고 두 정보 사이를 정렬하거나 융합하는 메커니즘(alignment or fusion mechanism)으로 구성된다. 비전 인코더는 카메라 이미지(camera image)를 특징 표현(feature representation)으로 변환하고, 언어 구성 요소(language component)는 명령, 질문, 객체 이름, 목표, 의미 지식(semantic knowledge)을 표현한다. 이후 교차 모달 투영(cross-modal projection), 어텐션(attention), 토큰 기반 인터페이스(token-based interface)를 통해 시각 정보와 언어 정보가 공유된 계산 표현(computational representation) 안에서 상호작용한다.

시각적 관측(visual observation)은 일반적으로 언어 토큰(language token)과 함께 처리되기 전에 일련의 시각 특징(visual feature) 또는 시각 토큰(visual token)으로 변환된다. 이러한 토큰 중심 구성(token-oriented formulation)은 어텐션 메커니즘(attention mechanism)이 이미지의 서로 다른 영역과 명령의 서로 다른 요소 사이의 관계를 설정할 수 있기 때문에 트랜스포머(Transformer) 아키텍처와 특히 잘 호환된다. 따라서 "테이블 옆의 빨간색 컨테이너(the red container beside the table)"와 같은 문구를 단순한 텍스트 명령이 아니라 관련된 시각 영역(visual region)과 연결할 수 있다.

멀티모달 정렬(multimodal alignment)은 시각 표현(visual representation)과 언어 표현(language representation)이 매우 다른 정보 공간에서 생성되기 때문에 핵심적인 요소이다. 학습 과정은 서로 대응하는 이미지와 설명을 의미적으로 호환되도록 만들어 관련 시각 및 텍스트 개념이 공유되거나 연결된 표현 공간(representation space)의 유용한 영역에 위치하도록 한다. 이러한 정렬이 충분한 규모로 학습되면 로봇은 언어를 이용하여 환경에서 관측한 시각 정보를 질의하고, 조직화하고, 해석할 수 있다.

대규모 사전학습(large-scale pretraining)은 VLM에 로봇 시연(robot demonstration)만으로는 획득하기 어려운 광범위한 의미 지식(semantic knowledge)을 제공한다. 인터넷 규모의 이미지-텍스트 데이터셋(image-text dataset)은 모델을 특정 로봇 배치 환경보다 훨씬 다양한 객체, 활동, 환경, 재료, 속성, 관계에 노출시킨다. 따라서 로보틱스는 모든 객체 범주와 언어 개념을 물리적 상호작용(physical interaction)만으로 학습하는 대신 일반적인 시각-의미 지식(visual-semantic knowledge)을 재사용한 후 로봇 특화 데이터(robot-specific data)를 통해 적응시킬 수 있다.

의미적 이해(semantic understanding)와 물리적 이해(physical understanding)의 차이는 로보틱스에서 특히 중요하다. VLM은 컵, 테이블, 서랍, 도구 또는 사람을 정확히 식별하고 이들 사이의 외관상 관계를 설명할 수 있지만, 이러한 인식만으로 깊이(depth), 힘(force), 마찰(friction), 질량(mass), 안정성(stability), 충돌 제약(collision constraint), 도달 가능성(reachability)을 정확하게 이해한다고 보장할 수는 없다. 따라서 VLM 표현은 일반적으로 기하학적 지각(geometric perception), 상태 추정(state estimation), 고유수용감각(proprioception), 물리적 월드 모델링(physical world modeling)을 대체하기보다 보완한다.

언어 그라운딩(language grounding)은 추상적인 명령을 관측 가능한 객체와 관계에 연결한다. 사용자가 로봇에게 "파란 상자 옆에 있는 병을 집어라(pick up the bottle next to the blue box)"라고 요청하면 시스템은 병, 파란 상자, 공간 관계(spatial relation)라는 언어 개념을 현재 장면의 특정 요소와 연결해야 한다. VLM은 시각적 증거(visual evidence)와 언어를 공동으로 표현함으로써 이러한 과정의 기반을 제공하며, 명령을 로봇의 실제 지각적 맥락(perceptual context)에 조건화할 수 있게 한다.

공간 추론(spatial reasoning)은 객체 식별을 넘어 그라운딩(grounding)을 확장한다. 로봇은 왼쪽과 오른쪽, 내부와 외부, 가까움과 멂, 위와 아래 같은 관계뿐 아니라 도달 가능(reachable), 차단됨(blocked), 지지됨(supported), 포함됨(contained)과 같은 보다 작업 중심적인 개념도 이해해야 한다. VLM은 의미적·관계적 가설(semantic and relational hypothesis)을 제공할 수 있지만, 신뢰할 수 있는 로봇 동작을 위해서는 이러한 가설을 깊이 센싱(depth sensing), 3차원 재구성(3D reconstruction), 위치 추정(localization), 점유 정보(occupancy information) 또는 명시적인 기하학 표현(geometric representation)과 결합해야 하는 경우가 많다.

어포던스 이해(affordance understanding)는 시각적 의미(visual semantics)와 물리적 상호작용(physical interaction)을 연결하는 또 다른 요소이다. 객체는 단순히 무엇이라고 불리는가뿐 아니라 어떤 행동을 허용하는가도 중요하다. 손잡이는 잡을 수 있고, 버튼은 누를 수 있으며, 서랍은 당길 수 있고, 열린 공간은 통과할 수 있다. VLM 지식은 외관과 언어를 바탕으로 이러한 가능성을 추론하는 데 도움을 줄 수 있으며, 로봇 특화 지각(robot-specific perception)과 제어(control)는 예측된 상호작용이 현재 로봇의 신체 구조(embodiment)에서 실제로 실행 가능한지를 판단해야 한다.

VLM은 또한 상위 수준의 로봇 인지(robot cognition)를 지원할 수 있는 시각 질의응답(Visual Question Answering, VQA)과 장면 중심 추론(scene-oriented reasoning)을 가능하게 한다. 로봇은 목표 객체가 보이는지, 어떤 컨테이너에 특정 물체가 있을 가능성이 높은지, 작업 공간이 정돈되어 있는지, 요청된 작업에 어떤 객체가 관련되는지를 질의할 수 있다. 이러한 추론은 원시 지각(raw perception)을 구조화된 의미적 맥락(semantic context)으로 변환하여 이후의 작업 분해(task decomposition), 계획(planning), 모니터링(monitoring), 인간-로봇 상호작용(human-robot interaction)에 활용할 수 있게 한다.

시간적 로보틱스(temporal robotics)는 단일 이미지 이해(single-image understanding)를 넘어서는 요구사항을 가진다. 이동 로봇(mobile robot)과 매니퓰레이터(manipulator)는 객체가 이동하고, 행동이 환경을 변화시키며, 이전에 보였던 정보가 사라질 수 있는 연속적인 관측(sequence of observations) 속에서 동작한다. 비디오-언어 표현(video-language representation)은 시간적 맥락(temporal context)을 통합하여 활동, 상태 전이(state transition), 변화하는 관계를 식별할 수 있다. 이전에 발생한 사건이 현재 상황의 해석과 미래 작업 결정에 영향을 주기 때문에 이러한 이력(history)을 유지하는 것이 중요하다.

실제 로봇 아키텍처(robot architecture)에서 VLM은 센서 처리(sensory processing)와 행동 중심 지능(action-oriented intelligence) 사이의 의미 지각 및 추론 계층(semantic perception and reasoning layer)으로 동작할 수 있다. 카메라 관측(camera observation)과 언어 명령(language instruction)이 멀티모달 모델(multimodal model)에 입력되면, 모델은 그라운딩된 객체(grounded object), 의미 관계(semantic relationship), 장면 설명(scene description), 작업 관련 개념(task-relevant concept), 추론 특징(reasoning feature)을 생성한다. 이러한 출력은 액추에이터(actuator)를 직접 명령하기보다 플래너(planner), 월드 모델(world model), 내비게이션 시스템(navigation system), 조작 정책(manipulation policy) 또는 다른 로봇 파운데이션 모델 구성 요소를 조건화하는 데 사용될 수 있다.

이러한 구분은 비전-언어 모델(Vision-Language Model, VLM)과 비전-언어-행동 모델(Vision-Language-Action Model, VLA)의 경계를 명확하게 보여준다. VLM이 주로 지각(perception)을 언어적·의미적 추론(linguistic and semantic reasoning)과 연결한다면, VLA는 멀티모달 모델링(multimodal modeling)을 로봇 행동 생성(robot action generation)까지 확장한다. 이러한 전환에는 관측(observation), 신체 구조(embodiment), 행동 표현(action representation), 시간적 맥락(temporal context), 제어 제약(control constraint), 상호작용 피드백(interaction feedback)을 명시적으로 다루는 과정이 필요하며, 이것이 VLM이 이후의 VLA 아키텍처를 위한 개념적 기반을 형성하는 이유이다.

로봇 파운데이션 모델(robot foundation model)의 관점에서 VLM은 궁극적으로 광범위한 세계 지식(world knowledge)과 상황에 기반한 시각적 지각(situated visual perception)을 연결하는 재사용 가능한 인터페이스(reusable interface)를 제공한다. VLM의 강점은 개방 어휘 인식(open-vocabulary recognition), 의미 일반화(semantic generalization), 언어 그라운딩(language grounding), 멀티모달 추론(multimodal reasoning), 대규모 사전학습으로부터의 전이(transfer)에 있다. 반면 의미적 개연성(semantic plausibility)을 물리적 정확성(physical correctness)으로 오인할 수 있다는 한계가 있으므로, 신뢰할 수 있는 물리 지능(physical intelligence)을 구현하기 위해서는 기하학(geometry), 동역학(dynamics), 불확실성 추정(uncertainty estimation), 월드 모델(world model), 폐루프 제어(closed-loop control)와의 통합이 필수적이다.

03.02. Vision Encoders and Language Models

Vision encoders and language models form the two primary computational foundations of a vision-language system for robotics. The vision encoder converts high-dimensional camera observations into compact visual representations, while the language model represents instructions, concepts, relationships, and task context. Their integration allows a robot to connect what is visually observed with what is linguistically described or requested.

A vision encoder transforms an image or video frame into features that preserve information useful for recognition and reasoning. Earlier robotic vision systems often relied on convolutional neural networks, while modern multimodal foundation models increasingly employ Vision Transformers. Instead of producing only predefined class labels, these encoders generate rich feature representations that can support open-vocabulary objects, attributes, scenes, and relationships.

In a Vision Transformer, an image is typically divided into patches that are projected into embedding vectors and processed as visual tokens. Self-attention enables each token to incorporate information from other image regions, allowing representations to capture both local appearance and broader scene context. This token-based organization also creates a convenient architectural interface with Transformer language models, which already process linguistic information as token sequences.

The resolution and granularity of visual tokens strongly influence robotic perception. Fine visual tokens can preserve small objects, boundaries, handles, controls, and interaction-relevant details, but they increase sequence length and computational cost. Coarser representations reduce memory and inference requirements but may discard details needed for manipulation or precise grounding. Robot VLM design therefore requires balancing semantic coverage, spatial precision, latency, and available compute.

Language models process textual instructions by converting words or subword units into token embeddings and repeatedly transforming them through attention-based layers. Through large-scale pretraining, these models acquire representations of objects, actions, relationships, procedures, and broad contextual knowledge. In robotics, this linguistic knowledge provides a flexible mechanism for expressing goals such as finding an object, navigating toward a location, inspecting equipment, or describing a manipulation task.

The language model can also provide compositional reasoning that extends beyond fixed robot command vocabularies. An instruction may contain an object, attribute, spatial relation, action, and constraint simultaneously, as in "move the small red box from the table to the shelf." Rather than creating a separate command representation for every possible combination, a language model can represent these elements compositionally and relate them to the current visual context.

Vision and language components initially produce representations in different feature spaces, so an interface is required between them. A projection layer, multimodal adapter, cross-attention module, or multimodal Transformer can transform visual features into representations compatible with language processing. Visual tokens can then appear within the model context alongside language tokens, allowing linguistic queries to attend to relevant portions of the robot\'s visual observations.

Cross-attention provides one important mechanism for establishing these relationships. Language representations can selectively attend to visual tokens associated with relevant objects or regions, while multimodal architectures may also permit visual representations to incorporate linguistic context. When instructed to identify "the cup beside the blue container," the model must associate the words describing the cup, container, and spatial relation with the appropriate visual evidence in the scene.

Different architectural strategies determine how tightly the vision encoder and language model are coupled. Some systems keep a pretrained vision backbone and language model largely frozen and train only lightweight projection or adapter layers between them. Others fine-tune portions of both networks or train multimodal layers jointly. These choices influence training cost, preservation of pretrained knowledge, domain adaptation, representation alignment, and the computational requirements of deployment.

Pretrained vision encoders are valuable because robotic datasets are usually much smaller than general image collections. Features learned from large and diverse visual datasets can provide strong representations of everyday objects, materials, environments, and activities before robot-specific training begins. Robot data can then adapt these representations toward unusual viewpoints, manipulation scenes, industrial environments, navigation imagery, and embodiment-dependent interaction requirements.

Similarly, pretrained language models allow robot systems to inherit broad linguistic and conceptual knowledge instead of learning language exclusively from robot trajectories. However, linguistic knowledge should not automatically be interpreted as reliable physical knowledge. A language model may describe a plausible action without understanding exact geometry, collision risk, actuator limits, object mass, or dynamic stability, requiring its representations to be grounded in robot observations and physical state.

Robotic perception also differs from ordinary image understanding because observations are continuous and embodied. Cameras move with the robot, viewpoints change during navigation or manipulation, and actions alter subsequent observations. A useful vision-language architecture may therefore incorporate multiple images, video frames, temporal embeddings, robot state, or observation history rather than treating every camera frame as an independent image-language problem.

Multiple cameras and additional sensors create further representation challenges. A robot may observe the same object from several viewpoints while also receiving depth, LiDAR, proprioceptive, or state information. The vision-language backbone must preserve enough spatial and semantic structure for these observations to be associated correctly. Depending on the architecture, sensor-specific encoders can generate features that are subsequently aligned, fused, or supplied as additional multimodal tokens.

For real-time robots, encoder and language-model size must also be considered as part of the physical system architecture. Large visual backbones and language models improve representation capacity but consume GPU memory, energy, and inference time. Token count, image resolution, attention complexity, model precision, and context length directly affect latency. Practical systems may therefore combine compressed encoders, smaller language models, cached representations, or hierarchical processing.

The resulting vision-language representation should be viewed as an intermediate semantic interface rather than the complete robot intelligence stack. Vision encoders answer how sensory observations can be represented, while language models provide a structure for concepts, instructions, and reasoning. Their aligned representations can subsequently support language-grounded perception, spatial reasoning, affordance understanding, task interpretation, planning, and eventually action-oriented models such as Vision-Language-Action models.

Within the broader robot foundation model architecture, vision encoders and language models therefore establish the pathway from pixels to semantic context. The vision encoder compresses observations into meaningful visual tokens, the language model supplies linguistic and conceptual structure, and multimodal alignment connects the two. Reliable physical intelligence emerges when this semantic backbone is further integrated with temporal perception, geometry, robot state, world models, action representations, and closed-loop control.

비전 인코더(Vision Encoder)와 언어 모델(Language Model)은 로보틱스(robotics)를 위한 비전-언어 시스템(Vision-Language System)의 두 가지 핵심 계산 기반을 구성한다. 비전 인코더는 고차원의 카메라 관측(camera observation)을 압축된 시각 표현(visual representation)으로 변환하고, 언어 모델은 명령(instruction), 개념(concept), 관계(relationship), 작업 맥락(task context)을 표현한다. 이 두 요소의 통합을 통해 로봇은 시각적으로 관측한 내용과 언어로 설명되거나 요청된 내용을 서로 연결할 수 있다.

비전 인코더(Vision Encoder)는 이미지 또는 비디오 프레임(video frame)을 인식과 추론에 유용한 정보를 보존하는 특징(feature)으로 변환한다. 초기 로봇 비전 시스템(robotic vision system)은 주로 합성곱 신경망(Convolutional Neural Network, CNN)을 사용했지만, 현대의 멀티모달 파운데이션 모델(multimodal foundation model)은 비전 트랜스포머(Vision Transformer, ViT)를 점차 폭넓게 사용하고 있다. 이러한 인코더는 사전에 정의된 클래스 레이블만 생성하는 것이 아니라 개방 어휘 객체(open-vocabulary object), 속성(attribute), 장면(scene), 관계(relationship)를 지원할 수 있는 풍부한 특징 표현을 생성한다.

비전 트랜스포머(Vision Transformer)에서는 일반적으로 이미지를 패치(patch)로 분할한 다음 임베딩 벡터(embedding vector)로 투영하여 시각 토큰(visual token)으로 처리한다. 셀프 어텐션(self-attention)은 각각의 토큰이 다른 이미지 영역의 정보를 통합할 수 있도록 하여 국소적인 외관(local appearance)과 전체적인 장면 맥락(scene context)을 함께 포착한다. 이러한 토큰 기반 구성은 언어 정보를 이미 토큰 시퀀스(token sequence)로 처리하는 트랜스포머 언어 모델(Transformer Language Model)과 연결하기에도 편리한 아키텍처 인터페이스(architectural interface)를 제공한다.

시각 토큰(visual token)의 해상도(resolution)와 세분성(granularity)은 로봇 지각(robot perception)의 성능에 큰 영향을 미친다. 세밀한 시각 토큰은 작은 객체, 경계(boundary), 손잡이(handle), 제어 장치(control), 상호작용 관련 세부 정보(interaction-relevant detail)를 보존할 수 있지만 시퀀스 길이와 계산 비용을 증가시킨다. 반대로 거친 표현(coarse representation)은 메모리와 추론 요구량을 줄이지만 조작(manipulation)이나 정밀 그라운딩(precise grounding)에 필요한 정보를 손실할 수 있다. 따라서 로봇 VLM 설계에서는 의미적 범위(semantic coverage), 공간 정밀도(spatial precision), 지연시간(latency), 가용 연산 자원(available compute)의 균형이 필요하다.

언어 모델(Language Model)은 단어나 서브워드 단위(subword unit)를 토큰 임베딩(token embedding)으로 변환하고 이를 어텐션 기반 계층(attention-based layer)을 통해 반복적으로 처리하여 텍스트 명령을 해석한다. 대규모 사전학습(large-scale pretraining)을 통해 이러한 모델은 객체, 행동(action), 관계, 절차(procedure), 광범위한 맥락 지식(contextual knowledge)의 표현을 획득한다. 로보틱스에서는 이러한 언어 지식이 객체 탐색, 특정 위치로의 이동, 장비 검사, 조작 작업 설명과 같은 목표를 유연하게 표현할 수 있는 메커니즘을 제공한다.

언어 모델은 고정된 로봇 명령 어휘(command vocabulary)를 넘어서는 조합적 추론(compositional reasoning)도 제공할 수 있다. 예를 들어 "작은 빨간 상자를 테이블에서 선반으로 옮겨라(move the small red box from the table to the shelf)"라는 명령에는 객체, 속성, 공간 관계(spatial relation), 행동, 제약 조건(constraint)이 동시에 포함된다. 가능한 모든 조합마다 별도의 명령 표현을 만드는 대신 언어 모델은 이러한 요소들을 조합적으로 표현하고 현재의 시각적 맥락(visual context)과 연결할 수 있다.

비전 구성 요소(vision component)와 언어 구성 요소(language component)는 처음에는 서로 다른 특징 공간(feature space)의 표현을 생성하므로 두 요소 사이를 연결하는 인터페이스(interface)가 필요하다. 투영 계층(projection layer), 멀티모달 어댑터(multimodal adapter), 교차 어텐션 모듈(cross-attention module), 멀티모달 트랜스포머(multimodal Transformer)를 사용하여 시각 특징을 언어 처리와 호환되는 표현으로 변환할 수 있다. 이후 시각 토큰은 언어 토큰과 함께 모델의 맥락(context)에 배치되어 언어 질의가 로봇의 시각적 관측 중 관련 부분에 주의를 기울일 수 있게 된다.

교차 어텐션(cross-attention)은 이러한 관계를 형성하는 중요한 메커니즘 가운데 하나이다. 언어 표현(language representation)은 관련 객체나 영역에 대응하는 시각 토큰을 선택적으로 참조할 수 있으며, 멀티모달 아키텍처는 시각 표현이 언어적 맥락을 통합하도록 구성할 수도 있다. 예를 들어 "파란색 컨테이너 옆의 컵(the cup beside the blue container)"을 식별하라는 명령이 주어지면 모델은 컵, 컨테이너, 공간 관계를 나타내는 단어들을 장면에서 적절한 시각적 증거(visual evidence)와 연결해야 한다.

서로 다른 아키텍처 전략(architectural strategy)은 비전 인코더와 언어 모델이 얼마나 긴밀하게 결합되는지를 결정한다. 일부 시스템은 사전학습된 비전 백본(vision backbone)과 언어 모델을 대부분 동결(freeze)하고 두 모델 사이의 경량 투영 계층 또는 어댑터(adapter)만 학습한다. 다른 시스템은 두 네트워크의 일부를 미세조정(fine-tuning)하거나 멀티모달 계층을 공동으로 학습한다. 이러한 선택은 학습 비용(training cost), 사전학습 지식의 보존, 도메인 적응(domain adaptation), 표현 정렬(representation alignment), 배포 시 계산 요구사항에 영향을 미친다.

사전학습된 비전 인코더(pretrained vision encoder)는 로봇 데이터셋(robotic dataset)이 일반적인 이미지 데이터셋보다 훨씬 작은 경우가 많기 때문에 특히 유용하다. 대규모의 다양한 시각 데이터에서 학습된 특징은 로봇 특화 학습이 시작되기 전에 일상적인 객체, 재료(material), 환경, 활동에 대한 강력한 표현을 제공할 수 있다. 이후 로봇 데이터를 이용하여 특수한 시점(viewpoint), 조작 장면, 산업 환경, 내비게이션 영상, 신체 구조 의존적 상호작용 요구사항(embodiment-dependent interaction requirement)에 맞게 이러한 표현을 적응시킬 수 있다.

마찬가지로 사전학습된 언어 모델(pretrained language model)을 활용하면 로봇 시스템은 언어를 로봇 궤적(robot trajectory)만으로 학습하는 대신 광범위한 언어적·개념적 지식을 활용할 수 있다. 그러나 언어 지식(linguistic knowledge)을 자동으로 신뢰할 수 있는 물리적 지식(physical knowledge)으로 해석해서는 안 된다. 언어 모델은 정확한 기하학(geometry), 충돌 위험(collision risk), 액추에이터 한계(actuator limit), 객체 질량(object mass), 동적 안정성(dynamic stability)을 이해하지 못한 상태에서도 그럴듯한 행동을 설명할 수 있으므로, 그 표현은 로봇 관측 및 물리적 상태(physical state)에 그라운딩되어야 한다.

로봇 지각(robotic perception)은 관측이 연속적이고 신체화(embodied)되어 있다는 점에서도 일반적인 이미지 이해(image understanding)와 다르다. 로봇이 이동하면 카메라도 함께 움직이고, 내비게이션이나 조작 과정에서 시점이 변화하며, 로봇의 행동은 이후 관측 자체를 변화시킨다. 따라서 유용한 비전-언어 아키텍처는 각각의 카메라 프레임을 독립적인 이미지-언어 문제로 처리하기보다 다중 이미지(multiple images), 비디오 프레임, 시간 임베딩(temporal embedding), 로봇 상태(robot state), 관측 이력(observation history)을 통합할 수 있다.

다중 카메라(multiple cameras)와 추가 센서(additional sensor)는 표현 과정에 또 다른 과제를 만든다. 로봇은 여러 시점에서 동일한 객체를 관측하면서 동시에 깊이(depth), 라이다(LiDAR), 고유수용감각(proprioceptive information), 상태 정보(state information)를 수신할 수 있다. 비전-언어 백본(vision-language backbone)은 이러한 관측이 올바르게 연결될 수 있도록 충분한 공간적·의미적 구조를 보존해야 한다. 아키텍처에 따라 센서별 인코더(sensor-specific encoder)가 특징을 생성한 뒤 이를 정렬(alignment), 융합(fusion)하거나 추가적인 멀티모달 토큰(multimodal token)으로 제공할 수 있다.

실시간 로봇(real-time robot)에서는 인코더와 언어 모델의 크기도 물리 시스템 아키텍처(physical system architecture)의 일부로 고려해야 한다. 대형 비전 백본과 언어 모델은 표현 능력(representation capacity)을 향상시키지만 GPU 메모리, 에너지, 추론 시간을 더 많이 소비한다. 토큰 수(token count), 이미지 해상도, 어텐션 복잡도(attention complexity), 모델 정밀도(model precision), 컨텍스트 길이(context length)는 지연시간에 직접적인 영향을 준다. 따라서 실제 시스템에서는 압축된 인코더(compressed encoder), 소형 언어 모델, 캐시된 표현(cached representation), 계층적 처리(hierarchical processing)를 조합할 수 있다.

결과적으로 생성되는 비전-언어 표현(vision-language representation)은 완전한 로봇 지능 스택(robot intelligence stack)이라기보다 중간 의미 인터페이스(intermediate semantic interface)로 이해해야 한다. 비전 인코더는 센서 관측을 어떻게 표현할 것인가를 담당하고, 언어 모델은 개념, 명령, 추론을 위한 구조를 제공한다. 이렇게 정렬된 표현은 이후 언어 기반 지각(language-grounded perception), 공간 추론(spatial reasoning), 어포던스 이해(affordance understanding), 작업 해석(task interpretation), 계획(planning), 그리고 궁극적으로 비전-언어-행동 모델(Vision-Language-Action Model, VLA)과 같은 행동 중심 모델을 지원할 수 있다.

더 넓은 로봇 파운데이션 모델(robot foundation model) 아키텍처에서 비전 인코더와 언어 모델은 픽셀(pixel)에서 의미적 맥락(semantic context)으로 이어지는 경로를 구축한다. 비전 인코더는 관측을 의미 있는 시각 토큰으로 압축하고, 언어 모델은 언어적·개념적 구조를 제공하며, 멀티모달 정렬(multimodal alignment)은 이 두 표현을 연결한다. 신뢰할 수 있는 물리 지능(physical intelligence)은 이러한 의미적 백본(semantic backbone)이 시간적 지각(temporal perception), 기하학, 로봇 상태, 월드 모델(world model), 행동 표현(action representation), 폐루프 제어(closed-loop control)와 추가적으로 통합될 때 구현될 수 있다.

03.03. Multimodal Alignment and Fusion

Multimodal alignment and fusion enable a robot to connect information expressed through different modalities, particularly vision and language, within a coherent representation. Images describe appearance and spatial structure, while language expresses concepts, instructions, relationships, and goals. Because these signals originate in different representational spaces, a robot VLM requires mechanisms that make corresponding information mutually interpretable before meaningful multimodal reasoning can occur.

Alignment refers to learning correspondences between representations from different modalities. A visual feature representing a red cup should become associated with linguistic representations such as "red cup," while visual relationships such as an object being inside a container should correspond to appropriate relational language. Effective alignment allows semantic similarity to be preserved across modalities even though the underlying sensory and symbolic inputs have very different structures.

Large-scale image-text pretraining provides a common foundation for learning these correspondences. Models observe many paired or weakly associated images and textual descriptions and learn which visual patterns tend to correspond with particular words, phrases, objects, attributes, activities, and scenes. This process creates transferable visual-semantic knowledge that robot systems can reuse before adaptation to robot-specific observations, environments, viewpoints, and tasks.

Contrastive learning is one widely used alignment strategy. Visual and textual encoders generate embeddings, and training encourages representations from matching image-text pairs to become more similar while separating unrelated pairs. The resulting embedding space supports semantic retrieval and open-vocabulary recognition. For robotics, such representations can help associate unfamiliar observations with language concepts without requiring a dedicated classifier for every possible object or scene.

Alignment alone, however, does not provide complete multimodal interaction. Fusion determines how information from multiple modalities is combined during representation and reasoning. A robot may need to determine not merely whether an image and sentence are related, but exactly which visual object corresponds to a phrase, which spatial relation satisfies an instruction, or which scene element is relevant to the current task. Fusion mechanisms provide the computational interactions needed for these finer correspondences.

Early fusion combines modalities relatively close to their input representations. Visual tokens and language tokens can be projected into compatible dimensions and processed together by shared Transformer layers. This approach permits extensive interaction between modalities throughout multimodal processing. However, the combined sequence may become computationally expensive, particularly when high-resolution images, multiple camera views, video frames, and long language contexts generate large numbers of tokens.

Late fusion keeps modality-specific processing more independent and combines representations after substantial visual and linguistic encoding has already occurred. This design can preserve strong pretrained vision and language backbones and reduce the cost of joint processing. Its disadvantage is that detailed cross-modal interactions may occur relatively late, potentially limiting fine-grained grounding when a task requires precise relationships between words and specific visual regions.

Intermediate fusion provides a compromise by allowing each modality to develop useful representations independently before selected layers exchange information. Projection modules, multimodal adapters, cross-attention blocks, or specialized fusion tokens can connect the streams. Such architectures are attractive for robot foundation models because they allow pretrained components to be reused while introducing trainable interfaces that adapt general vision-language knowledge to embodied tasks.

Cross-attention is particularly useful for language-grounded robotic perception. A textual query can attend selectively to visual tokens that contain relevant evidence, rather than treating every visual region as equally important. For an instruction such as "pick up the bottle behind the blue box," attention must connect object words and relational terms with the corresponding regions of the observed scene. This converts language from a general description into a context-dependent perceptual query.

Token projection is necessary when visual and linguistic encoders produce representations with different dimensions or statistical properties. A learned projection layer can transform visual features into the embedding space expected by a multimodal or language model. More expressive adapters may compress many visual tokens into fewer multimodal tokens, reducing computational load while retaining task-relevant information. The quality of this transformation directly affects what visual evidence remains available for later reasoning.

Robotic multimodal fusion extends beyond ordinary image and text inputs. A physical agent may simultaneously receive multiple camera views, depth, LiDAR, proprioception, joint states, localization estimates, task instructions, and observation history. These signals need not all be converted identically, but their representations must ultimately support a consistent interpretation of the robot, environment, task, and relevant physical relationships.

Spatial alignment becomes especially important when several sensors observe the same environment. Camera features may encode appearance, depth sensors provide distance, LiDAR describes geometric structure, and robot state specifies the configuration of the embodiment. Calibration, coordinate transformations, positional representations, and geometric fusion can complement learned semantic alignment. Without this physical consistency, semantically correct multimodal features may still refer to incompatible locations or frames.

Temporal alignment is similarly necessary for embodied systems because observations arrive continuously rather than as isolated samples. Visual frames, language instructions, robot states, and actions may correspond to different moments in time. A useful multimodal representation must preserve which events occurred before or after others and how actions changed observations. Temporal embeddings, history tokens, memory mechanisms, or video representations can provide context for interpreting these evolving relationships.

The desired fusion strategy also depends on the downstream task. Semantic scene description may tolerate compressed visual representations, whereas precise manipulation may require fine spatial features and detailed grounding. Navigation may benefit from persistent scene and geometric representations, while task planning may rely more heavily on high-level concepts and language context. Consequently, there is no single optimal fusion architecture for every robotic capability.

Efficiency becomes a major constraint when multimodal fusion is deployed on physical robots. Combining high-resolution vision, multiple sensors, long temporal histories, and large language models can produce excessive token counts and attention costs. Practical systems may reduce visual tokens, cache stable features, process modalities at different rates, use hierarchical fusion, or activate expensive reasoning only when required. Fusion design therefore affects both model capability and real-time feasibility.

Reliable alignment must also distinguish semantic compatibility from physical validity. A model may correctly associate the phrase "lift the box" with the appropriate object while lacking information about its weight, grasp stability, collision geometry, or actuator capacity. Robot foundation models therefore need multimodal representations that connect semantic alignment with geometry, state estimation, uncertainty, dynamics, and embodiment-specific constraints before high-level understanding can safely influence physical action.

Within the broader VLM architecture, multimodal alignment and fusion form the bridge between modality-specific encoders and integrated robot reasoning. Vision contributes perceptual evidence, language contributes semantic and task structure, and additional sensors contribute geometric and physical state. By aligning these representations and selectively fusing relevant information, the system can support grounding, spatial reasoning, affordance understanding, task interpretation, world modeling, planning, and later Vision-Language-Action models.

멀티모달 정렬(multimodal alignment)과 융합(fusion)은 로봇이 서로 다른 모달리티(modality), 특히 비전(vision)과 언어(language)를 통해 표현되는 정보를 일관된 표현(coherent representation) 안에서 연결할 수 있도록 한다. 이미지는 외형과 공간 구조(spatial structure)를 나타내는 반면, 언어는 개념(concept), 명령(instruction), 관계(relationship), 목표(goal)를 표현한다. 이러한 신호는 서로 다른 표현 공간(representational space)에서 생성되므로, 로봇 VLM은 의미 있는 멀티모달 추론(multimodal reasoning)을 수행하기 전에 서로 대응하는 정보를 상호 해석 가능하게 만드는 메커니즘을 필요로 한다.

정렬(alignment)은 서로 다른 모달리티에서 생성된 표현 사이의 대응 관계(correspondence)를 학습하는 것을 의미한다. 빨간 컵(red cup)을 나타내는 시각 특징(visual feature)은 "red cup"과 같은 언어 표현과 연결되어야 하며, 객체가 컨테이너 내부에 존재하는 것과 같은 시각적 관계는 적절한 관계 언어(relational language)와 대응해야 한다. 효과적인 정렬은 기본적인 감각 및 기호 입력(sensory and symbolic input)의 구조가 매우 다르더라도 모달리티 사이에서 의미적 유사성(semantic similarity)이 유지되도록 한다.

대규모 이미지-텍스트 사전학습(large-scale image-text pretraining)은 이러한 대응 관계를 학습하기 위한 공통 기반을 제공한다. 모델은 수많은 이미지와 텍스트 설명의 쌍 또는 약하게 연결된 데이터를 관찰하면서 특정 시각 패턴이 어떤 단어, 문구, 객체, 속성(attribute), 활동(activity), 장면(scene)과 대응하는지를 학습한다. 이 과정은 로봇 시스템이 로봇 특화 관측(robot-specific observation), 환경, 시점(viewpoint), 작업(task)에 적응하기 전에 재사용할 수 있는 전이 가능한 시각-의미 지식(transferable visual-semantic knowledge)을 형성한다.

대조 학습(contrastive learning)은 널리 사용되는 정렬 전략 가운데 하나이다. 시각 인코더(visual encoder)와 텍스트 인코더(textual encoder)가 임베딩(embedding)을 생성하면, 학습 과정은 서로 일치하는 이미지-텍스트 쌍의 표현을 더욱 유사하게 만들고 관련 없는 쌍은 서로 분리하도록 한다. 이렇게 형성된 임베딩 공간(embedding space)은 의미 검색(semantic retrieval)과 개방 어휘 인식(open-vocabulary recognition)을 지원한다. 로보틱스에서는 이러한 표현을 통해 가능한 모든 객체나 장면마다 전용 분류기(classifier)를 만들지 않고도 익숙하지 않은 관측을 언어 개념과 연결할 수 있다.

그러나 정렬(alignment)만으로는 완전한 멀티모달 상호작용(multimodal interaction)을 제공할 수 없다. 융합(fusion)은 표현과 추론 과정에서 여러 모달리티의 정보가 어떻게 결합되는지를 결정한다. 로봇은 단순히 이미지와 문장이 서로 관련되어 있는지를 판단하는 것을 넘어 어떤 시각 객체가 특정 문구와 대응하는지, 어떤 공간 관계가 명령을 만족하는지, 현재 작업과 관련된 장면 요소가 무엇인지 판단해야 할 수 있다. 융합 메커니즘은 이러한 세밀한 대응 관계를 형성하는 데 필요한 계산적 상호작용(computational interaction)을 제공한다.

초기 융합(early fusion)은 입력 표현과 비교적 가까운 단계에서 모달리티를 결합한다. 시각 토큰(visual token)과 언어 토큰(language token)을 호환 가능한 차원으로 투영한 다음 공유 트랜스포머 계층(shared Transformer layer)을 통해 함께 처리할 수 있다. 이러한 접근 방식은 멀티모달 처리 전반에 걸쳐 모달리티 사이의 광범위한 상호작용을 가능하게 한다. 그러나 고해상도 이미지, 다중 카메라 시점, 비디오 프레임, 긴 언어 컨텍스트가 많은 토큰을 생성하면 결합된 시퀀스(sequence)의 계산 비용이 크게 증가할 수 있다.

후기 융합(late fusion)은 모달리티별 처리를 보다 독립적으로 유지하고 상당한 수준의 시각 및 언어 인코딩이 수행된 이후에 표현을 결합한다. 이러한 설계는 강력한 사전학습 비전 및 언어 백본(pretrained vision and language backbone)을 유지하면서 공동 처리 비용을 줄일 수 있다. 그러나 세부적인 교차 모달 상호작용(cross-modal interaction)이 상대적으로 늦게 발생하기 때문에 단어와 특정 시각 영역 사이의 정밀한 관계가 필요한 작업에서는 세밀한 그라운딩(fine-grained grounding)이 제한될 가능성이 있다.

중간 융합(intermediate fusion)은 각 모달리티가 먼저 독립적으로 유용한 표현을 형성한 뒤 선택된 계층에서 정보를 교환하도록 하여 절충점을 제공한다. 투영 모듈(projection module), 멀티모달 어댑터(multimodal adapter), 교차 어텐션 블록(cross-attention block), 특수 융합 토큰(specialized fusion token)을 이용하여 각 정보 흐름을 연결할 수 있다. 이러한 아키텍처는 사전학습된 구성 요소를 재사용하면서 일반적인 비전-언어 지식을 신체화된 작업(embodied task)에 적응시키는 학습 가능한 인터페이스(trainable interface)를 도입할 수 있어 로봇 파운데이션 모델(robot foundation model)에 유용하다.

교차 어텐션(cross-attention)은 언어 그라운딩 기반 로봇 지각(language-grounded robotic perception)에 특히 유용하다. 텍스트 질의(textual query)는 모든 시각 영역을 동일하게 처리하는 대신 관련 증거를 포함한 시각 토큰에 선택적으로 주의를 기울일 수 있다. "파란 상자 뒤에 있는 병을 집어라(pick up the bottle behind the blue box)"와 같은 명령에서는 어텐션이 객체를 나타내는 단어와 관계 표현을 관측 장면의 해당 영역과 연결해야 한다. 이를 통해 언어는 일반적인 설명에서 상황 의존적인 지각 질의(context-dependent perceptual query)로 변환된다.

토큰 투영(token projection)은 시각 인코더와 언어 인코더가 서로 다른 차원이나 통계적 특성(statistical property)의 표현을 생성할 때 필요하다. 학습된 투영 계층(learned projection layer)은 시각 특징을 멀티모달 모델이나 언어 모델이 요구하는 임베딩 공간으로 변환할 수 있다. 보다 표현력이 높은 어댑터(adapter)는 다수의 시각 토큰을 더 적은 수의 멀티모달 토큰으로 압축하여 작업 관련 정보를 유지하면서 계산 부하를 줄일 수 있다. 이러한 변환의 품질은 이후 추론 과정에서 사용할 수 있는 시각적 증거가 얼마나 보존되는지에 직접적인 영향을 준다.

로봇의 멀티모달 융합(multimodal fusion)은 일반적인 이미지와 텍스트 입력을 넘어선다. 물리 에이전트(physical agent)는 여러 카메라 시점, 깊이(depth), 라이다(LiDAR), 고유수용감각(proprioception), 관절 상태(joint state), 위치 추정값(localization estimate), 작업 명령, 관측 이력(observation history)을 동시에 수신할 수 있다. 이러한 신호를 모두 동일한 방식으로 변환할 필요는 없지만, 최종적인 표현은 로봇, 환경, 작업 및 관련 물리적 관계를 일관되게 해석할 수 있도록 지원해야 한다.

여러 센서가 동일한 환경을 관측하는 경우에는 공간 정렬(spatial alignment)이 특히 중요하다. 카메라 특징은 외형을 인코딩하고, 깊이 센서는 거리 정보를 제공하며, 라이다는 기하학적 구조(geometric structure)를 표현하고, 로봇 상태는 신체 구조(embodiment)의 구성을 나타낸다. 캘리브레이션(calibration), 좌표 변환(coordinate transformation), 위치 표현(positional representation), 기하학적 융합(geometric fusion)은 학습된 의미 정렬(semantic alignment)을 보완할 수 있다. 이러한 물리적 일관성이 없으면 의미적으로 올바른 멀티모달 특징이라도 서로 호환되지 않는 위치나 좌표계(frame)를 참조할 수 있다.

신체화 시스템(embodied system)에서는 관측이 독립적인 샘플이 아니라 연속적으로 입력되므로 시간 정렬(temporal alignment)도 필요하다. 시각 프레임, 언어 명령, 로봇 상태, 행동(action)은 서로 다른 시점에 대응할 수 있다. 유용한 멀티모달 표현은 어떤 사건이 다른 사건보다 먼저 또는 나중에 발생했는지와 행동이 관측을 어떻게 변화시켰는지를 보존해야 한다. 시간 임베딩(temporal embedding), 이력 토큰(history token), 메모리 메커니즘(memory mechanism), 비디오 표현(video representation)은 이러한 변화하는 관계를 해석하기 위한 맥락을 제공할 수 있다.

필요한 융합 전략(fusion strategy)은 다운스트림 작업(downstream task)에 따라서도 달라진다. 의미적 장면 설명(semantic scene description)은 압축된 시각 표현으로도 충분할 수 있지만 정밀 조작(precise manipulation)은 세밀한 공간 특징과 정교한 그라운딩을 필요로 할 수 있다. 내비게이션(navigation)은 지속적인 장면 및 기하학적 표현의 이점을 얻을 수 있는 반면, 작업 계획(task planning)은 상위 수준의 개념과 언어 맥락에 더 크게 의존할 수 있다. 따라서 모든 로봇 기능에 최적인 하나의 융합 아키텍처가 존재한다고 볼 수는 없다.

멀티모달 융합을 물리적 로봇에 배포할 때 효율성(efficiency)은 주요 제약 조건이 된다. 고해상도 비전, 다중 센서, 긴 시간 이력, 대형 언어 모델을 결합하면 토큰 수와 어텐션 계산 비용이 지나치게 증가할 수 있다. 실제 시스템에서는 시각 토큰을 줄이거나, 안정적인 특징을 캐싱(caching)하거나, 모달리티별로 서로 다른 주기로 처리하거나, 계층적 융합(hierarchical fusion)을 사용하거나, 필요한 경우에만 고비용 추론을 활성화할 수 있다. 따라서 융합 설계는 모델의 능력뿐 아니라 실시간 실행 가능성(real-time feasibility)에도 직접적인 영향을 미친다.

신뢰할 수 있는 정렬(reliable alignment)은 의미적 호환성(semantic compatibility)과 물리적 유효성(physical validity)을 구분해야 한다. 모델은 "상자를 들어 올려라(lift the box)"라는 문구를 적절한 객체와 정확하게 연결하면서도 그 객체의 무게, 파지 안정성(grasp stability), 충돌 기하학(collision geometry), 액추에이터 용량(actuator capacity)에 대한 정보를 갖지 못할 수 있다. 따라서 로봇 파운데이션 모델은 상위 수준의 이해가 물리적 행동에 안전하게 영향을 미치기 전에 의미 정렬을 기하학, 상태 추정(state estimation), 불확실성(uncertainty), 동역학(dynamics), 신체 구조 특화 제약(embodiment-specific constraint)과 연결하는 멀티모달 표현을 필요로 한다.

더 넓은 VLM 아키텍처에서 멀티모달 정렬(multimodal alignment)과 융합(fusion)은 모달리티별 인코더(modality-specific encoder)와 통합된 로봇 추론(integrated robot reasoning)을 연결하는 가교를 형성한다. 비전은 지각적 증거(perceptual evidence)를 제공하고, 언어는 의미 및 작업 구조(semantic and task structure)를 제공하며, 추가 센서는 기하학 및 물리적 상태(physical state)를 제공한다. 이러한 표현을 정렬하고 관련 정보를 선택적으로 융합함으로써 시스템은 그라운딩(grounding), 공간 추론(spatial reasoning), 어포던스 이해(affordance understanding), 작업 해석(task interpretation), 월드 모델링(world modeling), 계획(planning), 그리고 이후의 비전-언어-행동 모델(Vision-Language-Action Model, VLA)을 지원할 수 있다.

03.04. Image and Video Understanding for Robots

Image and video understanding allows robots to transform raw camera observations into structured information about objects, scenes, activities, and changes in the physical environment. Image understanding focuses primarily on the content of individual visual observations, whereas video understanding adds temporal relationships across multiple frames. For embodied systems, both are essential because robots must interpret not only what exists around them but also how the environment evolves over time.

An individual image contains multiple levels of information relevant to robotic intelligence. Low-level visual patterns describe color, texture, edges, and shape, while higher-level representations encode objects, attributes, semantic categories, spatial relationships, and scene context. Modern vision encoders learn hierarchical or token-based representations that allow robot foundation models to move from raw pixels toward semantic descriptions that can subsequently interact with language and task information.

Object understanding is a fundamental component of robotic vision because physical tasks usually refer to entities in the environment. A robot may need to identify tools, containers, furniture, people, obstacles, landmarks, or manipulation targets. Foundation-model-based perception extends conventional closed-set recognition toward open-vocabulary understanding, allowing visual observations to be related to flexible language concepts rather than only categories explicitly defined during task-specific training.

Scene understanding provides context beyond individual objects. The same object can imply different actions depending on whether it appears in a kitchen, warehouse, laboratory, road, or industrial workspace. Visual representations can capture global scene characteristics together with local entities, helping a robot infer where it is, what types of activities are likely, and which objects or regions may be relevant to the current instruction. Such context supports more coherent task interpretation and planning.

Robots also require spatial understanding because semantic recognition alone does not determine where objects are located or how they relate physically. Visual models can estimate relationships such as left, right, above, behind, inside, near, or overlapping, while depth and geometric sensors can provide stronger metric constraints. Combining semantic image understanding with geometry helps transform descriptions of a scene into representations useful for navigation, manipulation, and interaction.

Image understanding becomes especially valuable when conditioned by language. Instead of analyzing every visible element with equal importance, a robot can use a...