STATERA Library · Series 09 · Volume 08 · Chapter 00 · EN
Source: https://github.com/Statera-Library/09_Vol_08_Robot_Foundation_Models_and_VLA/blob/main/Chapter_00_Introduction/Chapter_00_Introduction_EN.md

Volume 08. Robot Foundation Models and VLA

Chapter 00. Introduction

00.01. Why Robotics Needs Foundation Models

Robotics has traditionally been developed through task-specific engineering, where each robot is designed around a relatively narrow set of environments, objects, behaviors, and operating assumptions. A navigation robot, industrial manipulator, warehouse system, or humanoid platform may therefore require a separate perception stack, planner, controller, and learning pipeline. This specialization can produce reliable systems, but it also makes development expensive and limits the ability to reuse knowledge across tasks, environments, and robot embodiments.

The physical world is considerably more diverse than the assumptions encoded in conventional robotic systems. Objects vary in shape, material, position, and physical properties, while environments change continuously because of lighting, weather, people, obstacles, and unexpected events. A robot operating in such conditions cannot depend entirely on manually enumerated rules or narrowly trained models. It needs representations that capture reusable knowledge about objects, scenes, actions, spatial relationships, temporal context, and the consequences of interaction with the physical environment.

Foundation models provide a potential mechanism for building this reusable layer of intelligence. Rather than training a completely independent model for every downstream task, a large model can first learn general representations from diverse data and then be adapted to particular tasks or embodiments. In robotics, this principle extends beyond conventional image or language understanding because the model must connect observations to physical actions. Robot observations, instructions, actions, task objectives, and environmental context therefore become parts of a common learning problem.

The need for foundation models becomes especially clear when considering the diversity of robot data. A robot may receive images and video from cameras, geometric information from depth sensors or LiDAR, proprioceptive measurements from joints and actuators, language instructions from humans, and action trajectories generated through teleoperation or autonomous control. These modalities contain complementary information about the same physical situation. A foundation model can provide a shared representation in which visual, linguistic, geometric, temporal, and action-related information can be aligned rather than treated as completely independent subsystems.

Another important limitation of conventional robotics is the difficulty of transferring knowledge between tasks and environments. A model trained to manipulate one object may have limited ability to manipulate another object with a different shape or material. A navigation policy developed in one facility may degrade when deployed in another environment. Foundation-model approaches seek to learn more general representations from multi-task and multi-environment data so that knowledge acquired from one situation can contribute to performance in another. Generalization and adaptation consequently become central objectives rather than secondary capabilities.

This shift also changes the role of robot learning. Instead of viewing learning as a final optimization step applied to an already designed robotic system, learning can become a central mechanism for constructing general-purpose capabilities. Large-scale pretraining can provide broad perceptual and semantic knowledge, while downstream adaptation can specialize the model for a particular robot, environment, or task. Fine-tuning, parameter-efficient adaptation, imitation learning, reinforcement learning, and continual adaptation can then form successive stages between general knowledge and reliable physical behavior.

Foundation models are particularly important because robotics requires more than perception. A vision model may recognize a cup, but a useful robot must understand whether the cup can be grasped, where its handle is located, whether another object blocks the approach, how its motion should be coordinated with the arm, and what action should follow if the grasp fails. This creates a progression from vision-language understanding toward vision-language-action modeling. The central problem becomes the integration of observation, instruction, reasoning, and action within a system that can operate in a physical feedback loop.

World knowledge and physical knowledge must also be distinguished and connected. A foundation model may know from broad data that a glass is fragile or that a door can be opened, but a robot must additionally understand the specific geometry, contact conditions, dynamics, and affordances present in its current environment. Robot foundation models therefore need representations that connect abstract semantic knowledge with embodied experience. This connection is essential for transforming general information into behavior that is physically meaningful and executable.

The emergence of generalist robot policies follows naturally from this direction. Instead of maintaining one policy for every task, a generalist policy can condition behavior on observations, instructions, goals, task context, and robot state. Such a policy may learn common behavioral structures across multiple tasks and environments while retaining embodiment-specific components where necessary. The objective is not simply to make one robot perform more tasks, but to establish a reusable policy foundation that can be adapted across different robots and operating conditions.

Cross-embodiment transfer further strengthens the motivation for foundation models. Robots differ substantially in morphology, kinematics, sensor configurations, actuator capabilities, and action spaces. A useful foundation model therefore cannot assume that every robot has the same physical interface. Instead, shared perceptual and semantic representations can be combined with embodiment-conditioned representations that describe morphology, kinematics, and available actions. This creates a pathway toward transferring knowledge from one robot to another without requiring complete retraining from scratch.

The scaling principle is another fundamental motivation. Robotics data are expensive because physical interaction requires hardware, time, safety supervision, and controlled environments. However, robots can also generate large quantities of multimodal experience through autonomous operation, teleoperation, simulation, and fleet-scale deployment. If these data can be combined with appropriate representations and training methods, larger and more diverse datasets may support increasingly general models. The resulting data engine can create a feedback loop in which deployment produces experience, experience improves the model, and the improved model enables broader deployment.

Foundation models do not eliminate the engineering requirements of robotics. Real robots still face strict constraints on latency, compute, memory, power, thermal behavior, communication, safety, and reliability. Large models that perform well in an offline environment may be unsuitable for direct real-time control. Consequently, robot foundation models must be integrated with specialized perception, planning, control, safety monitoring, and fallback mechanisms. Edge deployment, model compression, quantization, efficient inference, and adaptive model partitioning become essential for converting foundation-model capability into dependable physical autonomy.

The resulting architecture is therefore better understood as a layered intelligence system rather than a single model replacing the entire robot software stack. Foundation models can provide general representations, semantic understanding, task reasoning, and policy priors, while world models can represent and predict physical states and future outcomes. Specialized controllers can translate high-level decisions into real-time actuator commands, and safety mechanisms can constrain or override learned behavior when necessary. This combination provides a path from general learned knowledge to controlled physical action.

The broader significance is that foundation models can change robotics from a collection of isolated, task-specific systems toward a more reusable intelligence platform. The progression is from specialist models toward general representations, from separate perception and action pipelines toward multimodal integration, from single-task learning toward multi-task learning, and from robot-specific training toward adaptation and cross-embodiment transfer. Vision-language-action models, generalist policies, world models, and large-scale robot pretraining consequently become interconnected components of a common strategy for building more capable Physical AI systems.

로보틱스(Robotics)는 전통적으로 작업별 엔지니어링(task-specific engineering)을 중심으로 개발되어 왔으며, 각 로봇은 비교적 제한된 환경, 객체, 행동 및 운용 가정을 기반으로 설계되어 왔습니다. 따라서 내비게이션 로봇(navigation robot), 산업용 매니퓰레이터(industrial manipulator), 물류 로봇(warehouse system), 휴머노이드 플랫폼(humanoid platform) 등은 서로 다른 인식 스택(perception stack), 플래너(planner), 제어기(controller), 학습 파이프라인(learning pipeline)을 필요로 할 수 있습니다. 이러한 전문화는 높은 신뢰성을 제공할 수 있지만, 개발 비용을 증가시키고 서로 다른 작업, 환경 및 로봇 형태 사이에서 지식을 재사용하는 능력을 제한합니다.

물리적 세계(physical world)는 기존 로봇 시스템에 내재된 가정보다 훨씬 다양합니다. 객체는 형태, 재질, 위치 및 물리적 특성이 서로 다르며, 환경은 조명, 날씨, 사람, 장애물 및 예기치 않은 사건에 의해 지속적으로 변화합니다. 이러한 환경에서 작동하는 로봇은 미리 정의된 규칙이나 좁은 범위에서 학습된 모델에만 의존할 수 없습니다. 로봇은 객체, 장면, 행동, 공간적 관계, 시간적 맥락 및 물리적 환경과의 상호작용 결과에 관한 재사용 가능한 지식을 포괄하는 표현(representation)을 필요로 합니다.

파운데이션 모델(foundation model)은 이러한 재사용 가능한 지능 계층을 구축하기 위한 하나의 잠재적인 방법을 제공합니다. 각각의 다운스트림 작업(downstream task)에 대해 완전히 독립적인 모델을 학습하는 대신, 대규모 모델이 먼저 다양한 데이터로부터 일반적인 표현을 학습하고 이후 특정 작업이나 로봇 형태에 맞게 적응될 수 있습니다. 로보틱스에서 이러한 원리는 기존의 이미지 또는 언어 이해를 넘어섭니다. 모델은 관측(observation)을 물리적 행동(physical action)과 연결해야 하기 때문입니다. 따라서 로봇의 관측, 명령, 행동, 작업 목표 및 환경적 맥락은 하나의 공통된 학습 문제의 구성요소가 됩니다.

파운데이션 모델의 필요성은 로봇 데이터의 다양성을 살펴보면 더욱 분명해집니다. 로봇은 카메라로부터 이미지와 비디오를 받고, 깊이 센서(depth sensor)나 LiDAR로부터 기하학적 정보를 얻으며, 관절과 액추에이터로부터 고유수용감각(proprioception) 정보를 받고, 사람으로부터 언어 명령을 받으며, 원격조작(teleoperation)이나 자율 제어를 통해 생성된 행동 궤적(action trajectory)을 사용할 수 있습니다. 이러한 여러 모달리티(modality)는 동일한 물리적 상황에 대한 상호 보완적인 정보를 포함합니다. 파운데이션 모델은 시각, 언어, 기하학, 시간 및 행동 관련 정보를 완전히 독립적인 하위 시스템으로 처리하는 대신, 이들을 하나의 공유 표현(shared representation) 안에서 정렬할 수 있는 기반을 제공합니다.

기존 로보틱스의 또 다른 중요한 한계는 작업과 환경 사이에서 지식을 전달하는 것이 어렵다는 점입니다. 하나의 객체를 조작하도록 학습된 모델은 형태나 재질이 다른 다른 객체를 조작하는 데 제한적인 능력만 가질 수 있습니다. 특정 시설에서 개발된 내비게이션 정책(navigation policy)은 다른 환경에 배치될 경우 성능이 저하될 수 있습니다. 파운데이션 모델 접근법은 다중 작업 및 다중 환경 데이터(multi-task and multi-environment data)로부터 보다 일반적인 표현을 학습하여, 한 상황에서 습득한 지식이 다른 상황에서도 활용될 수 있도록 하는 것을 목표로 합니다. 따라서 일반화(generalization)와 적응(adaptation)은 부차적인 기능이 아니라 핵심적인 목표가 됩니다.

이러한 변화는 로봇 학습(robot learning)의 역할 자체도 변화시킵니다. 학습을 이미 설계된 로봇 시스템에 적용하는 최종적인 최적화 단계로 보는 대신, 학습을 범용적인 능력을 구축하는 핵심 메커니즘으로 볼 수 있습니다. 대규모 사전학습(large-scale pretraining)은 광범위한 지각 및 의미적 지식을 제공할 수 있으며, 다운스트림 적응(downstream adaptation)은 모델을 특정 로봇, 환경 또는 작업에 맞게 특화할 수 있습니다. 이후 미세조정(fine-tuning), 매개변수 효율적 적응(parameter-efficient adaptation), 모방학습(imitation learning), 강화학습(reinforcement learning), 지속적 적응(continual adaptation)이 일반적인 지식과 신뢰할 수 있는 물리적 행동 사이를 연결하는 연속적인 단계가 될 수 있습니다.

파운데이션 모델은 로보틱스가 인식만을 필요로 하는 것이 아니기 때문에 특히 중요합니다. 비전 모델(vision model)은 컵을 인식할 수 있지만, 유용한 로봇은 그 컵을 잡을 수 있는지, 손잡이가 어디에 있는지, 다른 객체가 접근 경로를 막고 있는지, 팔의 움직임을 어떻게 조정해야 하는지, 그리고 그립(grasp)이 실패할 경우 어떤 행동을 수행해야 하는지를 추가적으로 이해해야 합니다. 따라서 문제는 비전-언어 이해(vision-language understanding)에서 비전-언어-행동 모델링(vision-language-action modeling)으로 확장됩니다. 핵심 문제는 물리적 피드백 루프(physical feedback loop) 안에서 관측, 명령, 추론 및 행동을 하나의 시스템으로 통합하는 것이 됩니다.

세계 지식(world knowledge)과 물리적 지식(physical knowledge)은 또한 구분하면서 연결해야 합니다. 파운데이션 모델은 광범위한 데이터로부터 유리잔이 깨지기 쉽다거나 문을 열 수 있다는 사실을 알고 있을 수 있지만, 로봇은 현재 환경에 존재하는 구체적인 형상, 접촉 조건, 동역학 및 어포던스(affordance)를 추가적으로 이해해야 합니다. 따라서 로봇 파운데이션 모델(robot foundation model)은 추상적인 의미 지식과 체화된 경험(embodied experience)을 연결하는 표현을 필요로 합니다. 이러한 연결은 일반적인 정보를 물리적으로 의미 있고 실제로 실행 가능한 행동으로 변환하는 데 필수적입니다.

범용 로봇 정책(generalist robot policy)의 등장은 이러한 방향에서 자연스럽게 이어집니다. 각 작업마다 하나의 정책을 유지하는 대신, 범용 정책은 관측, 명령, 목표, 작업 맥락 및 로봇 상태를 조건으로 행동을 생성할 수 있습니다. 이러한 정책은 여러 작업과 환경에서 공통적인 행동 구조를 학습하면서도, 필요한 경우 로봇 형태에 특화된 구성요소(embodiment-specific component)를 유지할 수 있습니다. 목표는 단순히 하나의 로봇이 더 많은 작업을 수행하도록 만드는 것이 아니라, 서로 다른 로봇과 운용 조건에 맞게 재사용할 수 있는 정책 기반(policy foundation)을 구축하는 것입니다.

교차 체화 전달(cross-embodiment transfer)은 파운데이션 모델의 필요성을 더욱 강화합니다. 로봇은 형태(morphology), 운동학(kinematics), 센서 구성, 액추에이터 능력 및 행동 공간(action space)에서 상당한 차이를 보입니다. 따라서 유용한 파운데이션 모델은 모든 로봇이 동일한 물리적 인터페이스를 갖는다고 가정할 수 없습니다. 대신 공유된 지각 및 의미 표현(shared perceptual and semantic representation)을 형태, 운동학 및 사용 가능한 행동을 설명하는 체화 조건 표현(embodiment-conditioned representation)과 결합할 수 있습니다. 이를 통해 완전히 처음부터 재학습하지 않고도 하나의 로봇에서 다른 로봇으로 지식을 전달할 수 있는 경로가 만들어집니다.

스케일링 원리(scaling principle) 역시 중요한 동기가 됩니다. 로봇 데이터는 실제 물리적 상호작용에 하드웨어, 시간, 안전 감독 및 통제된 환경이 필요하기 때문에 수집 비용이 높습니다. 그러나 로봇은 자율 운용, 원격조작, 시뮬레이션 및 플릿 규모 배치(fleet-scale deployment)를 통해 대량의 멀티모달 경험(multimodal experience)을 생성할 수도 있습니다. 이러한 데이터를 적절한 표현 및 학습 방법과 결합할 수 있다면, 더 크고 다양한 데이터셋이 점점 더 일반적인 모델의 학습을 지원할 수 있습니다. 결과적으로 데이터 엔진(data engine)은 배치가 경험을 생성하고, 경험이 모델을 개선하며, 개선된 모델이 더욱 광범위한 배치를 가능하게 하는 피드백 루프를 형성할 수 있습니다.

파운데이션 모델이 로보틱스의 엔지니어링 요구사항을 없애는 것은 아닙니다. 실제 로봇은 여전히 지연시간(latency), 연산량(compute), 메모리, 전력, 열 거동(thermal behavior), 통신, 안전 및 신뢰성에 대한 엄격한 제약을 받습니다. 오프라인 환경에서 높은 성능을 보이는 대규모 모델이 직접적인 실시간 제어에 적합하지 않을 수도 있습니다. 따라서 로봇 파운데이션 모델은 특화된 인식, 계획, 제어, 안전 모니터링 및 폴백 메커니즘(fallback mechanism)과 통합되어야 합니다. 엣지 배포(edge deployment), 모델 압축(model compression), 양자화(quantization), 효율적인 추론(efficient inference), 적응형 모델 분할(adaptive model partitioning)은 파운데이션 모델의 능력을 신뢰할 수 있는 물리적 자율성으로 전환하기 위한 필수 요소가 됩니다.

따라서 결과적인 아키텍처는 전체 로봇 소프트웨어 스택을 하나의 모델이 대체하는 구조라기보다 계층형 지능 시스템(layered intelligence system)으로 이해하는 것이 적절합니다. 파운데이션 모델은 일반적인 표현, 의미적 이해, 작업 추론 및 정책 사전지식(policy prior)을 제공할 수 있으며, 월드 모델(world model)은 물리적 상태와 미래 결과를 표현하고 예측할 수 있습니다. 특화된 제어기(specialized controller)는 상위 수준의 결정을 실시간 액추에이터 명령으로 변환하고, 안전 메커니즘(safety mechanism)은 필요한 경우 학습된 행동을 제한하거나 재정의할 수 있습니다. 이러한 조합은 일반적인 학습 지식에서 통제된 물리적 행동으로 이어지는 경로를 제공합니다.

더 넓은 관점에서 파운데이션 모델은 로보틱스를 서로 고립된 작업별 시스템의 집합에서 보다 재사용 가능한 지능 플랫폼으로 변화시킬 수 있습니다. 이러한 발전은 전문 모델(specialist model)에서 일반 표현(general representation)으로, 분리된 인식 및 행동 파이프라인에서 멀티모달 통합(multimodal integration)으로, 단일 작업 학습에서 다중 작업 학습(multi-task learning)으로, 로봇별 학습에서 적응 및 교차 체화 전달로 이어지는 흐름으로 이해할 수 있습니다. 따라서 비전-언어-행동 모델(vision-language-action model), 범용 정책(generalist policy), 월드 모델(world model) 및 대규모 로봇 사전학습(large-scale robot pretraining)은 더욱 강력한 물리적 AI(Physical AI) 시스템을 구축하기 위한 하나의 공통 전략을 구성하는 상호 연결된 요소가 됩니다.

00.02. From Specialist Robots to Generalist Agents

Traditional robotics has largely evolved around specialist robots, in which a particular platform is optimized for a defined task, environment, and operating condition. An industrial manipulator may be engineered for assembly, a mobile robot for warehouse navigation, and a humanoid for a limited collection of manipulation behaviors. This approach can achieve high performance within a controlled domain, but each new task or environment often requires substantial engineering, data collection, testing, and model development. The result is a fragmented robotics ecosystem in which capabilities are difficult to reuse across systems.

The specialist paradigm assumes that the task can be sufficiently specified in advance. Perception is designed to recognize relevant objects, planning is constructed around known goals, and control is tuned to the physical characteristics of a particular robot. When the environment changes significantly, however, these assumptions begin to fail. New objects, unexpected obstacles, unfamiliar layouts, different lighting conditions, human behavior, and previously unseen task combinations can expose limitations that were not represented during development. General-purpose physical agents therefore require a fundamentally broader form of intelligence than isolated task-specific policies.

The transition toward generalist agents begins by changing the unit of learning from an individual task to a reusable capability. Instead of learning only how to perform one predefined behavior, a generalist system seeks representations that can support many tasks, objects, environments, and situations. The same learned knowledge may contribute to navigation, manipulation, interaction, or planning depending on the current observation, instruction, goal, and context. This does not mean that every robot must use an identical policy. Rather, it means that a common foundation can provide transferable knowledge while specialized components adapt that knowledge to particular physical systems.

A key requirement for this transition is multi-task and multi-environment learning. Generalist robots must encounter sufficient diversity during training to avoid simply memorizing narrow correlations between observations and actions. Robot datasets can therefore contain demonstrations, trajectories, sensor observations, language instructions, robot states, and action sequences collected from different tasks and platforms. Simulation and synthetic experience can further expand this diversity. The objective is to learn representations that remain useful when the robot encounters combinations of tasks, objects, environments, and conditions that were not explicitly present during training.

Multimodal learning becomes central because generalist behavior cannot be derived from a single information source. A robot must combine visual observations with language instructions, proprioceptive state, geometric information, temporal history, and action experience. A command such as "move the object to the table" is meaningful only when the system can connect language with the objects, spatial relationships, available actions, and current robot state. Vision-language models provide an important foundation for semantic understanding, while vision-language-action models extend this connection toward executable behavior by mapping multimodal context into actions or action sequences.

The concept of a generalist robot policy consequently differs from a collection of independent specialist policies. A specialist policy may map a narrow observation space directly to actions for one task, whereas a generalist policy can be conditioned on observations, instructions, goals, context, and robot state. It can select or generate different behaviors according to the current situation. Hierarchical policies and skill-based representations can further organize complex behavior into reusable components, allowing a system to combine learned skills into longer-horizon tasks rather than requiring every complete task to be learned independently.

World models provide another important component of generalist intelligence because acting successfully requires predicting what may happen after an action. A robot should not merely react to the current observation; it should estimate future states, environmental dynamics, object interactions, and possible outcomes. A world model can provide an internal predictive representation that supports imagination, candidate action evaluation, and planning. The combination of a world model with a generalist policy therefore creates a stronger architecture in which the system can observe, understand, predict, select an action, execute it, and use the resulting observation to update its behavior.

Generalization must also extend beyond tasks and environments to different robot embodiments. Wheeled robots, mobile manipulators, quadrupeds, humanoids, and industrial manipulators have different sensors, kinematics, action spaces, and physical capabilities. A generalist agent therefore needs a mechanism for separating transferable knowledge from embodiment-specific execution. Shared perceptual and semantic representations can capture concepts that are common across robots, while embodiment-conditioned representations or lightweight adapters can translate general intentions into robot-specific actions. This creates a pathway from specialist hardware to increasingly general intelligence.

The transition also changes the economics of robot development. Under a specialist model, every new application can require a new data collection and engineering cycle. Under a foundation-model approach, large-scale pretraining creates a reusable base model, after which adaptation can require substantially less task- or robot-specific data. Fine-tuning, parameter-efficient adaptation, imitation learning, reinforcement learning, and few-shot adaptation can specialize the general model. Deployment then becomes part of a continuing data engine in which robots collect new experiences, those experiences improve the model, and the improved model supports additional tasks and environments.

Generalist agents nevertheless do not eliminate specialization. Physical robots still require reliable localization, mapping, motion planning, low-level control, actuator management, safety supervision, power management, and hardware-specific interfaces. Real-time latency, compute and memory limits, power and thermal constraints, communication limitations, and functional safety requirements also restrict how large models can be deployed. The practical architecture is therefore likely to combine a generalist foundation model with specialized execution layers. General intelligence operates above, around, and together with these deterministic and safety-critical components rather than simply replacing them.

The broader transition can therefore be understood as a movement from isolated task intelligence toward reusable physical intelligence. Specialist robots remain valuable where environments and tasks are stable and performance requirements are tightly defined, but generalist agents aim to operate across greater diversity while continuously adapting through experience. Robot foundation models, multimodal representations, world models, generalist policies, cross-embodiment transfer, and closed-loop learning form complementary elements of this transition. The long-term objective is not merely a robot that performs many predefined tasks, but an agent that can understand new situations, transfer existing knowledge, reason about possible actions, adapt to unfamiliar conditions, and improve through continued interaction with the physical world.

전통적인 로보틱스(Traditional Robotics)는 특정 작업, 환경 및 운용 조건에 맞게 특정 플랫폼을 최적화하는 전문 로봇(specialist robot)을 중심으로 발전해 왔습니다. 산업용 매니퓰레이터(industrial manipulator)는 조립을 위해, 이동 로봇(mobile robot)은 창고 내비게이션을 위해, 휴머노이드(humanoid)는 제한된 범위의 조작 행동을 위해 설계될 수 있습니다. 이러한 접근은 통제된 영역에서 높은 성능을 달성할 수 있지만, 새로운 작업이나 환경이 추가될 때마다 상당한 엔지니어링, 데이터 수집, 시험 및 모델 개발이 필요합니다. 그 결과 시스템 간에 능력을 재사용하기 어려운 파편화된 로보틱스 생태계가 형성됩니다.

전문 로봇 패러다임(specialist paradigm)은 작업을 사전에 충분히 정의할 수 있다고 가정합니다. 인식(perception)은 관련 객체를 식별하도록 설계되고, 계획(planning)은 알려진 목표를 중심으로 구성되며, 제어(control)는 특정 로봇의 물리적 특성에 맞게 조정됩니다. 그러나 환경이 크게 변화하면 이러한 가정은 한계에 도달하기 시작합니다. 새로운 객체, 예상하지 못한 장애물, 익숙하지 않은 공간 배치, 서로 다른 조명 조건, 인간의 행동 및 이전에 경험하지 못한 작업 조합은 개발 과정에서 고려되지 않았던 한계를 드러낼 수 있습니다. 따라서 범용 물리 에이전트(general-purpose physical agent)는 고립된 작업별 정책(task-specific policy)보다 근본적으로 더 폭넓은 형태의 지능을 필요로 합니다.

범용 에이전트(generalist agent)로의 전환은 학습의 단위를 개별 작업에서 재사용 가능한 능력(reusable capability)으로 변화시키는 것에서 시작됩니다. 미리 정의된 하나의 행동만 수행하는 방법을 학습하는 대신, 범용 시스템은 다양한 작업, 객체, 환경 및 상황을 지원할 수 있는 표현(representation)을 학습하는 것을 목표로 합니다. 동일하게 학습된 지식이 현재의 관측(observation), 명령(instruction), 목표(goal) 및 맥락(context)에 따라 내비게이션, 조작, 상호작용 또는 계획에 활용될 수 있습니다. 이것은 모든 로봇이 동일한 정책(policy)을 사용해야 한다는 의미는 아닙니다. 오히려 공통된 기반(foundation)이 전이 가능한 지식(transferable knowledge)을 제공하고, 특화된 구성요소가 그 지식을 특정 물리 시스템에 맞게 조정한다는 의미입니다.

이러한 전환을 위한 핵심 요구사항은 다중 작업 및 다중 환경 학습(multi-task and multi-environment learning)입니다. 범용 로봇은 학습 과정에서 충분한 다양성을 경험해야 하며, 그렇지 않으면 관측과 행동 사이의 좁은 상관관계를 단순히 암기하는 데 그칠 수 있습니다. 따라서 로봇 데이터셋은 서로 다른 작업과 플랫폼에서 수집된 시연(demonstration), 궤적(trajectory), 센서 관측(sensor observation), 언어 명령(language instruction), 로봇 상태(robot state) 및 행동 시퀀스(action sequence)를 포함할 수 있습니다. 시뮬레이션(simulation)과 합성 경험(synthetic experience)은 이러한 다양성을 더욱 확장할 수 있습니다. 목표는 학습 과정에서 명시적으로 경험하지 않았던 작업, 객체, 환경 및 조건의 조합을 로봇이 만났을 때에도 유용하게 유지되는 표현을 학습하는 것입니다.

멀티모달 학습(multimodal learning)은 범용 행동이 하나의 정보원만으로 만들어질 수 없기 때문에 핵심적인 역할을 합니다. 로봇은 시각적 관측(visual observation)을 언어 명령(language instruction), 고유수용감각 상태(proprioceptive state), 기하학적 정보(geometric information), 시간적 이력(temporal history) 및 행동 경험(action experience)과 결합해야 합니다. 예를 들어 "물체를 테이블로 옮겨라"라는 명령은 시스템이 객체, 공간적 관계, 가능한 행동 및 현재 로봇 상태와 언어를 연결할 수 있을 때에만 의미를 가집니다. 비전-언어 모델(vision-language model)은 의미적 이해를 위한 중요한 기반을 제공하며, 비전-언어-행동 모델(vision-language-action model)은 멀티모달 맥락을 행동 또는 행동 시퀀스로 연결함으로써 이러한 관계를 실행 가능한 행동으로 확장합니다.

따라서 범용 로봇 정책(generalist robot policy)의 개념은 서로 독립적인 전문 정책(specialist policy)의 집합과 다릅니다. 전문 정책은 하나의 작업을 위해 제한된 관측 공간을 직접 행동으로 매핑할 수 있지만, 범용 정책은 관측, 명령, 목표, 맥락 및 로봇 상태를 조건으로 행동을 생성할 수 있습니다. 현재 상황에 따라 서로 다른 행동을 선택하거나 생성할 수 있는 것입니다. 계층형 정책(hierarchical policy)과 스킬 기반 표현(skill-based representation)은 복잡한 행동을 재사용 가능한 구성요소로 조직함으로써 이러한 능력을 더욱 확장할 수 있습니다. 이를 통해 각각의 완전한 작업을 독립적으로 학습하지 않고도 여러 학습된 스킬을 조합하여 장기 작업(long-horizon task)을 수행할 수 있습니다.

월드 모델(world model)은 범용 지능의 또 다른 중요한 구성요소입니다. 성공적인 행동을 위해서는 특정 행동 이후에 무엇이 발생할지를 예측해야 하기 때문입니다. 로봇은 현재 관측에 단순히 반응하는 것이 아니라 미래 상태, 환경의 동역학(environmental dynamics), 객체 간 상호작용 및 가능한 결과를 추정해야 합니다. 월드 모델은 상상(imagination), 후보 행동 평가(candidate action evaluation) 및 계획(planning)을 지원하는 내부 예측 표현(internal predictive representation)을 제공할 수 있습니다. 따라서 월드 모델과 범용 정책을 결합하면 시스템이 관측하고, 이해하고, 예측하고, 행동을 선택하고, 실행한 다음, 그 결과로 얻은 관측을 이용하여 자신의 행동을 업데이트하는 더욱 강력한 구조를 만들 수 있습니다.

일반화(generalization)는 작업과 환경을 넘어 서로 다른 로봇 형태(embodiment)까지 확장되어야 합니다. 바퀴형 로봇(wheeled robot), 모바일 매니퓰레이터(mobile manipulator), 사족보행 로봇(quadruped), 휴머노이드(humanoid) 및 산업용 매니퓰레이터는 서로 다른 센서, 운동학(kinematics), 행동 공간(action space) 및 물리적 능력을 갖습니다. 따라서 범용 에이전트는 전이 가능한 지식과 로봇 형태에 특화된 실행을 분리할 수 있는 메커니즘을 필요로 합니다. 공유된 지각 및 의미 표현(shared perceptual and semantic representation)은 여러 로봇에 공통적인 개념을 표현할 수 있으며, 체화 조건 표현(embodiment-conditioned representation)이나 경량 어댑터(lightweight adapter)는 일반적인 의도를 로봇별 행동으로 변환할 수 있습니다. 이를 통해 전문 하드웨어에서 점점 더 범용적인 지능으로 발전할 수 있는 경로가 만들어집니다.

이러한 전환은 로봇 개발의 경제성도 변화시킵니다. 전문 로봇 모델에서는 새로운 애플리케이션마다 새로운 데이터 수집과 엔지니어링 사이클이 필요할 수 있습니다. 반면 파운데이션 모델(foundation model) 접근법에서는 대규모 사전학습(large-scale pretraining)을 통해 재사용 가능한 기본 모델(base model)을 구축하고, 이후에는 상대적으로 적은 양의 작업 또는 로봇별 데이터로 적응(adaptation)을 수행할 수 있습니다. 미세조정(fine-tuning), 매개변수 효율적 적응(parameter-efficient adaptation), 모방학습(imitation learning), 강화학습(reinforcement learning) 및 소수 샘플 적응(few-shot adaptation)을 통해 범용 모델을 특화할 수 있습니다. 이후 실제 배포(deployment)는 지속적인 데이터 엔진(data engine)의 일부가 되어, 로봇이 새로운 경험을 수집하고, 이러한 경험이 모델을 개선하며, 개선된 모델이 다시 더 많은 작업과 환경을 지원하게 됩니다.

그러나 범용 에이전트가 전문화를 완전히 제거하는 것은 아닙니다. 실제 로봇은 여전히 신뢰할 수 있는 위치추정(localization), 매핑(mapping), 모션 플래닝(motion planning), 저수준 제어(low-level control), 액추에이터 관리(actuator management), 안전 감독(safety supervision), 전력 관리(power management) 및 하드웨어별 인터페이스(hardware-specific interface)를 필요로 합니다. 실시간 지연시간(real-time latency), 연산량과 메모리(compute and memory) 제한, 전력 및 열 제약(power and thermal constraints), 통신 제한(communication limitations), 기능 안전(functional safety) 요구사항 역시 대규모 모델의 배포 방식을 제한합니다. 따라서 실제 아키텍처는 범용 파운데이션 모델과 특화된 실행 계층(specialized execution layer)을 결합하는 방향으로 발전할 가능성이 높습니다. 범용 지능은 이러한 결정론적이고 안전이 중요한 구성요소를 단순히 대체하는 것이 아니라, 그 위에서 그리고 그들과 함께 작동하게 됩니다.

따라서 이러한 전환은 고립된 작업 지능(isolated task intelligence)에서 재사용 가능한 물리 지능(reusable physical intelligence)으로 이동하는 과정으로 이해할 수 있습니다. 환경과 작업이 안정적이고 성능 요구사항이 명확하게 정의된 경우에는 전문 로봇이 여전히 매우 유용하지만, 범용 에이전트는 더 높은 다양성의 환경에서 작동하면서 경험을 통해 지속적으로 적응하는 것을 목표로 합니다. 로봇 파운데이션 모델(robot foundation model), 멀티모달 표현(multimodal representation), 월드 모델(world model), 범용 정책(generalist policy), 교차 체화 전달(cross-embodiment transfer) 및 폐루프 학습(closed-loop learning)은 이러한 전환을 구성하는 상호 보완적인 요소입니다. 장기적인 목표는 단순히 많은 사전 정의된 작업을 수행하는 로봇을 만드는 것이 아니라, 새로운 상황을 이해하고, 기존 지식을 전이하며, 가능한 행동을 추론하고, 익숙하지 않은 조건에 적응하고, 물리적 세계와 지속적으로 상호작용하면서 스스로를 개선할 수 있는 에이전트를 구축하는 것입니다.

00.03. From Language Models to Robot Foundation Models

Language models demonstrated that large-scale pretraining can produce reusable representations of knowledge, concepts, relationships, and patterns from enormous collections of text. Their importance to robotics is not that robots need to communicate in natural language alone, but that language models introduced a powerful paradigm for building general-purpose models that can be pretrained once and adapted to many downstream tasks. This paradigm provides an important conceptual starting point for developing foundation models that operate beyond language and eventually connect knowledge to physical perception and action.

The central difference is that language models primarily operate over symbolic sequences, while robots must operate in a continuously changing physical world. A language model can predict or generate the next token, but a robot must interpret sensor observations, estimate its physical state, understand objects and spatial relationships, select an appropriate action, and observe the consequences of that action. Robot foundation models therefore extend the foundation-model paradigm from linguistic prediction toward multimodal representation, physical understanding, action generation, and closed-loop interaction with the environment.

The first major transition is from language-only inputs to multimodal observations. A robot may simultaneously receive images, video, depth, LiDAR, proprioceptive measurements, force or tactile information, language instructions, and task context. These signals describe different aspects of the same physical situation and must be aligned within a common representation. The resulting model must therefore learn relationships not only between words and concepts, but also between language, visual scenes, geometry, robot state, temporal context, and possible actions.

Vision-language models provide an important intermediate stage in this evolution. They connect visual observations with linguistic concepts and can support object recognition, scene understanding, semantic reasoning, instruction grounding, and task interpretation. However, understanding a scene does not automatically provide the ability to manipulate it. A robot must transform semantic knowledge into physically executable behavior, which motivates the transition from vision-language models toward vision-language-action models and more general robot foundation models.

The addition of action changes the learning problem fundamentally. Actions are not merely another output modality because they modify the physical state of the world. A robot action can move an object, change the robot\'s position, create contact, alter the environment, or produce an unexpected consequence. The model therefore needs to learn relationships between observation, instruction, action, and subsequent state. This introduces temporal structure and feedback into the foundation-model paradigm, making robot learning inherently interactive rather than purely predictive.

Robot foundation models consequently require large and diverse robot data rather than only web-scale text or image data. Useful training data can include demonstrations, robot trajectories, sensor observations, robot states, action sequences, language instructions, human video, simulation experience, and data collected from multiple robot embodiments. Diversity across tasks, environments, objects, and operating conditions is particularly important because the objective is to learn transferable representations rather than memorize one fixed relationship between a specific observation and a specific action.

Large-scale pretraining creates the possibility of separating general knowledge from downstream specialization. A foundation model can first learn broad representations from heterogeneous data and subsequently be adapted to a particular robot, task, or environment. This follows the same general principle established by language foundation models, but the adaptation problem becomes more physically constrained. The model must ultimately produce behavior compatible with the robot\'s morphology, kinematics, sensors, actuators, action space, and real-time operating requirements.

This leads naturally to the concept of a robot foundation model as a policy backbone rather than a complete replacement for every robotic subsystem. The foundation model can provide general perception, semantic understanding, reasoning, task decomposition, skill selection, and action representations, while specialized modules handle robot-specific execution. Such an architecture allows general knowledge to remain reusable while embodiment-specific components translate that knowledge into executable commands for a particular platform.

World knowledge must also be connected with physical knowledge. Language models can contain extensive information about objects, activities, and human concepts, but a robot must understand how those concepts behave under physical interaction. Knowing that a cup is an object is different from understanding where it can be grasped, whether it is stable, how much force should be applied, or what may happen if it is pushed. Robot foundation models therefore need representations that connect semantic knowledge with geometry, dynamics, affordances, contact, temporal change, uncertainty, and action consequences.

The transition also requires multi-task and multi-environment learning. Language models gain broad capabilities partly because their training data contain enormous variation in subjects, writing styles, contexts, and linguistic structures. Robot foundation models require an analogous diversity of physical experience. Training across multiple tasks and environments can encourage representations that capture common structures underlying manipulation, navigation, interaction, and planning. This provides a foundation for transfer, adaptation, few-shot learning, and generalization to situations that were not explicitly represented during training.

Cross-embodiment transfer extends the concept even further. A language model does not need to know which physical body produced a sentence, but a robot policy must account for the capabilities and limitations of its embodiment. A wheeled robot, quadruped, humanoid, and manipulator may perceive similar concepts while having completely different ways of acting. Robot foundation models therefore need shared representations for transferable knowledge together with embodiment-conditioned mechanisms that translate general intentions and skills into robot-specific action spaces.

The final transition is from a static pretrained model to an interactive physical intelligence system. A deployed robot continuously observes the environment, acts upon it, receives new observations, encounters successes and failures, and can generate additional experience for adaptation or future training. Foundation models, world models, generalist policies, multimodal learning, fine-tuning, reinforcement learning, and continual learning can therefore become parts of a common development loop. The long-term objective is not simply to create a larger language model that controls a robot, but to develop a reusable intelligence foundation that connects language, perception, physical knowledge, reasoning, prediction, and action across tasks, environments, and embodiments.

언어 모델(Language Model)은 대규모 사전학습(large-scale pretraining)을 통해 방대한 텍스트 집합으로부터 지식(knowledge), 개념(concept), 관계(relationship) 및 패턴(pattern)에 대한 재사용 가능한 표현(reusable representation)을 학습할 수 있음을 보여주었습니다. 언어 모델이 로보틱스에 중요한 이유는 로봇이 단순히 자연어로 의사소통해야 하기 때문만은 아닙니다. 언어 모델은 한 번 사전학습된 범용 모델(general-purpose model)을 구축한 다음 다양한 다운스트림 작업(downstream task)에 적용할 수 있는 강력한 패러다임을 제시했습니다. 이러한 패러다임은 언어를 넘어 물리적 지각(physical perception)과 행동(action)을 연결하는 파운데이션 모델(foundation model)을 개발하기 위한 중요한 개념적 출발점이 됩니다.

핵심적인 차이점은 언어 모델이 주로 기호적 시퀀스(symbolic sequence)를 대상으로 작동하는 반면, 로봇은 지속적으로 변화하는 물리적 세계(physical world)에서 작동해야 한다는 것입니다. 언어 모델은 다음 토큰(next token)을 예측하거나 생성할 수 있지만, 로봇은 센서 관측(sensor observation)을 해석하고, 자신의 물리적 상태(physical state)를 추정하며, 객체와 공간적 관계를 이해하고, 적절한 행동을 선택하고, 그 행동의 결과를 관찰해야 합니다. 따라서 로봇 파운데이션 모델(robot foundation model)은 파운데이션 모델 패러다임을 언어적 예측(linguistic prediction)에서 멀티모달 표현(multimodal representation), 물리적 이해(physical understanding), 행동 생성(action generation) 및 환경과의 폐루프 상호작용(closed-loop interaction)으로 확장합니다.

첫 번째 주요 전환은 언어만을 입력으로 사용하는 것에서 멀티모달 관측(multimodal observation)으로 이동하는 것입니다. 로봇은 이미지(image), 비디오(video), 깊이(depth), LiDAR, 고유수용감각 정보(proprioceptive measurement), 힘 또는 촉각 정보(force or tactile information), 언어 명령(language instruction) 및 작업 맥락(task context)을 동시에 받을 수 있습니다. 이러한 신호들은 동일한 물리적 상황의 서로 다른 측면을 설명하며, 하나의 공통 표현(common representation) 안에서 정렬되어야 합니다. 따라서 결과적인 모델은 단순히 단어와 개념 사이의 관계만 학습하는 것이 아니라, 언어, 시각적 장면, 기하학(geometry), 로봇 상태(robot state), 시간적 맥락(temporal context) 및 가능한 행동(possible action) 사이의 관계까지 학습해야 합니다.

비전-언어 모델(vision-language model)은 이러한 진화 과정에서 중요한 중간 단계가 됩니다. 비전-언어 모델은 시각적 관측과 언어적 개념을 연결하며, 객체 인식(object recognition), 장면 이해(scene understanding), 의미적 추론(semantic reasoning), 명령 그라운딩(instruction grounding) 및 작업 해석(task interpretation)을 지원할 수 있습니다. 그러나 장면을 이해하는 것이 자동적으로 장면을 조작할 수 있는 능력을 의미하지는 않습니다. 로봇은 의미적 지식(semantic knowledge)을 물리적으로 실행 가능한 행동(physically executable behavior)으로 변환해야 하며, 이러한 요구가 비전-언어 모델에서 비전-언어-행동 모델(vision-language-action model)과 보다 일반적인 로봇 파운데이션 모델로의 전환을 촉진합니다.

행동(action)의 추가는 학습 문제를 근본적으로 변화시킵니다. 행동은 단순한 또 하나의 출력 모달리티(output modality)가 아닙니다. 행동은 물리적 세계의 상태를 변화시키기 때문입니다. 로봇의 행동은 객체를 이동시키고, 로봇의 위치를 변화시키며, 접촉을 발생시키고, 환경을 변화시키거나 예상하지 못한 결과를 만들어낼 수 있습니다. 따라서 모델은 관측(observation), 명령(instruction), 행동(action) 및 이후의 상태(subsequent state) 사이의 관계를 학습해야 합니다. 이는 학습에 시간적 구조(temporal structure)와 피드백(feedback)을 도입하며, 로봇 학습을 순수한 예측 문제가 아니라 본질적으로 상호작용적인 학습 문제로 만듭니다.

따라서 로봇 파운데이션 모델은 웹 규모의 텍스트나 이미지 데이터만이 아니라 크고 다양한 로봇 데이터(robot data)를 필요로 합니다. 유용한 학습 데이터에는 시연(demonstration), 로봇 궤적(robot trajectory), 센서 관측(sensor observation), 로봇 상태(robot state), 행동 시퀀스(action sequence), 언어 명령(language instruction), 인간 비디오(human video), 시뮬레이션 경험(simulation experience) 및 여러 로봇 형태(robot embodiment)에서 수집된 데이터가 포함될 수 있습니다. 작업, 환경, 객체 및 운용 조건의 다양성은 특히 중요합니다. 목표가 특정 관측과 특정 행동 사이의 하나의 고정된 관계를 암기하는 것이 아니라 전이 가능한 표현(transferable representation)을 학습하는 것이기 때문입니다.

대규모 사전학습(large-scale pretraining)은 일반적인 지식(general knowledge)과 다운스트림 특화(downstream specialization)를 분리할 수 있는 가능성을 제공합니다. 파운데이션 모델은 먼저 이질적인 데이터(heterogeneous data)로부터 광범위한 표현을 학습하고, 이후 특정 로봇, 작업 또는 환경에 맞게 적응될 수 있습니다. 이것은 언어 파운데이션 모델(language foundation model)이 확립한 일반적인 원리를 따르지만, 로봇의 적응 문제는 물리적 제약이 훨씬 강합니다. 모델은 궁극적으로 로봇의 형태(morphology), 운동학(kinematics), 센서, 액추에이터(actuator), 행동 공간(action space) 및 실시간 운용 요구사항(real-time operating requirement)에 적합한 행동을 생성해야 합니다.

이러한 관점은 자연스럽게 로봇 파운데이션 모델을 모든 로봇 하위 시스템을 완전히 대체하는 모델이 아니라 정책 백본(policy backbone)으로 보는 개념으로 이어집니다. 파운데이션 모델은 일반적인 인식(general perception), 의미적 이해(semantic understanding), 추론(reasoning), 작업 분해(task decomposition), 스킬 선택(skill selection) 및 행동 표현(action representation)을 제공할 수 있으며, 특화된 모듈(specialized module)은 로봇별 실행(robot-specific execution)을 담당합니다. 이러한 아키텍처를 사용하면 일반적인 지식을 재사용 가능한 상태로 유지하면서, 로봇별 구성요소(embodiment-specific component)가 해당 지식을 특정 플랫폼에서 실행 가능한 명령으로 변환할 수 있습니다.

세계 지식(world knowledge)은 또한 물리적 지식(physical knowledge)과 연결되어야 합니다. 언어 모델은 객체, 활동 및 인간의 개념에 대한 광범위한 정보를 포함할 수 있지만, 로봇은 이러한 개념이 물리적 상호작용(physical interaction)에서 어떻게 작동하는지를 이해해야 합니다. 컵이 객체라는 것을 아는 것과 컵을 어디에서 잡을 수 있는지, 안정적인지, 어느 정도의 힘을 가해야 하는지, 또는 컵을 밀었을 때 어떤 일이 발생할지를 이해하는 것은 서로 다른 문제입니다. 따라서 로봇 파운데이션 모델은 의미적 지식을 기하학, 동역학(dynamics), 어포던스(affordance), 접촉(contact), 시간적 변화(temporal change), 불확실성(uncertainty) 및 행동 결과(action consequence)와 연결하는 표현을 필요로 합니다.

이러한 전환에는 다중 작업 및 다중 환경 학습(multi-task and multi-environment learning)도 필요합니다. 언어 모델이 광범위한 능력을 확보할 수 있는 이유 중 하나는 학습 데이터에 매우 다양한 주제, 문체, 맥락 및 언어 구조가 포함되어 있기 때문입니다. 로봇 파운데이션 모델에도 이에 상응하는 수준의 물리적 경험 다양성이 필요합니다. 여러 작업과 환경에서 학습하면 조작(manipulation), 내비게이션(navigation), 상호작용(interaction) 및 계획(planning)의 기저에 존재하는 공통 구조를 표현하는 표현(representation)을 학습하도록 유도할 수 있습니다. 이는 전이(transfer), 적응(adaptation), 소수 샘플 학습(few-shot learning) 및 학습 과정에서 명시적으로 표현되지 않았던 상황에 대한 일반화(generalization)를 위한 기반을 제공합니다.

교차 체화 전달(cross-embodiment transfer)은 이러한 개념을 더욱 확장합니다. 언어 모델은 문장을 생성한 물리적 신체가 무엇인지 알 필요가 없지만, 로봇 정책(robot policy)은 자신의 체화(embodiment)가 가진 능력과 한계를 고려해야 합니다. 바퀴형 로봇(wheeled robot), 사족보행 로봇(quadruped), 휴머노이드(humanoid) 및 매니퓰레이터(manipulator)는 유사한 개념을 인식할 수 있지만 완전히 다른 방식으로 행동합니다. 따라서 로봇 파운데이션 모델은 전이 가능한 지식을 위한 공유 표현(shared representation)과 함께 일반적인 의도 및 스킬을 로봇별 행동 공간(robot-specific action space)으로 변환하는 체화 조건 메커니즘(embodiment-conditioned mechanism)을 필요로 합니다.

마지막 전환은 정적인 사전학습 모델(static pretrained model)에서 상호작용하는 물리 지능 시스템(interactive physical intelligence system)으로 이동하는 것입니다. 배치된 로봇은 지속적으로 환경을 관측하고, 환경에 행동을 가하고, 새로운 관측을 얻으며, 성공과 실패를 경험하고, 적응이나 향후 학습을 위한 추가 경험을 생성할 수 있습니다. 따라서 파운데이션 모델(foundation model), 월드 모델(world model), 범용 정책(generalist policy), 멀티모달 학습(multimodal learning), 미세조정(fine-tuning), 강화학습(reinforcement learning) 및 지속적 학습(continual learning)은 하나의 공통적인 개발 루프(common development loop)의 구성요소가 될 수 있습니다. 장기적인 목표는 단순히 로봇을 제어하는 더 큰 언어 모델을 만드는 것이 아니라, 언어(language), 지각(perception), 물리적 지식(physical knowledge), 추론(reasoning), 예측(prediction) 및 행동(action)을 작업, 환경 및 로봇 형태 전반에 걸쳐 연결할 수 있는 재사용 가능한 지능 기반(reusable intelligence foundation)을 개발하는 것입니다.

00.04. Vision Language and Action as a Unified Problem

Vision, language, and action have traditionally been treated as separate problems in robotics. Vision systems identify objects and estimate scenes, language systems interpret human instructions, and control systems convert decisions into physical motion. This separation works well when tasks are narrowly defined, but it becomes increasingly limiting when robots must understand open-ended instructions and operate in changing environments. A general robot therefore needs a unified representation that connects what it sees, what it is told, what it understands, and what it does.

Vision provides the robot with information about the physical world, including objects, surfaces, geometry, spatial relationships, and changes over time. Modern robotic systems may combine RGB images, video, depth, LiDAR, and other sensors to construct richer observations. However, perception alone does not determine what the robot should do. The same object may require different actions depending on the instruction, task goal, surrounding objects, robot state, and environmental constraints. Visual information must therefore be interpreted in relation to language, context, and intended behavior.

Language provides a compact interface for expressing goals, constraints, and task intent. A human can specify an objective such as moving an object, inspecting a component, or navigating to a location without explicitly describing every motor command. For a robot to use such instructions, however, language must be grounded in the observed physical environment. The system must connect words with specific objects, locations, actions, and relationships. This process, known as instruction grounding, transforms abstract linguistic information into task-relevant representations that can influence physical behavior.

Action introduces a fundamentally different requirement because it changes the state of the physical world. A model cannot simply generate an appropriate textual answer after interpreting an image and instruction. It must produce an executable representation such as a trajectory, pose, velocity, joint command, gripper command, waypoint, or action sequence. These outputs must also respect the robot\'s embodiment, dynamics, actuator limitations, and safety constraints. Vision and language therefore become useful only when their information can be translated into actions that are physically meaningful and executable.

The unified problem can be expressed as a continuous relationship among observation, instruction, internal representation, action, and subsequent observation. A robot observes the environment, interprets the instruction and current state, reasons about the task, generates an action, executes that action, and then observes how the environment has changed. This creates a closed-loop perception-action process rather than a one-time prediction. The action itself becomes part of the information used for subsequent decisions, making temporal context and feedback essential components of the model.

A Vision-Language-Action model consequently needs to combine several types of information within a common computational architecture. Vision encoders can transform images, video, depth, or other sensory observations into visual representations, while language encoders transform instructions into linguistic representations. Robot-state encoders can represent joint positions, velocities, end-effector state, base pose, and other proprioceptive information. These representations can then be aligned and fused into multimodal tokens or latent features that provide a common context for reasoning and action generation.

The multimodal transformer can serve as the central integration mechanism. Visual tokens, language tokens, robot-state tokens, and temporal or history tokens can interact through cross-modal attention and temporal modeling. This allows the model to relate an instruction to specific objects, connect the current robot state to the task, reason about spatial relationships, and incorporate previous observations and actions. The resulting representation can support task reasoning, world awareness, goal understanding, and action generation rather than treating perception, language, and control as isolated stages.

Action representation is a critical bridge between high-level intelligence and low-level execution. Robot actions may be represented as discrete tokens, continuous trajectories, latent action embeddings, or hybrid combinations of these approaches. Tokenized actions can make physical behavior compatible with autoregressive transformer architectures, while continuous representations can preserve the precision required for smooth robot motion. Hybrid approaches can combine discrete reasoning with continuous execution. The appropriate representation depends on the robot, task, control frequency, precision requirements, and desired degree of generalization.

The unified model must also account for the fact that actions occur over time. A single action may be insufficient for a task requiring several sequential steps, such as approaching an object, grasping it, transporting it, and releasing it at a target location. Temporal history, action chunks, trajectories, and future context can therefore be incorporated into the model. This enables the system to reason not only about what action is appropriate now, but also about how the current action contributes to a longer-horizon task and how future observations may affect subsequent decisions.

A world model can strengthen this unified architecture by providing predictions about the co...