STATERA Library · Series 09 · Volume 08 · Chapter 01 · EN
Source: https://github.com/Statera-Library/09_Vol_08_Robot_Foundation_Models_and_VLA/blob/main/Chapter_01_Foundation_Model_Fundamentals/Chapter_01_Foundation_Model_Fundamentals_EN.md
Volume 08. Robot Foundation Models and VLA
Chapter 01. Foundation Model Fundamentals
01.01. What is a Foundation Model
A foundation model is a large machine learning model trained on broad and diverse data so that it can serve as a reusable basis for many downstream applications. Instead of being designed for only one narrowly defined task, it learns general representations, patterns, relationships, and structures that can later be adapted to different objectives. This shift from task-specific models toward reusable computational foundations changes how intelligent systems are designed and deployed.
The defining idea is not simply that a foundation model contains many parameters. Its importance comes from the combination of broad pretraining, reusable representations, and adaptation across tasks. During pretraining, the model encounters sufficiently diverse examples to capture statistical regularities that are useful beyond the original training objective. The resulting knowledge can then be transferred through fine-tuning, prompting, adapters, task-specific heads, or other adaptation mechanisms.
Traditional supervised learning commonly begins with a specific problem, such as classifying images, detecting objects, predicting a numerical value, or controlling a particular robot. Engineers collect labeled data for that problem and train a model specifically for it. A foundation-model approach reverses much of this workflow. A broadly capable model is pretrained first, after which specialized capabilities are derived from the shared representation rather than independently learned from scratch.
This approach separates two important stages of machine learning: acquiring broadly reusable knowledge and adapting that knowledge to particular tasks. Pretraining can require enormous datasets, substantial computational resources, and long optimization cycles, but the resulting model may support many applications. Adaptation can then be performed with much smaller datasets and lower computational cost, making the initial investment reusable across a potentially large ecosystem of downstream systems.
Foundation models became especially visible through large language models, where models trained on massive text corpora learned representations useful for question answering, summarization, translation, reasoning, coding, and dialogue. However, the concept is not limited to language. Foundation models can be constructed for vision, audio, video, multimodal data, scientific data, robotics, and combinations of these modalities. The underlying principle remains broad pretraining followed by flexible reuse and adaptation.
A central capability of a foundation model is representation learning. Raw observations such as words, pixels, sounds, sensor measurements, or robot states are transformed into internal representations that capture meaningful relationships within the data. Good representations preserve information that is useful across many tasks rather than encoding only the distinctions required by one predefined objective. This shared representational space is one reason knowledge learned during pretraining can transfer to previously unseen problems.
Scale is closely associated with foundation models because broader data, larger model capacity, and greater compute can increase the range of patterns that a model can learn. Scaling, however, is not merely a matter of increasing parameter count. Dataset diversity, data quality, architecture, optimization, context length, training objectives, and computational efficiency all influence the resulting capabilities. A very large model trained on narrow or poor-quality data may remain substantially less general than its size suggests.
Another important property is adaptation. A pretrained model rarely provides the optimal solution to every downstream problem without modification. Full fine-tuning can update most or all model parameters, while parameter-efficient approaches modify only a relatively small subset. Prompting and in-context learning can sometimes alter model behavior without changing parameters at all. Task heads, adapters, low-rank updates, retrieval systems, and specialized modules provide additional mechanisms for converting general representations into practical capabilities.
Foundation models also encourage multitask and multimodal thinking. Instead of maintaining completely separate models for every input type and task, developers can build architectures in which multiple forms of information contribute to shared representations. Images can be connected with language, video with temporal descriptions, and physical observations with actions. Such integration becomes particularly important when intelligent agents must understand environments through several sensing channels while following human instructions.
For robotics, the foundation-model concept introduces an important transition from models that recognize information to models that can eventually support physical behavior. A robot receives camera images, depth measurements, proprioception, force signals, spatial information, language instructions, and histories of previous interactions. A broadly pretrained model can potentially connect these observations to semantic concepts, spatial relationships, task structures, affordances, predictions, and action-relevant representations.
This does not mean that a conventional language or vision foundation model automatically becomes a robot controller. Physical systems introduce requirements that digital applications do not face in the same way. Actions have real consequences, control operates under timing constraints, sensors are noisy, embodiment changes the available action space, and errors can damage equipment or harm people. Robot foundation models therefore extend the foundation-model principle toward representations and policies grounded in physical interaction.
The distinction between knowledge and action is especially important. A model may understand that a cup is fragile, recognize its location, and describe how a person might grasp it, yet still lack the precision required to control a manipulator. Physical intelligence requires connecting semantic knowledge with geometry, dynamics, contact, kinematics, uncertainty, and temporal feedback. Foundation models for physical agents must therefore bridge high-level generalization and low-level constraints rather than treating them as independent problems.
Foundation models can also provide a common backbone for multiple robot capabilities. Perception, language grounding, task interpretation, planning, prediction, and action generation may share learned representations instead of operating as completely isolated modules. This does not necessarily eliminate modular robotics architectures. Rather, a foundation model can become a reusable intelligence layer that interacts with world models, planners, controllers, safety monitors, localization systems, and embodiment-specific interfaces.
Generalization is one of the strongest motivations for this architecture. A useful foundation model should transfer knowledge across objects, environments, instructions, tasks, and eventually different embodiments. Knowledge learned from one dataset may help interpret another environment, while semantic concepts learned from language and vision may reduce the amount of robot-specific data required for a new task. The objective is not perfect universality, but progressively reducing how much new learning is required whenever the operating conditions change.
Emergent capabilities are another reason foundation models attract attention. As training diversity, model capacity, and contextual information increase, models can sometimes perform behaviors that were not individually programmed as separate functions. These behaviors may arise from combinations of representations acquired during pretraining. Emergence should not be interpreted as guaranteed intelligence, however, because new capabilities can remain inconsistent, difficult to predict, and sensitive to distribution shifts or prompting conditions.
Foundation models therefore introduce both leverage and concentration of risk. Because many downstream systems depend on the same pretrained backbone, improvements to that backbone can benefit numerous applications simultaneously. The opposite is also true: biases, representation failures, unsafe behaviors, data problems, or incorrect assumptions embedded during pretraining may propagate into many downstream systems. Evaluation must therefore examine not only individual task accuracy but also robustness, transfer behavior, uncertainty, safety, and failure modes.
In Physical AI, the long-term significance of foundation models lies in their potential to provide a shared learning substrate connecting perception, knowledge, prediction, reasoning, and action. Rather than training every robot capability independently, developers can begin with broadly pretrained representations and progressively adapt them to environments, tasks, embodiments, and operational constraints. This creates the conceptual foundation for robot foundation models, vision-language models, vision-language-action models, and generalist robot policies explored in subsequent sections.
파운데이션 모델(Foundation Model)은 광범위하고 다양한 데이터로 학습되어 여러 다운스트림 애플리케이션(downstream application)의 재사용 가능한 기반으로 활용될 수 있는 대규모 머신러닝 모델(machine learning model)이다. 하나의 좁게 정의된 작업만을 위해 설계되는 대신, 다양한 목적에 맞게 이후 적응시킬 수 있는 일반적인 표현(representation), 패턴(pattern), 관계(relationship), 구조(structure)를 학습한다. 이러한 작업 특화 모델(task-specific model)에서 재사용 가능한 계산 기반(computational foundation)으로의 전환은 지능형 시스템(intelligent system)의 설계와 배포 방식을 변화시킨다.
파운데이션 모델(Foundation Model)을 정의하는 핵심은 단순히 많은 수의 파라미터(parameter)를 가지고 있다는 점이 아니다. 그 중요성은 광범위한 사전학습(pretraining), 재사용 가능한 표현(reusable representation), 그리고 다양한 작업에 대한 적응(adaptation)의 결합에서 나온다. 사전학습 과정에서 모델은 충분히 다양한 사례를 접하면서 최초의 학습 목적을 넘어 활용할 수 있는 통계적 규칙성(statistical regularity)을 습득한다. 이렇게 형성된 지식은 파인튜닝(fine-tuning), 프롬프팅(prompting), 어댑터(adapter), 작업 특화 헤드(task-specific head) 또는 다른 적응 메커니즘(adaptation mechanism)을 통해 전이될 수 있다.
전통적인 지도학습(supervised learning)은 일반적으로 이미지 분류(image classification), 객체 탐지(object detection), 수치 예측(numerical prediction), 특정 로봇 제어(robot control)와 같은 구체적인 문제에서 시작한다. 엔지니어는 해당 문제를 위한 라벨 데이터(labeled data)를 수집하고 그 작업에 특화된 모델을 학습한다. 파운데이션 모델 접근법(Foundation Model approach)은 이러한 흐름의 상당 부분을 반대로 전환한다. 먼저 폭넓은 능력을 가진 모델을 사전학습하고, 이후 각각을 처음부터 독립적으로 학습하는 대신 공유 표현(shared representation)으로부터 특화된 능력을 만들어낸다.
이 접근법은 머신러닝(machine learning)의 두 가지 중요한 단계를 분리한다. 하나는 폭넓게 재사용할 수 있는 지식의 획득이고, 다른 하나는 그 지식을 특정 작업에 적응시키는 것이다. 사전학습(pretraining)은 막대한 데이터셋(dataset), 상당한 계산 자원(computational resource), 긴 최적화 과정(optimization cycle)을 요구할 수 있지만, 결과 모델은 다양한 애플리케이션을 지원할 수 있다. 이후 적응(adaptation)은 훨씬 작은 데이터셋과 낮은 계산 비용으로 수행할 수 있어 초기 투자를 광범위한 다운스트림 시스템(downstream system)에서 재사용할 수 있게 한다.
파운데이션 모델(Foundation Model)은 특히 대규모 언어 모델(Large Language Model, LLM)을 통해 널리 알려졌다. 대규모 텍스트 말뭉치(text corpus)로 학습된 모델은 질의응답(question answering), 요약(summarization), 번역(translation), 추론(reasoning), 코딩(coding), 대화(dialogue)에 유용한 표현을 학습했다. 그러나 이 개념은 언어에 한정되지 않는다. 비전(vision), 오디오(audio), 비디오(video), 멀티모달 데이터(multimodal data), 과학 데이터(scientific data), 로보틱스(robotics), 그리고 이러한 모달리티(modality)의 조합을 위한 파운데이션 모델도 구축할 수 있다. 핵심 원리는 광범위한 사전학습 이후 유연하게 재사용하고 적응시키는 것이다.
파운데이션 모델(Foundation Model)의 핵심 능력 가운데 하나는 표현 학습(representation learning)이다. 단어, 픽셀(pixel), 소리, 센서 측정값(sensor measurement), 로봇 상태(robot state)와 같은 원시 관측(raw observation)은 데이터 내부의 의미 있는 관계를 포착하는 내부 표현(internal representation)으로 변환된다. 좋은 표현은 하나의 미리 정의된 목표에 필요한 구분만을 인코딩(encoding)하는 것이 아니라 다양한 작업에서 유용한 정보를 보존한다. 이러한 공유 표현 공간(shared representation space)은 사전학습에서 획득한 지식이 이전에 보지 못한 문제로 전이될 수 있는 중요한 이유 중 하나이다.
스케일(scale)은 파운데이션 모델과 밀접하게 연관된다. 더 광범위한 데이터, 더 큰 모델 용량(model capacity), 더 많은 계산 자원(compute)은 모델이 학습할 수 있는 패턴의 범위를 확장할 수 있기 때문이다. 그러나 스케일링(scaling)은 단순히 파라미터 수를 늘리는 것만을 의미하지 않는다. 데이터셋 다양성(dataset diversity), 데이터 품질(data quality), 아키텍처(architecture), 최적화(optimization), 컨텍스트 길이(context length), 학습 목표(training objective), 계산 효율성(computational efficiency)이 모두 결과적인 능력에 영향을 미친다. 매우 큰 모델이라도 좁거나 품질이 낮은 데이터로 학습된다면 크기가 암시하는 것보다 훨씬 낮은 일반성을 보일 수 있다.
또 다른 중요한 특성은 적응(adaptation)이다. 사전학습된 모델(pretrained model)이 아무런 수정 없이 모든 다운스트림 문제에 최적의 해답을 제공하는 경우는 드물다. 전체 파인튜닝(full fine-tuning)은 모델 파라미터의 대부분 또는 전체를 업데이트하는 반면, 파라미터 효율적 접근(parameter-efficient approach)은 상대적으로 적은 일부만 수정한다. 프롬프팅(prompting)과 인컨텍스트 학습(in-context learning)은 경우에 따라 파라미터를 변경하지 않고도 모델의 행동을 변화시킬 수 있다. 작업 헤드(task head), 어댑터(adapter), 저랭크 업데이트(low-rank update), 검색 시스템(retrieval system), 특화 모듈(specialized module) 역시 일반 표현을 실용적인 능력으로 변환하는 추가적인 메커니즘을 제공한다.
파운데이션 모델(Foundation Model)은 멀티태스크(multitask)와 멀티모달(multimodal) 관점도 촉진한다. 모든 입력 유형과 작업마다 완전히 별도의 모델을 유지하는 대신 여러 형태의 정보가 공유 표현(shared representation)에 기여하는 아키텍처를 구축할 수 있다. 이미지는 언어와 연결될 수 있고, 비디오는 시간적 설명(temporal description)과 연결될 수 있으며, 물리적 관측(physical observation)은 행동(action)과 연결될 수 있다. 이러한 통합은 지능형 에이전트(intelligent agent)가 여러 센싱 채널(sensing channel)을 통해 환경을 이해하면서 인간의 명령을 따라야 할 때 특히 중요해진다.
로보틱스(robotics)에서 파운데이션 모델 개념은 정보를 인식하는 모델에서 궁극적으로 물리적 행동(physical behavior)을 지원할 수 있는 모델로의 중요한 전환을 가져온다. 로봇은 카메라 이미지(camera image), 깊이 측정(depth measurement), 고유수용감각(proprioception), 힘 신호(force signal), 공간 정보(spatial information), 언어 명령(language instruction), 이전 상호작용의 이력(history)을 입력으로 받는다. 광범위하게 사전학습된 모델은 이러한 관측을 의미적 개념(semantic concept), 공간 관계(spatial relationship), 작업 구조(task structure), 어포던스(affordance), 예측(prediction), 행동 관련 표현(action-relevant representation)과 연결할 수 있는 잠재력을 가진다.
그렇다고 기존의 언어 또는 비전 파운데이션 모델(Foundation Model)이 자동으로 로봇 제어기(robot controller)가 되는 것은 아니다. 물리 시스템(physical system)은 디지털 애플리케이션과는 다른 요구사항을 갖는다. 행동은 현실 세계에서 실제 결과를 발생시키며, 제어는 시간 제약(timing constraint) 아래에서 수행되고, 센서에는 잡음(noise)이 존재하며, 임바디먼트(embodiment)는 사용 가능한 행동 공간(action space)을 변화시키고, 오류는 장비를 손상시키거나 사람에게 피해를 줄 수 있다. 따라서 로봇 파운데이션 모델(Robot Foundation Model)은 파운데이션 모델의 원리를 물리적 상호작용(physical interaction)에 기반한 표현과 정책(policy)으로 확장해야 한다.
지식(knowledge)과 행동(action)의 구분은 특히 중요하다. 모델이 컵이 깨지기 쉽다는 사실을 이해하고 위치를 인식하며 사람이 어떻게 잡을 수 있는지를 설명할 수 있더라도, 매니퓰레이터(manipulator)를 제어하는 데 필요한 정밀도를 갖추었다는 의미는 아니다. 물리적 지능(physical intelligence)은 의미적 지식을 기하학(geometry), 동역학(dynamics), 접촉(contact), 운동학(kinematics), 불확실성(uncertainty), 시간적 피드백(temporal feedback)과 연결해야 한다. 따라서 물리 에이전트(physical agent)를 위한 파운데이션 모델은 고수준 일반화(high-level generalization)와 저수준 제약(low-level constraint)을 독립된 문제로 취급하지 않고 서로 연결해야 한다.
파운데이션 모델(Foundation Model)은 여러 로봇 능력을 위한 공통 백본(common backbone)을 제공할 수도 있다. 인식(perception), 언어 그라운딩(language grounding), 작업 해석(task interpretation), 계획(planning), 예측(prediction), 행동 생성(action generation)은 완전히 분리된 모듈로 동작하는 대신 학습된 표현을 공유할 수 있다. 이것이 반드시 모듈형 로보틱스 아키텍처(modular robotics architecture)를 제거한다는 의미는 아니다. 오히려 파운데이션 모델은 월드 모델(world model), 플래너(planner), 제어기(controller), 안전 모니터(safety monitor), 위치추정 시스템(localization system), 임바디먼트 특화 인터페이스(embodiment-specific interface)와 상호작용하는 재사용 가능한 지능 계층(intelligence layer)이 될 수 있다.
일반화(generalization)는 이러한 아키텍처를 추구하는 가장 강력한 동기 가운데 하나이다. 유용한 파운데이션 모델(Foundation Model)은 객체(object), 환경(environment), 명령(instruction), 작업(task), 그리고 궁극적으로 서로 다른 임바디먼트(embodiment) 사이에서 지식을 전이할 수 있어야 한다. 하나의 데이터셋에서 학습한 지식이 다른 환경을 해석하는 데 도움을 줄 수 있으며, 언어와 비전에서 학습한 의미적 개념은 새로운 작업에 필요한 로봇 특화 데이터(robot-specific data)의 양을 줄일 수 있다. 목표는 완벽한 보편성(universality)이 아니라 운용 조건이 변할 때마다 필요한 새로운 학습의 양을 점진적으로 감소시키는 것이다.
창발적 능력(emergent capability) 역시 파운데이션 모델(Foundation Model)이 주목받는 이유 중 하나이다. 학습 데이터의 다양성, 모델 용량(model capacity), 컨텍스트 정보(contextual information)가 증가하면 개별 기능으로 명시적으로 프로그래밍되지 않았던 행동이 나타나는 경우가 있다. 이러한 행동은 사전학습 과정에서 획득된 여러 표현의 조합에서 발생할 수 있다. 그러나 창발성(emergence)을 보장된 지능으로 해석해서는 안 된다. 새로운 능력은 일관성이 부족할 수 있고 예측하기 어려우며 분포 변화(distribution shift)나 프롬프팅 조건(prompting condition)에 민감할 수 있기 때문이다.
따라서 파운데이션 모델(Foundation Model)은 높은 활용 가능성과 동시에 위험의 집중(concentration of risk)을 가져온다. 많은 다운스트림 시스템이 동일한 사전학습 백본(pretrained backbone)에 의존하기 때문에 백본의 개선은 수많은 애플리케이션에 동시에 이점을 제공할 수 있다. 반대로 사전학습 과정에 포함된 편향(bias), 표현 실패(representation failure), 안전하지 않은 행동(unsafe behavior), 데이터 문제(data problem), 잘못된 가정은 여러 다운스트림 시스템으로 확산될 수 있다. 따라서 평가는 개별 작업 정확도뿐만 아니라 강건성(robustness), 전이 행동(transfer behavior), 불확실성(uncertainty), 안전성(safety), 실패 모드(failure mode)를 함께 검토해야 한다.
피지컬 AI(Physical AI)에서 파운데이션 모델(Foundation Model)의 장기적인 중요성은 인식(perception), 지식(knowledge), 예측(prediction), 추론(reasoning), 행동(action)을 연결하는 공유 학습 기반(shared learning substrate)을 제공할 수 있다는 데 있다. 모든 로봇 능력을 독립적으로 학습하는 대신 폭넓게 사전학습된 표현에서 시작하여 환경, 작업, 임바디먼트, 운용 제약에 맞게 점진적으로 적응시킬 수 있다. 이는 이후 절에서 다루게 될 로봇 파운데이션 모델(Robot Foundation Model), 비전-언어 모델(Vision-Language Model, VLM), 비전-언어-행동 모델(Vision-Language-Action Model, VLA), 범용 로봇 정책(Generalist Robot Policy)을 이해하기 위한 개념적 기반을 형성한다.
01.02. Pretraining Adaptation and Downstream Tasks
Pretraining is the stage in which a foundation model acquires broadly reusable knowledge before being specialized for a particular application. Instead of optimizing directly for one narrow task, the model learns from large and diverse datasets containing patterns that may later support many objectives. This creates a shared starting point from which specialized models, interfaces, policies, and intelligent agents can be developed with substantially less task-specific training.
The central purpose of pretraining is to construct useful internal representations rather than to solve every future application directly. During training, the model repeatedly predicts, reconstructs, aligns, contrasts, or otherwise learns relationships among elements of its data. Through this process, parameters gradually encode statistical structures, semantic relationships, visual patterns, temporal dependencies, spatial information, and other regularities that can later be reused when the model encounters downstream tasks.
Pretraining data can originate from many sources depending on the intended foundation model. Language models may use text and code, vision models may use images and video, while multimodal models can combine language, images, audio, video, and structured information. Robot foundation models extend this mixture toward camera streams, depth, proprioception, trajectories, actions, demonstrations, task instructions, and interaction histories, allowing representations to become increasingly grounded in physical environments.
The scale and diversity of pretraining data strongly influence what knowledge can be transferred later. A model exposed to many objects, environments, linguistic expressions, behaviors, and situations has more opportunities to discover reusable structure than a model trained on a narrowly constrained dataset. Diversity is therefore important not only for increasing dataset size but also for expanding coverage across concepts, domains, conditions, viewpoints, tasks, and potentially different robot embodiments.
Pretraining objectives determine what relationships the model is encouraged to capture. Autoregressive prediction can train a model to predict subsequent elements from previous context, while masked prediction reconstructs hidden information from surrounding observations. Contrastive learning can align related representations and separate unrelated ones, while multimodal objectives can associate images with text, video with descriptions, or robot observations with actions. Different objectives emphasize different aspects of transferable knowledge.
Once pretraining has produced a broadly capable model, adaptation converts its general representations into capabilities suited to a target problem. Adaptation is necessary because downstream applications have specific objectives, data distributions, interfaces, constraints, and performance requirements that cannot always be represented completely during general pretraining. The model therefore becomes a foundation on which more specialized capabilities are constructed rather than a finished solution for every possible task.
Full fine-tuning is one adaptation strategy in which most or all pretrained parameters are updated using downstream data. This can provide substantial flexibility because the entire model can change to fit the new domain, but it also requires significant memory, computation, and training data. It may additionally alter useful pretrained representations. For very large foundation models, these costs motivate techniques that preserve most of the original model while modifying only limited components.
Parameter-efficient fine-tuning reduces adaptation cost by updating a relatively small number of parameters. Methods such as adapters and low-rank adaptation can introduce trainable components while keeping much of the pretrained backbone fixed. This makes it possible to maintain a common foundation model while creating multiple specialized variants for different tasks, environments, robots, or customers without independently storing and retraining a complete model for every application.
Prompting provides another form of adaptation in which the model\'s behavior is conditioned through instructions or contextual examples without necessarily modifying its parameters. In-context learning extends this idea by presenting examples of the desired behavior within the model\'s input context. These approaches can rapidly change how a general model interprets a problem, although their effectiveness depends on the capabilities already acquired during pretraining and the information available in the context.
Downstream tasks are the practical problems for which pretrained knowledge is ultimately reused. In language systems, these tasks may include classification, summarization, question answering, information extraction, reasoning, and code generation. Vision systems may perform recognition, detection, segmentation, retrieval, and visual reasoning. A single pretrained backbone can therefore support many different outputs by combining shared representations with appropriate prompts, heads, adapters, or task-specific training.
For robotics, downstream tasks become substantially more diverse because intelligence must connect perception to physical behavior. A pretrained robot model might be adapted for object recognition, scene understanding, navigation, grasping, manipulation, mobile manipulation, task planning, human-robot interaction, or action generation. These tasks can share knowledge about objects and environments while requiring different output spaces, control frequencies, safety constraints, and embodiment-specific interfaces.
The relationship between pretraining and downstream learning can be understood as a transfer of prior knowledge. Without pretraining, a robot learning a new task may need enough task-specific examples to learn perception, semantics, spatial relationships, and behavior simultaneously. With a strong pretrained representation, much of this structure is already available. Downstream learning can then concentrate more directly on the information that distinguishes the new task, environment, or embodiment from previously learned situations.
Transfer is especially valuable when downstream data is expensive. Internet-scale text and image data can often be collected relatively cheaply, whereas robot interaction data requires physical hardware, operational time, calibration, supervision, maintenance, and safety management. Real-world demonstrations can therefore be orders of magnitude more difficult to acquire than digital data. Foundation-model development seeks to extract maximum value from broad pretraining so that scarce robot-specific data is used primarily for physical grounding and adaptation.
Robot adaptation must also account for embodiment. Two robots may understand the same instruction and observe similar objects while possessing different manipulators, joint limits, sensor configurations, payload capacities, mobility systems, and action spaces. A shared foundation model may provide common semantic and perceptual knowledge, but embodiment-specific components must translate this knowledge into feasible physical actions. Adaptation therefore acts as an interface between general intelligence and the constraints of a particular machine.
Environment-specific adaptation addresses another source of variation. A model pretrained across broad data may still encounter factories, warehouses, hospitals, homes, outdoor terrain, or other operational environments with unfamiliar visual conditions and interaction rules. Fine-tuning or contextual adaptation can incorporate local objects, maps, procedures, terminology, hazards, and operational policies while preserving general knowledge. This combination supports specialization without discarding the benefits of broad pretraining.
Task-specific adaptation can occur at several levels of an intelligent system. A perception head may be trained for a new object category, a language component may learn domain terminology, a planner may be conditioned on new task rules, or a policy may be adapted to generate different actions. Consequently, adaptation should not always be viewed as modifying one monolithic model. It can involve coordinating reusable pretrained components with specialized modules at different points in the perception-reasoning-action pipeline.
Evaluation connects pretraining, adaptation, and downstream deployment. Strong performance on a pretraining objective does not guarantee that the resulting representation will transfer effectively to real applications. Models must therefore be evaluated across multiple downstream tasks, domains, environments, and conditions. For physical agents, evaluation must additionally consider robustness, latency, uncertainty, recovery behavior, safety, and real-world task completion rather than relying only on offline prediction accuracy.
A major design question is how much capability should be learned during pretraining and how much should be left to adaptation. Broad pretraining favors reuse and generalization, while extensive downstream specialization can improve performance for a particular environment or robot. Excessive specialization, however, may reduce generality or cause catastrophic forgetting of previously learned capabilities. Practical foundation-model systems therefore balance shared knowledge with task-, environment-, and embodiment-specific adaptation.
Continual adaptation extends this lifecycle beyond a single deployment. Once a model operates in real environments, new observations, failures, corrections, demonstrations, and successful interactions can become additional learning signals. These data can support periodic fine-tuning, policy improvement, or future pretraining cycles. Foundation models can therefore participate in a data engine in which deployment generates experience, experience improves models, and improved models return to downstream systems with broader and more reliable capabilities.
The complete lifecycle can be viewed as a progression from broad data to reusable knowledge, from reusable knowledge to adaptation, and from adaptation to operational tasks. Pretraining provides the general representational foundation, adaptation aligns that foundation with specific requirements, and downstream deployment converts learned representations into measurable utility. For robot foundation models and Vision-Language-Action models, this progression becomes the bridge connecting large-scale learning with perception, reasoning, planning, and physical action in the real world.
사전학습(Pretraining)은 파운데이션 모델(Foundation Model)이 특정 애플리케이션(application)에 특화되기 전에 광범위하게 재사용 가능한 지식을 획득하는 단계이다. 하나의 좁은 작업에 직접 최적화하는 대신, 모델은 이후 다양한 목표를 지원할 수 있는 패턴을 포함한 대규모의 다양한 데이터셋(dataset)으로부터 학습한다. 이를 통해 작업별 학습(task-specific training)을 크게 줄이면서 특화 모델(specialized model), 인터페이스(interface), 정책(policy), 지능형 에이전트(intelligent agent)를 개발할 수 있는 공유 출발점을 형성한다.
사전학습(Pretraining)의 핵심 목적은 미래의 모든 애플리케이션을 직접 해결하는 것이 아니라 유용한 내부 표현(internal representation)을 구축하는 것이다. 학습 과정에서 모델은 데이터 요소 사이의 관계를 반복적으로 예측(predict), 복원(reconstruct), 정렬(align), 대조(contrast)하거나 다른 방식으로 학습한다. 이 과정을 통해 파라미터(parameter)는 통계적 구조(statistical structure), 의미적 관계(semantic relationship), 시각적 패턴(visual pattern), 시간적 의존성(temporal dependency), 공간 정보(spatial information)와 이후 다운스트림 작업(downstream task)에서 재사용할 수 있는 다양한 규칙성을 점진적으로 인코딩(encoding)한다.
사전학습 데이터(Pretraining Data)는 목표로 하는 파운데이션 모델(Foundation Model)에 따라 다양한 출처에서 얻을 수 있다. 언어 모델(language model)은 텍스트와 코드를 사용할 수 있고, 비전 모델(vision model)은 이미지와 비디오를 사용할 수 있으며, 멀티모달 모델(multimodal model)은 언어, 이미지, 오디오, 비디오, 구조화된 정보(structured information)를 결합할 수 있다. 로봇 파운데이션 모델(Robot Foundation Model)은 이러한 데이터 혼합을 카메라 스트림(camera stream), 깊이(depth), 고유수용감각(proprioception), 궤적(trajectory), 행동(action), 시연(demonstration), 작업 명령(task instruction), 상호작용 이력(interaction history)까지 확장하여 표현이 물리적 환경(physical environment)에 더욱 강하게 기반하도록 한다.
사전학습 데이터의 규모(scale)와 다양성(diversity)은 이후 어떤 지식을 전이할 수 있는지에 강한 영향을 미친다. 다양한 객체, 환경, 언어 표현, 행동, 상황을 경험한 모델은 제한된 데이터셋으로 학습한 모델보다 재사용 가능한 구조를 발견할 기회가 많다. 따라서 다양성은 단순히 데이터셋 크기를 증가시키는 것뿐만 아니라 개념(concept), 도메인(domain), 조건(condition), 시점(viewpoint), 작업(task), 그리고 잠재적으로 서로 다른 로봇 임바디먼트(robot embodiment)에 대한 범위를 확장한다는 점에서 중요하다.
사전학습 목표(Pretraining Objective)는 모델이 어떤 관계를 포착하도록 유도할 것인지를 결정한다. 자기회귀 예측(autoregressive prediction)은 이전 컨텍스트(context)로부터 이후 요소를 예측하도록 모델을 학습할 수 있으며, 마스킹 예측(masked prediction)은 주변 관측으로부터 숨겨진 정보를 복원한다. 대조학습(contrastive learning)은 관련 표현을 정렬하고 관련 없는 표현을 분리할 수 있으며, 멀티모달 목표(multimodal objective)는 이미지와 텍스트, 비디오와 설명, 또는 로봇 관측(robot observation)과 행동을 연결할 수 있다. 서로 다른 목표는 전이 가능한 지식(transferable knowledge)의 서로 다른 측면을 강조한다.
사전학습을 통해 폭넓은 능력을 갖춘 모델이 만들어지면 적응(Adaptation)은 일반적인 표현을 목표 문제에 적합한 능력으로 변환한다. 다운스트림 애플리케이션(downstream application)은 일반적인 사전학습만으로 완전히 표현하기 어려운 특정 목표, 데이터 분포(data distribution), 인터페이스, 제약조건(constraint), 성능 요구사항을 갖기 때문에 적응이 필요하다. 따라서 모델은 모든 가능한 작업을 위한 완성된 해결책이라기보다 더욱 특화된 능력을 구축할 수 있는 기반으로 기능한다.
전체 파인튜닝(Full Fine-Tuning)은 다운스트림 데이터(downstream data)를 사용하여 사전학습된 파라미터의 대부분 또는 전체를 업데이트하는 적응 전략이다. 전체 모델이 새로운 도메인에 맞게 변화할 수 있기 때문에 높은 유연성을 제공하지만 상당한 메모리(memory), 계산량(computation), 학습 데이터를 요구한다. 또한 기존에 유용했던 사전학습 표현을 변화시킬 수도 있다. 매우 큰 파운데이션 모델에서는 이러한 비용 때문에 원래 모델의 대부분을 유지하면서 제한된 구성요소만 변경하는 기술이 중요해진다.
파라미터 효율적 파인튜닝(Parameter-Efficient Fine-Tuning)은 상대적으로 적은 수의 파라미터만 업데이트하여 적응 비용을 줄인다. 어댑터(adapter)와 저랭크 적응(Low-Rank Adaptation, LoRA) 같은 방법은 사전학습 백본(pretrained backbone)의 대부분을 고정하면서 학습 가능한 구성요소를 추가할 수 있다. 이를 통해 모든 애플리케이션마다 완전한 모델을 독립적으로 저장하고 다시 학습하지 않고도 하나의 공통 파운데이션 모델을 유지하면서 서로 다른 작업, 환경, 로봇 또는 고객을 위한 여러 특화 버전(specialized variant)을 만들 수 있다.
프롬프팅(Prompting)은 반드시 모델의 파라미터를 수정하지 않고 명령(instruction)이나 문맥적 예제(contextual example)를 통해 모델의 행동을 조건화하는 또 다른 적응 방식이다. 인컨텍스트 학습(In-Context Learning)은 모델의 입력 컨텍스트 안에 원하는 행동의 예제를 제시함으로써 이러한 개념을 확장한다. 이러한 접근법은 일반 모델이 문제를 해석하는 방식을 빠르게 변경할 수 있지만, 그 효과는 사전학습에서 이미 획득한 능력과 컨텍스트에서 제공되는 정보에 의존한다.
다운스트림 작업(Downstream Task)은 사전학습된 지식이 궁극적으로 재사용되는 실질적인 문제이다. 언어 시스템(language system)에서는 분류(classification), 요약(summarization), 질의응답(question answering), 정보 추출(information extraction), 추론(reasoning), 코드 생성(code generation) 등이 포함될 수 있다. 비전 시스템(vision system)은 인식(recognition), 탐지(detection), 분할(segmentation), 검색(retrieval), 시각적 추론(visual reasoning)을 수행할 수 있다. 따라서 하나의 사전학습 백본은 적절한 프롬프트(prompt), 헤드(head), 어댑터(adapter), 작업 특화 학습(task-specific training)과 결합하여 다양한 출력을 지원할 수 있다.
로보틱스(Robotics)에서는 지능이 인식(perception)과 물리적 행동(physical behavior)을 연결해야 하기 때문에 다운스트림 작업이 훨씬 다양해진다. 사전학습된 로봇 모델은 객체 인식(object recognition), 장면 이해(scene understanding), 내비게이션(navigation), 파지(grasping), 조작(manipulation), 모바일 매니퓰레이션(mobile manipulation), 작업 계획(task planning), 인간-로봇 상호작용(human-robot interaction), 행동 생성(action generation)에 적응될 수 있다. 이러한 작업들은 객체와 환경에 대한 지식을 공유하면서도 서로 다른 출력 공간(output space), 제어 주기(control frequency), 안전 제약(safety constraint), 임바디먼트 특화 인터페이스(embodiment-specific interface)를 요구할 수 있다.
사전학습(Pretraining)과 다운스트림 학습(downstream learning)의 관계는 사전 지식(prior knowledge)의 전이로 이해할 수 있다. 사전학습이 없다면 새로운 작업을 배우는 로봇은 인식, 의미론(semantics), 공간 관계(spatial relationship), 행동을 동시에 학습하기 위해 충분한 작업 특화 예제가 필요할 수 있다. 강력한 사전학습 표현이 있다면 이러한 구조의 상당 부분이 이미 제공된다. 따라서 다운스트림 학습은 새로운 작업, 환경 또는 임바디먼트를 기존에 학습된 상황과 구별하는 정보에 보다 직접적으로 집중할 수 있다.
전이(Transfer)는 다운스트림 데이터 수집 비용이 높을 때 특히 중요하다. 인터넷 규모의 텍스트와 이미지 데이터는 상대적으로 저렴하게 수집할 수 있지만, 로봇 상호작용 데이터(robot interaction data)는 물리적 하드웨어, 운용 시간, 캘리브레이션(calibration), 감독(supervision), 유지보수(maintenance), 안전 관리(safety management)를 필요로 한다. 따라서 현실 세계의 시연(real-world demonstration)은 디지털 데이터보다 훨씬 획득하기 어려울 수 있다. 파운데이션 모델 개발은 광범위한 사전학습으로부터 최대한의 가치를 추출하여 희소한 로봇 특화 데이터가 주로 물리적 그라운딩(physical grounding)과 적응에 사용되도록 하는 것을 추구한다.
로봇 적응(Robot Adaptation)은 임바디먼트(Embodiment)도 고려해야 한다. 두 로봇이 동일한 명령을 이해하고 유사한 객체를 관측하더라도 서로 다른 매니퓰레이터(manipulator), 관절 제한(joint limit), 센서 구성(sensor configuration), 페이로드 용량(payload capacity), 이동 시스템(mobility system), 행동 공간(action space)을 가질 수 있다. 공유 파운데이션 모델은 공통된 의미 및 지각 지식을 제공할 수 있지만, 임바디먼트 특화 구성요소는 이러한 지식을 실행 가능한 물리적 행동으로 변환해야 한다. 따라서 적응은 일반 지능(general intelligence)과 특정 기계의 제약조건 사이를 연결하는 인터페이스 역할을 한다.
환경 특화 적응(Environment-Specific Adaptation)은 또 다른 변화 요인을 다룬다. 광범위한 데이터로 사전학습된 모델이라도 공장, 창고, 병원, 가정, 야외 지형과 같은 운용 환경에서 익숙하지 않은 시각 조건과 상호작용 규칙을 만날 수 있다. 파인튜닝 또는 문맥적 적응(contextual adaptation)은 일반 지식을 유지하면서 지역 객체(local object), 지도(map), 절차(procedure), 전문 용어(terminology), 위험요소(hazard), 운용 정책(operational policy)을 통합할 수 있다. 이러한 조합은 광범위한 사전학습의 이점을 버리지 않으면서 전문화를 가능하게 한다.
작업 특화 적응(Task-Specific Adaptation)은 지능형 시스템의 여러 수준에서 발생할 수 있다. 새로운 객체 범주를 위해 인식 헤드(perception head)를 학습하거나, 언어 구성요소가 도메인 전문 용어를 학습하거나, 플래너(planner)가 새로운 작업 규칙에 따라 조건화되거나, 정책(policy)이 다른 행동을 생성하도록 적응될 수 있다. 따라서 적응을 항상 하나의 단일 거대 모델(monolithic model)을 수정하는 것으로 볼 필요는 없다. 인식-추론-행동 파이프라인(perception-reasoning-action pipeline)의 서로 다른 지점에서 재사용 가능한 사전학습 구성요소와 특화 모듈을 조정하는 과정이 될 수 있다.
평가(Evaluation)는 사전학습, 적응, 다운스트림 배포(downstream deployment)를 연결한다. 사전학습 목표에서 높은 성능을 보인다고 해서 결과적인 표현이 실제 애플리케이션으로 효과적으로 전이된다는 보장은 없다. 따라서 모델은 여러 다운스트림 작업, 도메인, 환경, 조건에 걸쳐 평가되어야 한다. 물리 에이전트(physical agent)의 경우 오프라인 예측 정확도(offline prediction accuracy)에만 의존하지 않고 강건성(robustness), 지연시간(latency), 불확실성(uncertainty), 복구 행동(recovery behavior), 안전성(safety), 현실 세계 작업 완료(real-world task completion)를 추가로 고려해야 한다.
중요한 설계 문제는 사전학습에서 얼마나 많은 능력을 학습하고 적응 단계에 얼마나 많은 부분을 남겨둘 것인가이다. 광범위한 사전학습은 재사용성과 일반화(generalization)에 유리한 반면, 광범위한 다운스트림 전문화는 특정 환경이나 로봇에서 성능을 향상시킬 수 있다. 그러나 지나친 전문화는 일반성을 감소시키거나 기존에 학습한 능력의 파국적 망각(catastrophic forgetting)을 발생시킬 수 있다. 따라서 실용적인 파운데이션 모델 시스템은 공유 지식(shared knowledge)과 작업, 환경, 임바디먼트 특화 적응 사이의 균형을 유지해야 한다.
지속적 적응(Continual Adaptation)은 이러한 생명주기(lifecycle)를 단일 배포 이후까지 확장한다. 모델이 실제 환경에서 작동하기 시작하면 새로운 관측, 실패, 수정, 시연, 성공적인 상호작용이 추가적인 학습 신호(learning signal)가 될 수 있다. 이러한 데이터는 주기적인 파인튜닝, 정책 개선(policy improvement), 또는 미래의 사전학습 주기를 지원할 수 있다. 따라서 파운데이션 모델은 배포가 경험을 생성하고, 경험이 모델을 개선하며, 개선된 모델이 더욱 폭넓고 신뢰할 수 있는 능력을 갖추어 다시 다운스트림 시스템으로 돌아가는 데이터 엔진(data engine)에 참여할 수 있다.
전체 생명주기(Lifecycle)는 광범위한 데이터에서 재사용 가능한 지식으로, 재사용 가능한 지식에서 적응으로, 그리고 적응에서 실제 운용 작업으로 진행되는 과정으로 이해할 수 있다. 사전학습(Pretraining)은 일반적인 표현 기반을 제공하고, 적응(Adaptation)은 그 기반을 구체적인 요구사항에 맞게 정렬하며, 다운스트림 배포(Downstream Deployment)는 학습된 표현을 측정 가능한 실용적 가치로 변환한다. 로봇 파운데이션 모델(Robot Foundation Model)과 비전-언어-행동 모델(Vision-Language-Action Model, VLA)에서 이러한 과정은 대규모 학습(large-scale learning)을 현실 세계의 인식, 추론, 계획, 물리적 행동과 연결하는 핵심적인 다리가 된다.
01.03. Scaling Data Models and Compute
Scaling is one of the central mechanisms behind the development of modern foundation models. Rather than improving capability only through task-specific algorithms, foundation-model development increases the amount and diversity of training data, model capacity, and computational resources available during learning. These three dimensions interact closely, and useful scaling requires them to grow in a coordinated way rather than treating any single dimension as sufficient by itself.
Data scaling expands the experience from which a model can learn reusable representations. Larger datasets expose models to more concepts, objects, linguistic structures, environments, behaviors, and unusual situations. For multimodal foundation models, scale can include text, images, audio, video, structured information, and other modalities. Robot foundation models extend this space further with sensor observations, trajectories, demonstrations, actions, task instructions, and physical interaction data.
Increasing dataset size alone does not guarantee better learning. Data diversity and quality determine whether additional examples introduce useful information or merely repeat existing patterns. Duplicate, corrupted, incorrectly labeled, low-information, or strongly biased samples can consume compute without providing proportional benefits. Effective data scaling therefore includes collection, filtering, deduplication, balancing, quality assessment, mixture design, and sampling strategies alongside simple growth in the number of training examples.
Dataset composition becomes increasingly important as foundation models combine multiple domains and modalities. If one source dominates training, the model may allocate disproportionate capacity to its patterns while underlearning less frequent but important information. Training mixtures must therefore balance common knowledge against specialized data. In robotics, this problem includes balancing internet-scale vision-language knowledge with scarce robot demonstrations, physical trajectories, embodiment-specific observations, and interaction experience.
Model scaling increases the representational and computational capacity available to learn structure from large datasets. Larger neural networks can contain more layers, wider hidden representations, more attention components, or other architectural capacity. This additional capacity allows increasingly complex relationships to be represented, but parameter count alone is not equivalent to intelligence. Architecture, optimization, data coverage, training objectives, and inference constraints determine whether additional parameters are used effectively.
A model that is too small relative to its training data may lack sufficient capacity to absorb the available information. Conversely, an extremely large model trained with insufficient data may use its parameters inefficiently and fail to realize the expected improvement. Scaling therefore requires balancing model size with the amount of useful training information. The objective is not simply to construct the largest possible network but to allocate parameters where they can produce meaningful improvements in representation and transfer.
Compute scaling provides the processing required to train larger models on larger datasets. Training modern foundation models involves enormous numbers of tensor operations distributed across GPUs, accelerators, servers, and sometimes large computing clusters. Increased compute can support more parameters, more training tokens or samples, larger batches, longer sequences, higher-resolution observations, and additional optimization steps. Compute therefore connects the theoretical scale of data and models with what can practically be trained.
Computational scale is constrained by more than the number of available accelerators. Memory capacity, memory bandwidth, communication bandwidth, storage throughput, interconnect topology, numerical precision, parallelization strategy, and software efficiency can determine actual training performance. Large-scale training systems must keep accelerators supplied with data while coordinating parameter updates across devices. Poor infrastructure utilization can make nominally powerful hardware deliver far less effective compute than its specifications suggest.
Scaling laws describe empirical relationships between resources and model performance. Across many model families, increasing data, parameters, and compute has produced relatively predictable improvements over substantial ranges of scale. These observations make it possible to estimate how additional resources may affect training loss or downstream performance. Scaling laws do not guarantee that every capability improves uniformly, but they provide a framework for thinking about resource allocation before committing to expensive training runs.
Compute-optimal training emphasizes that a fixed computational budget should be divided appropriately between model size and training data. Spending most of the budget on an oversized model while providing too little training information can be inefficient. Likewise, repeatedly processing enormous datasets with insufficient model capacity may waste useful information. Practical scaling therefore involves selecting a model-data combination that extracts as much learning value as possible from the available computational budget.
Multimodal scaling introduces additional complexity because different modalities have different information density, dimensionality, sampling rates, and computational requirements. Text can be represented as relatively compact token sequences, while images and video may generate large numbers of visual tokens. Robot sensor streams can include multiple cameras, depth, LiDAR, proprioception, and temporal histories. Scaling multimodal systems therefore requires decisions about encoding, tokenization, compression, fusion, and temporal sampling.
Video and robotics make temporal scaling particularly important. A single image describes one moment, whereas physical behavior unfolds across sequences of states and actions. Increasing temporal context can help models understand motion, causality, task progress, and long-horizon dependencies, but it also increases memory and compute requirements. Efficient representations are therefore needed to preserve important temporal information without forcing every sensor measurement to receive equal computational attention.
Robot data presents a special scaling bottleneck because physical experience is expensive to generate. A language model can learn from vast quantities of existing digital text, while robot trajectories require machines to operate in the physical world or realistic simulation. Hardware wear, human supervision, safety constraints, reset time, environmental diversity, and demonstration cost limit collection rates. Consequently, robot foundation models cannot depend on physical data scaling in exactly the same way as language models depend on text.
One strategy is to combine heterogeneous sources of experience. Internet images and video can provide broad semantic and visual knowledge, simulation can generate large quantities of controlled interaction, human demonstrations can provide behavioral structure, and real robot data can supply embodiment-specific physical grounding. The resulting data mixture allows expensive robot experience to complement rather than replace cheaper sources of knowledge, increasing the effective scale available to a robot foundation model.
Cross-embodiment data can provide another dimension of scaling. Instead of collecting data independently for every robot, training can combine experience from manipulators, mobile robots, mobile manipulators, humanoids, quadrupeds, and other platforms. Shared perceptual and semantic patterns may transfer across these embodiments even when their action spaces differ. This creates the possibility that increasing the diversity of robots contributes to generalization in addition to merely increasing the number of trajectories.
Scaling also affects capabilities observed after training. Larger and more diverse training regimes can improve transfer, few-shot adaptation, contextual learning, multimodal alignment, and performance on tasks that were not explicitly optimized individually. Some capabilities may become more visible only beyond particular levels of model, data, or compute scale. However, such emergence is not guaranteed, and capability growth can be uneven across domains, making systematic evaluation necessary throughout the scaling process.
The cost of scaling creates practical limits. Training requires accelerator hardware, electricity, cooling, networking, storage, engineering effort, and substantial experimentation. Larger models also create downstream costs because inference may require more memory, power, and latency. For Physical AI, these constraints are especially important because models may eventually need to operate on edge computers carried by robots rather than exclusively in large data centers with abundant power and cooling.
Training scale and deployment scale should therefore be considered together. A large model can be pretrained using substantial centralized compute and later compressed or adapted for deployment through quantization, pruning, distillation, efficient attention, or smaller specialized models. Another possibility is to divide computation between edge, on-premise infrastructure, and cloud resources. The foundation model can thus benefit from large-scale training without requiring every deployed physical agent to reproduce the original training infrastructure.
Scaling must also include evaluation and safety rather than focusing exclusively on capability. More data and compute can improve average performance while leaving rare failures, distribution shifts, biases, hallucinations, unsafe actions, or poorly calibrated uncertainty unresolved. In robotics, increasing model capability without corresponding improvements in validation can amplify physical risk. Evaluation datasets, simulation testing, real-world benchmarks, safety constraints, runtime monitoring, and fallback mechanisms therefore need to scale alongside the model.
The broader principle is that foundation-model scaling is a systems problem involving data, model capacity, compute, infrastructure, training objectives, evaluation, and deployment constraints. Successful scaling occurs when these elements reinforce one another: diverse high-quality data supplies information, sufficient model capacity represents it, compute enables learning, and efficient infrastructure makes the process economically feasible. Adaptation and deployment then convert the resulting general representations into useful downstream capabilities.
For robot foundation models and Vision-Language-Action models, scaling ultimately aims to increase the breadth of physical situations in which learned knowledge can be reused. The challenge is not merely to create larger neural networks, but to scale experience, representation, computation, embodiments, environments, and evaluation together. This coordinated approach provides the foundation for moving from narrowly trained robot policies toward increasingly general models capable of transferring knowledge across tasks, robots, and real-world conditions.
스케일링(Scaling)은 현대 파운데이션 모델(Foundation Model)의 발전을 이끄는 핵심 메커니즘 가운데 하나이다. 작업 특화 알고리즘(task-specific algorithm)만을 통해 능력을 향상시키는 대신, 파운데이션 모델 개발에서는 학습에 사용되는 데이터의 양과 다양성, 모델 용량(model capacity), 계산 자원(computational resource)을 함께 증가시킨다. 이 세 가지 차원은 서로 밀접하게 상호작용하며, 효과적인 스케일링을 위해서는 어느 하나만 충분하다고 보는 것이 아니라 서로 조화롭게 확장해야 한다.
데이터 스케일링(Data Scaling)은 모델이 재사용 가능한 표현(reusable representation)을 학습할 수 있는 경험의 범위를 확장한다. 더 큰 데이터셋(dataset)은 모델을 더 많은 개념, 객체, 언어 구조, 환경, 행동, 특이 상황에 노출시킨다. 멀티모달 파운데이션 모델(multimodal foundation model)의 경우 텍스트, 이미지, 오디오, 비디오, 구조화된 정보 등이 포함될 수 있다. 로봇 파운데이션 모델(Robot Foundation Model)은 이를 센서 관측(sensor observation), 궤적(trajectory), 시연(demonstration), 행동(action), 작업 명령(task instruction), 물리적 상호작용 데이터까지 확장한다.
그러나 단순히 데이터셋 크기를 증가시킨다고 더 나은 학습이 보장되는 것은 아니다. 데이터 다양성(data diversity)과 품질(quality)은 추가된 사례가 유용한 정보를 제공하는지 아니면 기존...
![Robot Foundation Models and VLA — Ch.01: Foundation Model Fundamentals [EN]](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2F2ztem9n9rhhk6x17zs5l.png)




![Robot Foundation Models and VLA — Ch.03: Vision Language Models for Robotics [EN]](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2Fmezw012qznfr1y0dyk0f.png)
![Robot Foundation Models and VLA — Ch.00: Introduction [EN]](https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2F9dll4ks73ukbnxzg38wy.png)