Physical AI: Concepts, Techniques, and Challenges

In recent years, physical artificial intelligence (physical AI) has experienced rapid development, capturing significant attention in academia and industry. However, the field has yet to reach consensus on its definition, technical landscape, and core challenges. To address this gap, this monograph seeks to define physical AI, present its technical landscape, and examine each key technical subfield in depth. In doing so, it establishes a unified framework for Physical AI: artificial systems that perceive, model, and act upon the physical world through continuous feedback under real-world constraints. Further, this monograph distinguishes physical AI from conventional digital AI, embodied AI, cyber-physical systems, and digital twins. It develops the foundations of physical AI across physics, control, cognition, learning, and reasoning. It reviews key methodologies, including multimodal perception, physical data and simulation, world models, embodied foundation models, motor-control systems, multi-agent coordination, and hardware-software co-design. Furthermore, it examines applications spanning robotics, manufacturing, infrastructure, scientific experimentation, and autonomous services. Particular attention is given to sim-to-real transfer, reliability, real-time execution, evaluation, safety, governance, and long-term deployment. By connecting perception, prediction, decision-making, action, and adaptation in a closed loop, this monograph identifies the technical challenges and research directions required to advance from narrow automation toward more generalizable physical AI and, ultimately, physical artificial general intelligence (Physical AGI).

한 줄 요약

물리적 AI(Physical AI)는 실세계와 상호작용하는 인공 시스템의 통합 프레임워크를 제시하며, 모델 예측 제어(MPC), 하드웨어-소프트웨어 협업 설계 등 핵심 기술을 다룬다.

핵심 기여도

물리적 AI의 정의와 기술적 범위를 명확히 제시함.
모델 예측 제어(MPC), 월드 모델, 임베디드 퍼사드 모델 등 핵심 기술을 체계적으로 분석함.
헬릭스 02(Helix 02)와 같은 구체적 아키텍처를 통해 시스템 계층 구조를 설명함.
실시간 실행, 신뢰성, 안전성, 장기 배포 등 실제 적용 시 핵심 과제를 제시함.

핵심 아이디어

물리적 AI는 디지털 AI와 달리, 실제 물리적 환경을 인식하고 모델링하며 행동하는 시스템을 다룬다. 이는 단순히 데이터를 처리하는 것이 아니라, 피드백 루프를 통해 환경에 적응하고 조정하는 것을 목표로 한다. 본 논문은 이 과정에서 **모델 예측 제어**(MPC)와 같은 알고리즘, **하드웨어-소프트웨어 공동 설계**, **전신 제어**(Whole-Body Control) 등이 핵심 역할을 한다고 강조한다. 특히, **헬릭스 02**(Helix 02) 시스템은 System 2-System 1-System 0 계층 구조를 통해 시맨틱 목표를 시각-모터 목표로 전환하고, 이를 제어 실행으로 연결하는 구체적 사례로 제시된다.

기술적 접근법

**모델 예측 제어**(MPC)는 유한 시간 범위 내 최적 제어 문제를 반복적으로 해결하며, **단계 비용**(stage cost)과 **종단 비용**(terminal cost)을 최소화함.
**전신 제어**(Whole-Body Control, WBC)는 더 빠른 주파수(1kHz)로 관절 수준의 제어 명령을 생성함.
**헬릭스 02**(Helix 02)는 System 1이 200Hz로 전신 관절 목표를 생성하고, System 0이 1kHz로 제어 명령을 실행함.
**모델 배포 및 효율 최적화**에서는 **모델 압축**, **추론 가속**, **프로파일링**을 통해 실시간 실행 성능을 개선함.
**감각-운동**(visuomotor) 인터페이스에서는 **팔 손바닥 카메라**와 **손가락 끝 터치 센서**를 활용해 피드백을 보완함.

주요 결과

**헬릭스 02**(Helix 02) 시스템은 System 1이 200Hz, System 0이 1kHz로 실행되어, **전신 자율성**(Full-Body Autonomy)을 달성함.
**모델 예측 제어**(MPC)는 **비선형**(nonlinear) 및 **선형**(linear) 시스템 모두에서 적용 가능하며, **최적화 문제**(optimization problem)를 반복적으로 해결함.
**ScaleBFM** 평가 지표는 **시퀀스 수준 성공률**, **평균 키포인트 위치 및 회전 오차**를 기준으로 **제어 정확도**를 측정함.
**HUGWBC**는 **기저 선형 속도**, **지면 마찰**, **발 부착 힘**을 **특권 관측**(privileged observation)으로 활용하여 **정책 최적화**를 지원함.

의의 및 한계

물리적 AI는 **로봇**, **제조**, **인프라**, **자율 서비스** 등 다양한 분야에서 **실세계 적용**을 목표로 하며, **실시간 실행**, **신뢰성**, **안전성**이 핵심 과제임.
그러나 **시뮬레이션-실세계 전이**(sim-to-real transfer), **장기 배포**, **정책 평가** 등은 여전히 **기술적 도전**으로 남음.
**MPC**는 **예측 오류**(prediction error)와 **피드백 필요성**을 동시에 고려해야 하며, **최적화 문제의 계산 비용**이 높아 **실시간 실행**에 어려움이 있음.

실용적 활용

**로봇 제어**(robot control), **제조 자동화**(manufacturing automation), **인프라 관리**(infrastructure monitoring) 등에서 **물리적 AI**는 **복잡한 환경**에서의 **자율 실행**을 가능하게 함.
**헬릭스 02**(Helix 02)와 같은 시스템은 **인간 모양 로봇**(humanoid robot)의 **전신 자율성**을 구현하는 데 활용될 수 있음.
**MPC**와 **전신 제어**(WBC)는 **다목적 로봇**(multi-task robot)의 **정밀 제어**와 **안정성**을 향상시키는 데 기여함.