JEPA-Anything: Learning Predictive Models across Different Worlds

World modeling enables intelligence to anticipate consequences, guide interventions, and learn from interaction. Yet predictive models remain domain-specific: can a common learning principle support world modeling across radically different systems? We introduce JEPA-Anything, a domain-agnostic framework based on orthogonal predictive factorization (OPF). Extending joint-embedding predictive architectures, OPF decomposes latent targets into complementary factors, learns them through dedicated pathways, and recombines them within a shared predictive design. We evaluate JEPA-Anything across seven domains: vision, biology, clinical trajectories, control, molecular dynamics, physical fields, and weather. Experiments span representation learning, intervention prediction, out-of-distribution generalization, and long-horizon dynamics, including 10 matched dynamics tasks, forecasting of over 1,000 clinical events, and 100-step molecular rollouts across four systems. Against matched JEPA baselines, JEPA-Anything improves reported metrics on all 10 dynamics tasks and reduces single-intervention prediction error on Interventional Pong by 34.8%. It achieves the lowest one-step and 100-step molecular errors among compared methods in all four systems. Beyond prediction, a factor-nominated biological intervention receives experimental support in cell co-cultures, patient-derived organoids, tumor fragments, and mice; latent orbital modes recover the Keplerian scaling exponent with a fitted slope of -1.4991. These results support a common factorized predictive principle across heterogeneous worlds, connecting world modeling with intervention and experimentally grounded scientific discovery. Code: https://github.com/Gen-Verse/JEPA-Anything

한 줄 요약

JEPA-Anything는 다양한 도메인에서 예측 모델링을 가능하게 하는 통합 프레임워크로, 정교한 인자 분해와 재사용 가능한 예측 구조를 통해 성능을 향상시킨다.

핵심 기여도

**JEPA-Anything**라는 도메인-아그노스틱 프레임워크를 제안, **orthogonal predictive factorization (OPF)**을 기반으로 한다.
7개 도메인(비전, 생물학, 임상, 제어, 분자 역학, 물리장, 날씨)에서 평가하여 10개 예측 작업에서 기존 JEPA 베이스라인 대비 **모든 작업에서 성능 개선**.
**Interventional Pong**에서 단일 개입 예측 오류를 **34.8% 감소**.
**4개 분자 시스템**에서 1단계 및 100단계 예측 오차가 비교 방법 중 **가장 낮음**.

핵심 아이디어

JEPA-Anything는 기존 JEPA 아키텍처를 확장하여, **latent target을 complementary factors로 분해**하고, 각 인자를 **dedicated pathways**를 통해 학습한 후, **shared predictive design** 내에서 재조합하는 방식을 채택한다. 이는 단일 예측 경로가 아닌 다중 인자 경로를 통해 예측 능력을 분산하고, **orthogonality objectives**를 통해 인자 간 간섭을 최소화함으로써 예측 정확도를 높인다.

**Factor-activity regularization**과 **online variance term**을 통해 인자 공간의 다양성을 유지하고, 인코더의 collapse를 방지한다. 이는 특히 복잡한 다중 스케일, 다중 엔티티 시스템에서 예측 성능을 안정화하는 데 기여한다.

이러한 접근은 **JEPA-Anything가 단일 도메인에 제한되지 않고, 다양한 world modeling 시스템에 적용 가능**하도록 하며, **context–target 관계가 정의된 모든 시스템에 동일한 학습 프레임워크를 적용**할 수 있다는 점에서 혁신적이다.

기술적 접근법

**JEPA-Anything**는 **orthogonal predictive factorization (OPF)**을 기반으로, **latent target을 여러 인자로 분해**하고, 각 인자에 대해 별도의 예측 경로를 사용.
**Factor-activity regularization**과 **online variance term**을 통해 인자 공간의 다양성과 인코더의 안정성을 유지.
**Adapters**를 통해 도메인별 관찰 기하학 정의, **OPF**가 예측 능력을 조직, **readout, synthesis, factor analysis**가 학습된 상태를 활용.
**JEPA-Anything core**는 모든 도메인에서 동일하게 적용되며, **context와 target state가 정의되면 동일한 factorized predictive core가 적용**.
**Temporal conditioning, masking, partial observation**을 통해 미래, 공간적, 생물학적 구조화된 타겟을 인스턴스화.

주요 결과

**10개 dynamics task**에서 JEPA-Anything는 기존 JEPA 베이스라인 대비 **모든 작업에서 성능 개선**.
**Interventional Pong**에서 단일 개입 예측 오류를 **34.8% 감소**.
**4개 분자 시스템**에서 1단계 및 100단계 예측 오차가 비교 방법 중 **가장 낮음**.
**생물학적 개입**은 세포 공배양, 환자 유래 유기체, 종양 조각, 쥐 실험에서 **실험적 지지**를 받음.
**Keplerian scaling exponent**를 **−1.4991**의 slope로 복원.

의의 및 한계

JEPA-Anything는 **다양한 world modeling 시스템에 적용 가능한 공통 예측 원칙**을 제시하며, **도메인 간 예측 모델링의 일반화 가능성**을 입증한다. 특히, **생물학적 실험과 물리적 법칙의 복원**을 통해 예측 모델이 실험적 과학 발견과 연결될 수 있음을 보여준다.

하지만, **모든 도메인에서 동일한 학습 프레임워크가 적용되더라도, 도메인별 특성에 따라 인자 분해의 효과가 달라질 수 있음**이 한계로 제기된다. 또한, **복잡한 다중 인자 구조를 학습하는 데 필요한 계산 비용**이 높을 수 있다.

실용적 활용

JEPA-Anything는 **의료 예측, 분자 시뮬레이션, 물리 시스템 모델링, 제어 시스템 설계** 등 다양한 산업 및 연구 분야에 적용 가능하다. 특히, **복잡한 다중 스케일 시스템에서의 예측 및 실험적 검증**이 필요한 과학 연구에 유용하며, **임상 데이터 기반의 미래 상태 예측 및 개입 효과 분석**에도 활용 가능하다.