End-to-End Differentiable Diffusion Conditioning for Physics-Informed Optimization

Optimizing high-dimensional physical systems under expensive evaluations and complex constraints is a central challenge in science and engineering. In offline model-based optimization (MBO), methods must improve designs using only a fixed dataset and no test-time access to the true objective. However, existing methods typically suffer from conservatism, unconstrained surrogate exploitation, or function as static inference-time samplers that cannot refine candidates against precise physical objectives. In this paper, we propose Differentiable Diffusion Conditioning (D2C) for offline MBO, which leverages the fact that deterministic sampling makes the reverse denoising chain differentiable with respect to the conditioning signal. D2C turns a frozen conditional diffusion model into an end-to-end gradient-based optimizer by directly optimizing conditioning variables at test time via gradients from frozen surrogate objectives and physics-informed penalties backpropagated through the reverse chain. We implement this idea in a composed proposer-evaluator framework and evaluate it on laser pulse optimization for inertial confinement fusion, sustainable data-center workload scheduling, and four Design-Bench tasks. Our method achieves the strongest results on the two real-world tasks and the best average rank across four Design-Bench tasks.

한 줄 요약

D2C는 조건부 확산 모델을 활용한 오프라인 모델 기반 최적화 프레임워크로, 물리적 제약 하에서의 설계 성능을 향상시킨다.

핵심 기여도

조건 입력을 최적화 변수로 삼아 확산 모델의 역확산 과정을 미분 가능하게 구현 (D2C).
고정된 제안자-평가자 아키텍처를 통해 데이터 분포 내에서 안정적인 최적화 수행.
Dirichlet 가중치를 사용한 다목적 최적화를 확산 샘플링 체인에 통합.
ICF 레이저 펄스 최적화와 데이터센터 워크로드 스케줄링에서 기존 방법 대비 우수한 성능.

핵심 아이디어

D2C는 확산 모델의 역확산 과정이 결정론적일 경우 조건 신호에 대해 미분 가능하다는 점을 활용한다. 이는 조건 입력을 최적화 변수로 삼아, 고정된 서로가 평가자와 물리 기반 페널티를 통해 역확산 체인을 따라 경사를 전파할 수 있게 한다. 이 방식은 기존 오프라인 MBO 방법들의 보수성, 서로가 평가자 과도한 활용, 정적 샘플링 한계를 극복한다. 특히, D2C는 제안자(Gθ)와 평가자(Sϕ)가 고정된 상태에서 조건 입력만 업데이트함으로써 데이터 분포에 가까운 설계를 유지하면서도 목적 함수를 최적화한다. 이는 기존의 조건 신호를 고정된 입력으로 처리하는 방식과 달리, 조건 자체를 최적화 대상으로 삼는 새로운 통찰이다.

기술적 접근법

**D2C 프레임워크**: 조건부 확산 모델(Gθ)을 제안자로, 고정된 서로가 평가자(Sϕ)를 사용.
**확산 샘플링 체인**: DDIM(reverse chain)을 사용하며, 조건 입력에 대해 미분 가능.
**최적화 알고리즘**: 조건 입력을 직접 최적화하며, 평가자와 물리 기반 페널티를 통해 경사도 전파.
**다목적 최적화**: Dirichlet 가중치를 사용한 스토캐스틱 손실 함수로, 경쟁적 목표 간 균형 조정.
**하이퍼파라미터**: 조건 입력 업데이트 주기, 평가자 학습률 등은 고정된 상태에서 테스트.

주요 결과

**레이저 펄스 최적화 (ICF)**: 기존 방법 대비 높은 성능 달성.
**데이터센터 워크로드 스케줄링**: 물리적 제약을 만족하면서도 에너지 효율 향상.
**Design-Bench 4개 태스크**: 평균 순위가 기존 방법 대비 가장 우수 (1위).
**D2C vs. 기존 방법**: 조건 입력 최적화를 통해 레이턴트 노이즈 최적화 방식보다 더 높은 성능 (Appendix D.7 참조).

의의 및 한계

D2C는 물리 기반 목적 함수와 제약 조건을 직접 확산 샘플링 체인에 통합하여, 기존 오프라인 MBO의 한계를 극복한다. 특히, 고정된 제안자-평가자 구조는 데이터 분포 내에서 안정적인 최적화를 가능하게 하며, 다목적 최적화를 위한 Dirichlet 가중치는 복잡한 목적 간 균형을 유지한다. 그러나 D2C는 확산 모델의 학습 과정에서의 오류나 제안자와 평가자 간의 불일치가 최적화 성능에 영향을 줄 수 있다. 또한, 복잡한 목적 함수나 제약 조건이 포함된 상황에서는 추가적인 페널티 설계가 필요할 수 있다.

실용적 활용

D2C는 레이저 펄스 설계, 데이터센터 에너지 최적화, 자동차 공학, 반도체 설계 등 물리적 제약이 중요한 산업 분야에 적용 가능하다. 특히, 테스트 시점에 목적 함수에 접근할 수 없는 오프라인 최적화 상황에서 유용하며, 설계 공간이 고차원적이고 비선형적인 문제에 적합하다.