LISA: Likelihood Score Alignment for Visual-condition Controllable Generation

The prevalent dual-branch paradigm, i.e., training a side network to encode visual conditions and fusing its intermediate-layer features to a frozen pretrained main network, has shown remarkable success in visual-condition controllable generation. Despite its widespread adoption, the role of the side branch and its training efficiency remain underexplored. In this paper, we first revisit this mainstream paradigm through the lens of score-based generative modeling: 1) The main network preserves visual perceptual quality by providing a prior unconditional score. 2) The side network steers conditional control by implicitly contributing a likelihood score. Guided by this perspective, we propose LIkelihood Score Alignment (LISA), an effective regularization method that explicitly aligns the intermediate feature of the side network with an approximated likelihood score. Specifically, we first hook features from a designated layer of the side network and project them into the score latent space by a lightweight decoder. Then, we construct an approximated likelihood score target and calculate the distance between the decoder's output and this target as an additional regularization loss. Finally, we jointly optimize the side network and decoder with both standard diffusion loss and our regularization loss. Experiments across various image/video tasks, architectures, and diffusion/flow models demonstrated that LISA can not only consistently accelerate the training convergence and improve final synthetic results, but also encourage the side network's features to be more disentangled for conditional modeling with negligible additional training cost and zero extra inference cost.

한 줄 요약

LISA는 시각 조건 생성에서 사이드 네트워크의 특징을 가능성 점수와 정렬하여 학습 효율과 생성 품질을 향상시키는 정규화 방법이다.

핵심 기여도

LISA는 사이드 네트워크의 중간 특징을 가능성 점수와 정렬하여 정규화한다.
ControlNet 기반 모델에서 추가 파라미터는 약 0.1%에 불과하며, 추론 시 디코더를 제거해 0 추가 비용을 유지한다.
포즈 조건 이미지 생성에서 PCK 89.90% 달성 (기존 85.97% 대비 +3.93%)
다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 보인다.

핵심 아이디어

기존 이중 분기 패러다임에서 메인 네트워크는 무조건 점수를 제공하고, 사이드 네트워크는 조건 점수와의 차이인 가능성 점수를 암묵적으로 학습한다. 그러나 이 가능성 점수에 대한 명시적 정규화가 부재해 학습 효율이 낮았다. 이를 해결하기 위해 LISA는 사이드 네트워크의 중간 특징을 가능성 점수와 정렬하는 정규화를 도입했다. 이는 디코더를 통해 특징을 점수 잠재 공간으로 변환하고, 이 출력과 가능성 점수 간의 거리를 정규화 손실로 사용한다. 이 정규화는 학습 속도를 가속화하고, 조건 모델링의 해소성을 향상시킨다.

기술적 접근법

**LISA 정규화**: 사이드 네트워크의 특정 레이어에서 특징을 추출하고, 가벼운 디코더(네트워크 크기의 약 0.1%)를 통해 점수 잠재 공간으로 변환.
**가능성 점수 계산**: 메인 네트워크의 무조건 점수와 조건 점수의 차이로 가능성 점수를 추정.
**손실 함수**: 디퓨전 손실과 LISA 정규화 손실을 결합하여 최적화.
**추론 시 디코더 제거**: 추론 단계에서는 디코더를 제거해 추가 비용 없이 사용 가능.
**하이퍼파라미터**: 정렬 깊이 5, 정규화 가중치 λ=0.2가 최적 성능을 보임.

주요 결과

**포즈 조건 이미지 생성**: PCK 89.90% (기존 85.97% 대비 +3.93%)
**추가 파라미터**: ControlNet 대비 약 0.1% 증가 (364.2M → 364.6M)
**추론 비용**: 0 추가 비용 (디코더 제거)
**학습 시간**: 1회 반복당 2.3초 (ControlNet 2.1초 대비 +0.2초)
**다양한 아키텍처 및 모델**: U-Net, DiT, 디퓨전/플로우 모델 모두에서 일관된 성능 향상

의의 및 한계

LISA는 기존 이중 분기 패러다임에서 사이드 네트워크의 명시적 정규화를 도입함으로써, 학습 효율과 생성 품질을 동시에 향상시킨다. 특히, 외부 의미 인코더 없이도 효과적인 정규화를 가능하게 하며, 추론 비용은 전혀 증가하지 않는다. 이는 실용적이고 확장 가능한 솔루션이다. 그러나 현재 연구는 이미지 및 비디오 생성에만 적용되었으며, 다른 조건 유형(예: 텍스트-시각 복합 조건)에 대한 일반화는 추가 연구가 필요하다. 또한, 정규화 강도(λ)나 정렬 깊이 등 하이퍼파라미터는 특정 작업에 따라 최적화가 필요하다.

실용적 활용

LISA는 포즈, 깊이, 분할 맵 등 시각 조건이 필요한 이미지 및 비디오 생성 작업에 적용 가능하다. 특히, ControlNet과 같은 기존 모델에 추가 비용 없이 통합되어, 산업 현장에서의 실시간 생성 작업에도 유용하다. 또한, 조건 분해가 필요한 복합적 제어 작업에서 자연스러운 성능 향상을 기대할 수 있다.