CrossTimeEdit: A Decade-Spanning Cross-View Dataset and Reward-Guided Editing for Historical Street-View Generation

Historical street-view imagery records urban evolution, but uneven coverage leaves substantial gaps in historical records. Generating plausible past appearances requires restoring changed structures while preserving persistent scene content. We construct VIGOR-his, a decade-spanning cross-view dataset containing 43,653 location-level quadruplets across 11 cities on three continents. Its automated pipeline performs spatial pairing, consistency screening, change classification, and the generation and validation of satellite-based change descriptions and local editing instructions. Based on VIGOR-his, we propose CrossTimeEdit, a model that reformulates historical street-view generation as editing, using recent street views to constrain viewpoint and unchanged appearance and temporal satellite differences as change evidence. Starting from FLUX.2 [Klein] 4B, we train CrossTimeEdit through supervised fine-tuning (SFT) followed by online reinforcement learning (RL). We design three street-view editing criteria, namely Instruction Alignment (IA), Background Preservation (BP), and Quality and Physical Plausibility (QP), as both RL reward dimensions and evaluation metrics. We optimize this multi-reward objective using Within Group Relative Policy Optimization for flow-matching models (Flow-GRPO) with Group reward-Decoupled Normalization Policy Optimization (GDPO), which normalizes each reward dimension before aggregation. CrossTimeEdit improves overall performance across the three editing criteria by 17.12\% over the pretrained baseline and outperforms cross-view generation models in scene consistency, visual realism, and perceptual quality. The implementation code, dataset, and model weights are available at https://luhanwen67.github.io/CrossTimeEdit-release/.

한 줄 요약

CrossTimeEdit은 역사적 스트리트뷰 생성을 편집 문제로 재구성한 모델로, VIGOR-his 데이터셋과 강화학습 기반의 3가지 편집 기준을 통해 17.12% 성능 향상을 달성했다.

핵심 기여도

VIGOR-his: 3대륙 11도시에 걸쳐 43,653개의 위치 수준 쿼드럽릿을 포함한 10년간 교차 뷰 데이터셋.
CrossTimeEdit: FLUX.2 4B 기반으로 SFT와 Flow-GRPO+GDPO를 사용한 강화학습 편집 모델.
3가지 편집 기준(Instruction Alignment, Background Preservation, Quality and Physical Plausibility)을 RL 보상 및 평가 지표로 통합.
기존 사전 학습 모델 대비 17.12% 개선된 전체 편집 성능.

핵심 아이디어

기존 스트리트뷰 생성 모델은 위성 이미지만을 기반으로 생성하여 장소별 지속적인 요소를 유지하지 못하는 문제가 있었다. CrossTimeEdit은 최근 스트리트뷰를 시각적 기준으로 사용하고, 시간적 위성 차이를 변화 증거로 활용하여 편집 기반 접근법을 제안한다. 이는 기존의 노이즈 기반 생성과 달리, 편집을 통해 변화된 구조만 수정하고, 배경은 유지하는 방식이다.

핵심 통찰은 ‘편집’이라는 프레임워크를 도입하여, 변화된 구조를 정확히 재현하면서도 지속적인 요소를 보존할 수 있다는 점이다. 이를 위해 VIGOR-his 데이터셋은 자동 파이프라인을 통해 위성 기반 변화 설명과 편집 지시사항을 생성하고, CrossTimeEdit은 이 데이터를 기반으로 훈련된다.

기술적 접근법

**데이터셋**: VIGOR-his는 자동 파이프라인을 통해 공간 쌍정, 일관성 스크리닝, 변화 분류, 위성 기반 변화 설명 생성 및 편집 지시 검증을 수행.
**모델 훈련**: FLUX.2 4B 모델을 기반으로 SFT(감독 미세조정)와 Flow-GRPO+GDPO(강화학습)를 순차적으로 적용.
**보상 설계**: Instruction Alignment(IA), Background Preservation(BP), Quality and Physical Plausibility(QP) 3가지 기준을 RL 보상 차원으로 설정.
**강화학습 최적화**: Flow-GRPO(그룹 내 상대 정책 최적화)와 GDPO(그룹 보상 분리 정규화 정책 최적화)를 결합하여 보상 차원별 정규화를 수행.

주요 결과

CrossTimeEdit은 사전 학습된 FLUX.2 4B 기반 모델 대비 전체 편집 성능(Editing Overall)에서 17.12% 개선.
Cross-view 평가에서 ControlS2S(2.084), Sat2Density(2.015), ControlNet(1.740) 대비 CrossTimeEdit(3.546)이 Cross-view Overall 점수에서 우수함.
인간 선호도 평가에서 CrossTimeEdit은 64%의 승률을 기록하며, Qwen-Image-3.0-Pro(1위), GPT-Image-2(2위)에 이어 4위를 기록.
Cross-view 평가와 인간 선호도 간의 순서 일관성은 Pearson r=0.896, Spearman ρ=1.000로 매우 높음.

의의 및 한계

CrossTimeEdit은 역사적 스트리트뷰 생성에서 편집 기반 접근법을 도입함으로써, 기존 생성 모델의 지속 요소 파괴 문제를 해결하고, 시각적 일관성과 물리적 타당성을 동시에 달성했다. VIGOR-his 데이터셋은 위성-스트리트뷰 간 시간적 변화를 정량화한 편집 지시사항을 제공하며, 편집 모델 훈련에 중요한 역할을 한다.

하지만 위성 이미지에서 관측 불가능한 세부 역사적 정보, 촬영 시기 간 시점 차이, 평가자별 선호도 차이 등은 여전히 해결되지 않은 문제이다. 또한, 모델은 특정 도시와 조건에 제한될 수 있으며, 더 다양한 역사적 증거와 독립적 평가 모델이 필요하다.

실용적 활용

CrossTimeEdit은 도시 발전 분석, 건축 복원, 도시 계획 등에서 역사적 스트리트뷰를 재현하는 데 활용될 수 있다. 특히, 위성 이미지만으로는 파악하기 어려운 지표를 스트리트뷰 수준으로 보완할 수 있어, 도시 역사 연구와 시각화에 유용하다. 또한, 편집 기반 접근법은 디지털 아카이빙 및 가상 현실(VR) 환경 구축에도 적용 가능하다.