Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

I describe my solution to the LeHome Challenge 2026, an ICRA 2026 competition on bimanual garment folding. The system placed 1st of 62 teams in the online (simulation) round and 2nd in the real-world final. It improves a vision-language-action (VLA) policy with a reinforcement-learning loop. The policy is its own value function: the same network that predicts actions also predicts success, progress, and a few task-relevant future quantities, and those predictions drive advantage estimation, live failure detection, and candidate selection. The work mostly recombines existing RL ideas with engineering and optimization contributions that can be used together as one recipe or individually: AWR + RECAP combined for flow-matching VLA; an asynchronous distributed training / rollout pipeline through HuggingFace Hub; inference-time hyperparameters optimization via Thompson sampling; a sim-to-real recipe with camera-alignment tooling, heavy augmentation and DAgger-like HIL data collection.

한 줄 요약

LeHome Challenge 2026에서 1위(온라인), 2위(오프라인)를 달성한 VLA 정책 기반 이중 팔 옷 접기 시스템.

핵심 기여도

AWR + RECAP를 결합한 flow-matching VLA 정책 구현.
HuggingFace Hub를 통한 비동기 분산 학습/롤아웃 파이프라인.
인퍼런스 시 타임의 하이퍼파라미터 최적화를 위한 Thompson sampling 적용.
카메라 정렬, 중량 증강, DAgger-like HIL 데이터 수집을 포함한 sim-to-real 레시피 제시.
온라인 라운드에서 79.63% 성공률 달성, 2위 대비 6.1% 우수.

핵심 아이디어

이 연구는 기존 강화학습 아이디어를 재조합하여, 시뮬레이션과 실제 환경에서 모두 뛰어난 성능을 보이는 VLA 정책을 구축했다. 핵심 아이디어는 정책 자체가 가치 함수 역할을 하도록 설계한 점이다. 즉, 동일한 네트워크가 행동을 예측하는 동시에 성공 확률, 진행도, 미래 상태 등을 예측하며, 이 정보는 advantage 추정, 실시간 실패 탐지, 후보 선택에 활용된다. 이는 기존 PPO와 같은 방법보다 flow-matching VLA에 적합한 conditioning/reweighting 패러다임을 제시한다. 또한, AWR과 RECAP의 결합은 정책의 샘플링 효율과 안정성을 동시에 향상시켰다.

기술적 접근법

**모델 구조**: SigLIP 이미지 인코더, Gemma-2B 프리픽스 트랜스포머, Gemma-300M 액션 전문가로 구성.
**액션 생성**: 30단계, 12차원 액션 청크를 flow matching을 통해 생성.
**인퍼런스 최적화**: 각 옷 타입에 따라 실행 길이, 재생 속도, inpainting 시작 시점, guidance scale 등을 Thompson sampling을 통해 온라인 최적화.
**학습 파이프라인**: H200 GPU에서 학습, RTX PRO 6000 GPU에서 롤아웃 수집.
**데이터 수집**: 병렬 시뮬레이션, 실패/성공 상태 스냅샷, 환경 증강 엔진, 비동기 DAgger 루프를 활용.

주요 결과

**LeHome 온라인 라운드**: 62개 팀 중 1위, 79.63% 성공률 달성.
**실제 환경 최종 라운드**: 2위.
**성능 개선폭**: 2위 대비 6.1% 높은 성공률.
**시뮬레이션-실제 전이**: 1주일 간의 fine-tuning으로 시뮬레이션 체크포인트를 실제 환경에 적응.

의의 및 한계

이 연구는 실제 경쟁 환경에서 빠른 개발 주기와 엔지니어링적 최적화를 통해 뛰어난 성능을 달성한 사례로, 기존 RL 아이디어의 재조합 가능성을 보여준다. 특히, 정책 자체가 가치 함수 역할을 하도록 설계한 점은 VLA 정책의 효율성과 유연성을 높이는 데 기여했다. 그러나 대부분의 기술은 제대로 된 아블레이션 없이 경쟁 압력하에 개발되었기 때문에, 각 구성 요소의 독립적 기여도는 명확하지 않다. 또한, 자율 탐색 및 복구 문제는 여전히 미해결 과제로 남아 있다.

실용적 활용

이 시스템은 로봇이 복잡한 시각-언어-액션 작업을 수행해야 하는 산업 현장, 특히 의류 정리, 패키징, 의료 장비 조작 등에서 활용 가능하다. 특히, 시뮬레이션-실제 전이 기법은 실제 환경에서의 빠른 적응을 가능하게 하며, 다양한 제품 타입에 대한 인퍼런스 최적화는 대규모 산업 적용에 유리하다.