한 줄 요약
Jeva는 시스템 원 결정 문제의 구조적 요구사항을 충족하는 새로운 결정 네이티브 아키텍처이다.
핵심 기여도
- 네 가지 구조적 요구사항(null-aware, permutation-invariant, option-scalable, cacheable)을 동시에 해결하는 Jeva 아키텍처 제안.
- Jeva는 2,048개의 후보에 대해 2×의 가속화를 달성하며, 재사용을 통해 20×의 지연 감소를 보여.
- Qwen3.5-4B 백본과 1개의 결정 블록으로 구현되며, 순열 변경 시 결정이 일관되게 유지됨.
- 커버리지 게이트를 통해 null 확률을 명시적으로 구분하여, 정확도를 향상시킴.
핵심 아이디어
Jeva는 기존 시스템 원 모델이 텍스트 시퀀스를 통해 결정을 내리는 방식의 한계를 극복하기 위해, 결정 문제의 구조적 특성을 반영한 새로운 아키텍처를 제안한다. 기존 모델은 후보와 요청을 결합하여 인코딩하므로, 후보 재조합이나 순열 변경 시 계산을 다시 수행해야 한다. Jeva는 요청과 각 후보를 독립적으로 인코딩한 뒤, 불변의 후보 메모리에 접근하는 방식으로, 요청에 독립적인 후보 표현을 유지한다. 결정 스택은 요청 상태만을 정제하며, 대칭 집계와 공유 점수를 통해 순열 불변 확률과 가변 크기 후보 집합을 처리한다. 커버리지 게이트는 null 확률을 별도로 추정하여, 후보 간 경쟁과 null 결정을 구분한다. 이러한 설계는 Choice, Noul, Score 결정을 통합적으로 처리할 수 있게 한다.
기술적 접근법
- **공유 인코더**: 요청과 각 후보를 독립적으로 벡터로 매핑.
- **결정 스택**: 요청 상태만을 정제하며, 불변의 후보 메모리에 접근.
- **대칭 집계**: 순열 불변 확률을 생성.
- **공유 점수**: 가변 크기 후보 집합을 처리.
- **커버리지 게이트**: null 확률을 별도로 추정.
- **캐시 지원**: 요청 독립적인 후보 표현과 레이어 프로젝션을 재사용.
- **하이퍼파라미터**: Qwen3.5-4B 백본, 1개의 결정 블록.
주요 결과
- **Typed Decisions 데이터셋**에서 Jeva는 2,000개의 결정에서 높은 정확도를 달성.
- **2,048개 후보**에서 Jeva는 재귀 선택 기반 대비 2×의 지연 감소를 보여.
- **새로운 후보 집합**에서 Jeva는 20×의 지연 감소를 달성하면서 결정을 변경하지 않음.
- **순열 변경** 시 결정 일관성 유지, 결정 플립 없음.
- **null 감지**는 거의 완벽한 수준 (정확도 99% 이상).
의의 및 한계
Jeva는 시스템 원 결정 문제의 핵심 구조를 반영한 첫 번째 결정 네이티브 아키텍처로, null 감지, 순열 불변, 가변 크기 후보 처리, 캐시 재사용을 동시에 달성한다. 이는 대규모 후보 집합 처리와 지연 최적화에 실질적인 기여를 한다. 그러나 Jeva는 특정 백본(Qwen3.5-4B)에 의존하며, 다른 백본으로의 이식 가능성은 명시되지 않음. 또한, 커버리지 게이트의 학습 안정성이나 복잡한 결정 상황에서의 일반화 능력은 추가 실험을 통해 검증이 필요하다.
실용적 활용
Jeva는 도구 선택, 문서 검색, 조건 판단, 점수 부여 등 다양한 시스템 원 결정 작업에 적용 가능하다. 특히, 대규모 후보 집합을 다루는 웹 검색, 추천 시스템, 자동화된 의사결정 시스템에서 지연 최적화와 정확도 향상에 기여할 수 있다.