FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution

Frontier open-weight models are increasingly available, but serving them still largely assumes datacenter infrastructure. We present FreeToken, an edge-native MoE serving system that treats a personal machine not as a small GPU, but as a unified, elastic inference platform. FreeToken co-designs the full serving stack, including model layout and loading, expert residency, CPU--GPU execution, agentic state reuse, and runtime memory management, around two realities of local AI: agent workloads continuously change their execution pattern, and edge hardware exposes heterogeneous resources whose balance differs from machine to machine. Rather than committing to a fixed offloading strategy, FreeToken continuously maps computation and model state onto the resources actually available. FreeToken supports more than 20 MoE models and real coding and tool-using agents across hardware ranging from an 8GB laptop GPU to a single workstation GPU. More importantly, it changes what these machines can practically serve, from a 35B model on a laptop to a 284B model on a gaming desktop and the 753B GLM-5.2 on a single workstation GPU. FreeToken turns open weights into deployable local software, making the machines users already own a practical platform for frontier-scale intelligence. We release the system at flashml.ai.

한 줄 요약

FreeToken은 35B부터 753B 파라미터 규모의 MoE 모델을 개인 기기에서 효율적으로 실행하는 엣지 네이티브 서빙 시스템이다.

핵심 기여도

FreeToken은 8GB 랩탑 GPU부터 워크스테이션 GPU까지 다양한 하드웨어에서 20개 이상의 MoE 모델을 지원한다.
35B 모델을 랩탑, 284B 모델을 게이밍 데스크탑, 753B GLM-5.2 모델을 단일 워크스테이션 GPU에서 실행 가능하다.
PCIe 대역폭을 스케줄링 신호로 활용하는 **Bandwidth-Adaptive Execution**과 의미 기반 캐싱(**Semantic-aware Caching**)을 제안한다.
기존 엣지 서빙 시스템 대비 성능을 지속적으로 개선하며, **q ⋆** 정책을 통해 디코딩 단계의 캐시 미스를 GPU와 CPU 간 분배한다.

핵심 아이디어

FreeToken은 기존 엣지 서빙 시스템이 고정된 오프로딩 전략에 의존하는 반면, FreeToken은 **런타임에 변화하는 자원과 워크로드 패턴에 따라 동적으로 계산과 모델 상태를 매핑**한다. 이는 개인 기기의 GPU, CPU, 메모리, 인터커넥트를 통합된 추론 플랫폼으로 간주하는 핵심 아이디어이다.

FreeToken은 MoE 아키텍처의 **스파스 액티베이션** 특성을 활용하여, **전체 전문가 풀보다는 활성화된 전문가만 실행**함으로써 계산을 가능하게 한다. 그러나 전체 전문가 풀은 여전히 GPU 메모리를 초과하므로, **비활성 전문가는 호스트 메모리에 보관**되고 실행 시점에 로드된다. 이를 효율적으로 관리하기 위해 FreeToken은 **Bandwidth-Adaptive Execution**과 **Semantic-aware Caching**을 결합한다.

기술적 접근법

**Bandwidth-Adaptive Execution**: PCIe 대역폭을 스케줄링 신호로 활용. Prefill 단계에서 **double-buffering**을 적용하여, 현재 레이어 계산과 다음 레이어 전문가 스트리밍을 병행.
**q ⋆ 정책**: 디코딩 단계에서 캐시 미스를 GPU 캐시 채우기와 CPU 실행 간 분배. 호스트 메모리 대역폭을 고려한 **정량적 분할 정책**.
**Semantic-aware Caching**: 에이전트가 토큰을 생성할 때 의미적 경계(예: 툴 호출, 생각 구간)에서 **재귀적 상태 체크포인트를 설정**하여, 편집 후에는 새로운 접미사를 재계산.
**모델 레이아웃 및 로딩, 전문가 주거, CPU-GPU 실행, 런타임 메모리 관리** 등 서빙 스택 전체를 **엣지 하드웨어의 이질성과 워크로드 변화에 맞춰 공동 설계**.

주요 결과

FreeToken은 **35B 모델을 8GB 랩탑 GPU에서, 284B 모델을 게이밍 데스크탑, 753B GLM-5.2 모델을 단일 워크스테이션 GPU에서 실행** 가능.
기존 엣지 서빙 엔진 대비 **지속적으로 성능 개선**.
**DeepSeek-V4-Flash-0731 모델**에서 43개 레이어 중 각 레이어당 256 전문가 중 6개만 활성화되어, 284B 중 13B만 토큰당 사용.
**RTX 5090의 32GB 메모리 내에서 실행 가능**.

의의 및 한계

FreeToken은 **개인 기기의 이질적 자원을 통합하여 엣지에서 대규모 MoE 모델을 실행**할 수 있는 새로운 가능성을 제시한다. 기존 서빙 시스템이 단일 하드웨어 구성에 의존하는 반면, FreeToken은 **런타임 자원 변화와 워크로드 패턴에 따라 동적으로 조정**함으로써, **오픈 모델의 실제 활용 가능성을 확장**한다.

그러나 FreeToken은 **모든 엣지 환경에서 최적의 성능을 보장하지는 않는다**. 특히, **PCIe 대역폭이 낮은 기기에서는 성능 저하가 발생할 수 있으며**, **복잡한 에이전트 워크로드에서의 장기적 안정성 검증이 필요**하다. 또한, **모델 로딩 시간이나 초기 설정 비용**에 대한 구체적인 수치는 명시되지 않음.

실용적 활용

FreeToken은 **개인 데스크탑, 고성능 랩탑, 게이밍 PC 등에서 대규모 MoE 모델을 로컬로 실행**할 수 있게 하므로, **개인 연구자, 소규모 팀, 또는 비용 효율적인 AI 활용을 원하는 기업**에 적합하다. 특히, **에이전트 기반 애플리케이션**(예: 코드 생성, 툴 사용)에서 **지속적인 컨텍스트 관리와 효율적인 전문가 로딩**이 필요한 경우에 유용하다.