Triplet-Block Diffusion RWKV

Causal Transformer language models suffer from strictly sequential decoding and a quadratic per-step attention cost. While linear-time causal models and discrete diffusion models each address these weaknesses, their integration remains inherently inconsistent: diffusion requires bidirectional attention, while causal models are unidirectional. To unify these architectures, we propose B^3D-RWKV, a diffusion RWKV variant that integrates the model's O(L) inference efficiency with parallel, bidirectional discrete-diffusion through a triplet-block layout method. B^3D-RWKV-7.2B reaches comparable accuracy on an 8-task suite versus existing models while significantly outperforming baselines in decoding throughput with an average of 1.6times speedup.

📋 한 줄 요약

**[Diffusion Language Model / RWKV]** B³D-RWKV가 triplet-block layout으로 RWKV의 O(L) inference 효율과 양방향 discrete diffusion의 병렬성을 통합, 7.2B 모델이 8-task에서 baseline 매치·평균 1.6× decoding 가속.

🎯 핵심 기여도

Causal Transformer 언어 모델이 sequential decoding과 step당 quadratic attention cost로 고통받음을 진단.
Linear-time causal 모델과 discrete diffusion 모델이 각각 이 약점을 해소하지만, diffusion이 양방향 attention을 요구하고 causal 모델이 단방향이라 통합이 inherently inconsistent함을 지적.
두 아키텍처 통합을 위해 B³D-RWKV 제안 — RWKV의 O(L) inference 효율성과 양방향 discrete diffusion의 병렬성을 triplet-block layout 방법으로 통합한 diffusion RWKV 변종.
B³D-RWKV-7.2B가 8-task suite에서 기존 모델 대비 comparable accuracy·decoding throughput에서 baseline 대비 평균 1.6× 가속.

💡 핵심 아이디어

Linear-time causal RWKV의 effective inference와 양방향 discrete diffusion의 병렬 decoding은 일견 모순처럼 보이지만, triplet-block layout으로 block 내부는 양방향·block 사이는 인과로 분리하면 두 패러다임의 장점을 효율과 품질 손실 없이 동시에 가질 수 있다.

🔬 기술적 접근법

**방법론**: B³D-RWKV — triplet-block layout으로 통합한 diffusion RWKV.
**핵심 기법**: (1) RWKV의 O(L) inference 효율과 양방향 discrete diffusion 병렬성 결합, (2) Triplet-block layout으로 block 내부는 양방향 attention·block 사이는 인과 구조, (3) Block 단위 parallel discrete diffusion decoding, (4) 7.2B 규모로 학습, (5) 8-task suite·decoding throughput으로 평가.

📊 주요 결과

B³D-RWKV-7.2B가 8-task suite에서 기존 모델 대비 comparable accuracy.
Decoding throughput에서 baseline 대비 평균 1.6× 가속.
Linear-time causal + diffusion 통합의 첫 성공 사례.

💭 의의 및 한계

**의의**: RWKV·diffusion 두 efficient 패러다임의 통합 가능성 실증, 7.2B 규모의 검증으로 실용 가치, triplet-block layout이라는 단순·일반화 가능 메커니즘. **한계**: 8-task suite 결과의 task 다양성, 1.6× 가속이 응용 종속, 매우 긴 시퀀스·다양 도메인 일반화는 후속, RWKV·diffusion 추가 통합 변종과의 비교는 abstract에 부재.

🚀 실용적 활용

고처리량 LLM 추론 서비스.
Causal Transformer 대안 아키텍처 연구.
실시간 응답 chat·코딩 보조 모델.