Gemma 4 Technical Report

한 줄 요약

Gemma 4는 2.3B~31B 파라미터의 오픈 가중치 멀티모달 모델로, 사고 모드와 인코더 없는 아키텍처를 통해 성능과 효율성을 동시에 향상시킴.

핵심 기여도

• 2.3B~31B 파라미터의 **Dense 및 MoE 아키텍처**를 도입.
• **12B 모델에 통합된 인코더 없는 아키텍처**로, 40ms 오디오 청크와 이미지 패치를 직접 임베딩 공간에 투영.
• **사고 모드**(Thinking Mode)를 통해 추론 과정을 출력, 수학 및 코딩 등 복잡한 작업에서 성능 향상.
• **KV 캐시 공유 및 키-벨류 재사용**으로 글로벌 캐시 크기를 최대 37.5% 감소.

핵심 아이디어

Gemma 4는 기존 멀티모달 모델의 계산 비용과 메모리 문제를 해결하기 위해 **인코더 없는 아키텍처**와 **사고 모드**를 결합한 새로운 접근법을 제시한다. 특히, 12B 모델은 별도의 비전/오디오 인코더 없이 **이미지 패치와 40ms 오디오 청크를 LLM 임베딩 공간으로 직접 투영**함으로써 메모리 단편화를 줄이고 처리 효율성을 높인다. 또한, **사고 모드**는 모델이 최종 응답 전에 추론 과정을 생성하도록 유도하여 수학, 코딩 등 추론 집약적 작업에서 성능을 개선한다.

기술적 접근법

• **모델 아키텍처**: 디코더-온리 트랜스포머 구조. RMSNorm, QKNorm 사용.
• **Dense 모델**: 2.3B(E2B), 4.5B(E4B), 12B, 31B.
• **MoE 모델**: 26B 총 파라미터, 3.8B 활성 파라미터.
• **인코더 없는 아키텍처**: 12B 모델에만 적용.
• **KV 캐시 최적화**: 글로벌 캐시에서 키-벨류 재사용 (values = keys), 37.5% 감소.
• **포지셔널 인코딩**: 글로벌 층에 p=0.25의 p-RoPE, 로컬 층에 RoPE 사용.
• **사고 모드**: 추론 과정을 출력하여 추론 집약적 작업 성능 향상.
• **MTP 드래프트 헤드**: 스펙ulative decoding을 위한 자동회귀 멀티토큰 예측.

주요 결과

• **STEM 및 멀티모달 벤치마크**에서 성능 향상.
• **인코더 없는 12B 모델**은 메모리 효율성과 추론 속도 개선.
• **KV 캐시 최적화**로 글로벌 캐시 크기를 최대 37.5% 감소.
• **사고 모드** 도입으로 수학 및 코딩 작업 성능 향상.
• **인간 평가**(Arena)에서 더 큰 오픈 모델과 유사한 성능 달성.

의의 및 한계

Gemma 4는 **오픈 가중치 멀티모달 모델**로서, 다양한 하드웨어 환경에서의 효율성과 성능을 동시에 달성한 점에서 학술적·실용적 가치가 크다. 특히, **인코더 없는 아키텍처**와 **사고 모드**는 추론 집약적 작업에서의 성능 향상을 가능하게 하며, **KV 캐시 최적화**는 장문 처리 시 메모리 문제를 완화한다. 그러나, **모든 모델 크기에서 인코더 없는 아키텍처를 적용하지 않음**은 한계로 작용할 수 있다.

실용적 활용

Gemma 4는 **엣지 기기**나 **로컬 서버**에서의 실시간 멀티모달 처리에 적합하며, **수학, 코딩, 장문 추론**이 필요한 애플리케이션에 활용 가능하다. 또한, **Apache 2.0 라이선스**로 개방되어 개발자와 연구자들이 모델을 커스터마이징하거나 확장할 수 있어 연구 및 산업 활용성이 높다.