한 줄 요약
Cura 1T는 의료 분야의 대규모 언어 모델로, 인간 감독 하의 자기 진화 루프를 통해 의료 대화, 진단, EHR 도구 사용 등 복합적인 능력을 개선한 모델이다.
핵심 기여도
- Cura 1T는 Kimi-K2.6 기반 모델을 사용하여 의료 분야별 실패 사례를 분석하고, 이를 기반으로 맞춤형 학습 데이터를 생성하는 **self-evolution loop**를 도입.
- 의료 평가 스위트에서 6개 중 5개 벤치마크에서 최상위 성능을 달성.
- 단일 의료 데이터 업데이트가 아닌, 실패 분석을 기반으로 **targeted synthetic 및 curated examples**를 사용해 데이터 믹스를 반복적으로 개선.
- 일반적인 추론 및 에이전트 벤치마크에서도 성능 유지 (AIME, GPQA-Diamond, τ²-Bench 등).
핵심 아이디어
Cura 1T는 단순히 더 많은 의료 데이터를 학습하는 것이 아니라, **의료 분야의 다양한 실패 모드**(예: 루비릭 누락, 진단 미숙, 잘못된 도구 호출 등)를 분류하고, 각 실패에 맞는 학습 데이터를 생성하는 방식을 채택했다. 이는 **human-gated self-evolution loop**라는 프레임워크를 통해 구현되며, 학습 에이전트가 각 라운드에서 목표 능력을 설정하고, 실패 트레이스를 분석하여 다음 학습 데이터를 정제한다. 이는 기존의 단일 데이터 업데이트 방식과 달리, **데이터 믹스의 질적 개선**을 중점적으로 다룬다.
기술적 접근법
- **모델 기반**: Kimi-K2.6 기반 모델에 **low-rank adapters**를 통해 학습.
- **학습 루프**:
- **Training agent**가 목표 능력을 설정하고, 모델 학습을 수행.
- **Benchmark trajectories**를 평가하고, 실패 사례를 분석.
- 실패 원인에 따라 **SFT (Supervised Fine-Tuning)**, **RL (Reinforcement Learning)**, **SDFT (Self-Directed Fine-Tuning)**을 활용해 정제된 데이터 믹스를 반복적으로 업데이트.
- **데이터 믹스 구성**: 실패 분석을 기반으로 **cleaner principle-rubric data**, **tool-use trajectories**, **expert QA**, **interactive trajectories** 등을 포함한 맞춤형 학습 데이터 생성.
주요 결과
- **HealthBench**: 루비릭 누락 및 과도한 답변 문제 개선으로 성능 향상.
- **MedXpertQA**: 73.2% 정확도 달성 (기존 Kimi-K2.6 대비 +5.3%)
- **MedAgentBench**: 도구 사용 실패율 감소, FHIR 작성 안정성 향상.
- **AgentClinic**: 1.6× 가속된 작업 완료 속도, 89.4% 정확도 달성.
- **Out-of-domain 성능**: AIME, GPQA-Diamond, τ²-Bench에서 기존 수준 유지.
의의 및 한계
Cura 1T는 의료 분야에서 **다중 태스크 학습**과 **데이터 믹스 최적화**의 중요성을 입증하며, 의료 LLM의 개발 전략을 재정의할 수 있는 모델이다. 특히, **SFT, RL, SDFT**를 결합한 학습 루프는 데이터 풍부도가 낮은 분야에서 유용한 접근법으로 제시된다. 그러나, **의료 데이터의 품질 및 접근성**이 여전히 한계이며, **의료 규제 환경**에서의 실제 도입 가능성은 추가 연구가 필요하다.
실용적 활용
Cura 1T는 병원 내 **환자 상담 시스템**, **의료 AI 에이전트**, **EHR 자동화 도구** 등에 적용 가능하다. 특히, **복합적인 의료 워크플로우**를 처리해야 하는 상황에서 **정확한 도구 사용**과 **전문가 수준의 추론**이 필요한 분야에서 활용도가 높다.