Interactive Training 2: Auditable Control Plane for Live Model Training

Experiment trackers show how training is progressing, but changing a live run still usually requires trainer-specific code. We present Interactive Training 2, an open-source control plane for steering training through a shared protocol. Training applications declare which settings and actions they expose, humans and automated controllers submit requests through the same interface, and the training loop validates and applies them at safe control points. A customized Aim workspace combines live metrics and controls with a chronological record of requests and outcomes. We demonstrate the system across five NLP and reinforcement-learning workflows. The released code and traces provide a reusable foundation for auditable human- and agent-guided training.

한 줄 요약

Interactive Training 2는 실시간 학습을 표준화된 프로토콜로 제어하는 오픈소스 컨트롤 플레인을 제시한다.

핵심 기여도

공유 프로토콜을 통해 학습 설정과 동작을 선언하고, 안전한 제어 지점에서 요청을 적용하는 컨트롤 플레인 구조 제시.
커스터마이즈된 Aim 워크스페이스를 통해 실시간 메트릭과 제어 요청, 결과를 통합 관리.
Hugging Face, PyTorch, 강화학습 루프 등 다섯 가지 워크플로우에서 시스템을 실증.
제어 요청, 실행 결과, 평가, 체크포인트 등을 기록하는 '저널'을 통해 감사 가능한 학습 과정 구현.

핵심 아이디어

기존 실험 추적 도구는 학습 상태를 보여주지만, 실시간 변경은 대부분 트레이너별 코드가 필요했다. Interactive Training 2는 학습 루프와 제어 요청 사이의 인터페이스를 표준화하여, 인간 또는 자동화된 컨트롤러가 동일한 프로토콜로 요청을 제출할 수 있도록 한다. 학습 루프는 요청을 검증하고, 안전한 제어 지점에서 적용하며, 결과를 기록한다. 예를 들어, `learning_rate` 설정을 타입화하고, `evaluate` 및 `save_checkpoint` 동작을 선언하면, 컨트롤러가 `2 × 10⁻⁵` 학습률을 요청해도, 최적화 루프가 지정한 제어 지점에서만 변경이 적용된다. 이는 학습 과정을 감사 가능하게 만드는 핵심이다.

기술적 접근법

**컨트롤 플레인**: 학습 루프가 요청을 검증하고, 안전한 제어 지점에서 적용.
**Aim 워크스페이스**: 실시간 메트릭과 제어 요청, 결과를 통합.
**저널**: 요청, 실행 결과, 평가, 체크포인트 등을 순차적으로 기록.
**지원 워크플로우**: Hugging Face Trainer, PyTorch, 강화학습 루프 포함.
**제어 지점**: 학습 루프가 자체적으로 설정한 시점에서 요청 적용.
**인터페이스**: 인간, 스크립트, LLM 에이전트가 동일한 프로토콜로 요청 제출.

주요 결과

**5개 워크플로우**: NLP 및 강화학습에서 시스템을 실증.
**감사 가능성**: 요청, 실행 결과, 평가, 체크포인트 등을 기록한 저널 제공.
**제어 지점 적용**: `learning_rate` 변경 요청은 지정된 제어 지점에서만 적용됨.
**인터페이스 일관성**: 인간 및 자동화 컨트롤러가 동일한 프로토콜로 요청 제출.

의의 및 한계

Interactive Training 2는 학습 과정을 감사 가능하고 재사용 가능한 방식으로 제어할 수 있는 기반을 제공한다. 이는 인간과 자동화 에이전트가 학습을 감독하는 방식을 체계적으로 연구할 수 있게 한다. 또한, 다양한 학습 루프와 프레임워크에서 동일한 인터페이스를 사용할 수 있어, 도구 개발과 연구 효율성을 높인다. 그러나 현재는 특정 워크플로우에만 적용되었으며, 더 넓은 범위의 호환성 테스트가 필요하다. 또한, 실시간 요청 처리의 지연 시간이나 성능 영향에 대한 평가가 명시되지 않았다.

실용적 활용

Interactive Training 2는 NLP, 강화학습 등 다양한 학습 워크플로우에서 인간 또는 자동화 에이전트가 학습을 실시간으로 제어하고, 그 과정을 감사할 수 있도록 지원한다. 연구자들이 학습 과정을 모니터링하고, 학습률 조정, 체크포인트 저장 등 실시간 조치를 취할 때 유용하게 활용될 수 있다. 또한, LLM 기반 에이전트가 학습을 자동화적으로 조정하는 연구에도 활용 가능하다.