Ask Before You Optimize: Dynamic Pre-Formulation Clarification for Interactive Optimization

Large language models (LLMs) are increasingly used to formulate optimization models from natural-language problem descriptions, yet realistic operations research (OR) requests are often incomplete: missing objectives, constraints, or business rules can change the resulting mathematical program. Existing evaluations largely assume a complete specification and therefore overlook whether an agent knows when clarification is needed before modeling. We introduce OR-Clarify, a benchmark for pre-formulation clarification. Each task presents a partial public problem description, withholds structured hidden slots, and evaluates agents through bounded interaction with a simulated user. The benchmark supports both openended and choice-based clarification, and measures slot recovery, stopping behavior, silent assumptions, and interaction cost. We further propose Interactive Optimization (InterOPT), a two-stage framework that identifies unresolved formulation-critical gaps and uses them to guide whether to ask the next question or to stop. In our choice-based experiments, InterOPT substantially outperforms all baselines in exact slot recovery; in the open-ended setting, it remains competitive with strong prior methods. Together, OR-Clarify and InterOPT reframe OR assistance as a selective completeness decision: clarify when needed, stop when ready, and quantify what remains missing.

한 줄 요약

InterOPT은 OR-Clarify 벤치마크를 통해 미완전한 최적화 문제 설명에서 필요한 정보를 선택적으로 명확히 하며, 모델링 전 준비 여부를 판단하는 시스템이다.

핵심 기여도

OR-Clarify: 최적화 문제의 미완전한 설명에서 필요한 정보를 명확히 하는 새로운 벤치마크를 제안.
InterOPT: Dynamic Gap Search와 Gap-Guided Action Search로 구성된 2단계 프레임워크로, 미해결 요구사항을 추적하고 질문 여부를 결정.
선택형(Choice) 설정에서 InterOPT는 모든 기존 베이스라인 대비 정확한 슬롯 복구율이 높음.
무작위 질문 대비 구조화된 질문 전략이 정확도를 향상시키지만, 질문 수 증가로 인한 상호작용 비용 증가도 드러냄.

핵심 아이디어

기존 최적화 문제 자동화 시스템은 문제 설명이 완전하다고 가정하고 모델링을 진행하지만, 실제로는 목적함수, 제약, 비즈니스 규칙 등이 누락된 경우가 많다. 이는 최종 수학적 모델의 구조를 바꿀 수 있는 심각한 문제다. InterOPT는 이러한 미해결 요구사항을 추적하고, 필요한 경우에만 질문을 하도록 설계된 시스템이다. Dynamic Gap Search 단계는 미해결 요구사항을 식별하고 추적하며, Gap-Guided Action Search 단계는 질문 여부와 종료 여부를 결정한다. 이는 단순히 많은 질문을 하기보다, 필요한 정보만을 선택적으로 명확히 하도록 유도한다.

기술적 접근법

**InterOPT**: Dynamic Gap Search와 Gap-Guided Action Search로 구성된 2단계 프레임워크.
**Dynamic Gap Search**: 미해결 요구사항을 식별하고, 턴 간 지속적으로 추적.
**Gap-Guided Action Search**: 현재 미해결 요구사항을 바탕으로 질문 또는 종료 결정.
**OR-Clarify**: 미완전한 문제 설명과, 제시되지 않은 핵심 슬롯을 포함한 평가 프레임워크.
**평가 지표**: Core Exact (모든 P0/P1 슬롯 정확히 복구), All-Slot Exact, Avg Turns, Avg Q, Silent Assumptions, Stopping Behavior (Premature, Appropriate 등).
**실험 설정**: 최대 T_max 턴, K=5 반복 실행, N 케이스 평균.

주요 결과

**Choice 설정**: InterOPT는 모든 기존 베이스라인 대비 정확한 슬롯 복구율(Core Exact)이 높음.
**Open 설정**: ORPilot이 가장 높은 복구율을 보였으나, InterOPT는 경쟁력 있음.
**상호작용 비용**: InterOPT는 질문 수(Avg Q)가 많아질수록 정확도가 높아지지만, 이는 상호작용 비용 증가와 동반됨.
**종료 판단**: InterOPT는 종료 시점이 적절한 경우가 많았으나, 일부 경우 과도한 질문(Over-questioning) 발생.

의의 및 한계

**의의**: 최적화 문제 자동화 시스템이 모델링 전에 필요한 정보를 명확히 하도록 유도하는 새로운 평가 기준과 프레임워크를 제시.
**한계**: InterOPT는 상호작용 비용이 높고, 일부 경우 종료 판단이 부정확함. 또한, 무음 가정(Silent Assumptions)은 완전히 제거되지 않음.
**향후 연구**: 질문 효율성 향상, 종료 판단 정확도 개선, 벤치마크 확장이 필요.

실용적 활용

**비전문가 지원**: 비전문가가 최적화 문제를 자연어로 설명할 때, 필요한 정보를 선택적으로 명확히 하도록 도와주는 시스템으로 활용 가능.
**비즈니스 의사결정**: 제약 조건이나 목표가 불확실한 상황에서, 정확한 모델링을 위해 필요한 정보를 효율적으로 수집.
**LLM 기반 자동화 시스템 개선**: LLM이 모델링 전에 필요한 정보를 판단하는 능력을 향상시키는 데 활용 가능.