Intentionality is a Design Decision: Measuring Functional Intentionality for Accountable AI Systems

As AI systems increasingly exhibit autonomous, goal-directed, and long-horizon behavior, users lack a standardized way to detect the degree to which a system functions like an intentional actor for governance and accountability purposes. This position paper defines intentionality not as consciousness, but as a behavioral profile characterized by purpose, foresight, volition, temporal commitment, and coherence - criteria long used in legal and philosophical contexts to infer intent. These properties are design-contingent: architectural choices such as memory persistence, planning depth, and tool autonomy shape the degree to which systems exhibit organized goal pursuit. If intentionality is design-contingent, it is in principle controllable. Yet control requires measurement. We introduce the Functional Intentionality Test (FIT), a multidimensional framework that quantifies intentional-like behavior across five observable dimensions, and propose FIT-Eval, a structured evaluation protocol for eliciting and scoring them. While reduced human agency can increase efficiency, rising intentional capacity heightens accountability risks. By translating intentionality into interpretable levels, FIT enables proportionate oversight and deliberate autonomy calibration in increasingly agentic systems.

📋 한 줄 요약

**[AI 거버넌스/평가]** 의식이 아닌 행동 프로파일로서의 "기능적 의도성"을 5개 차원으로 정량화하는 Functional Intentionality Test(FIT)와 평가 프로토콜 FIT-Eval을 제안하는 포지션 페이퍼다.

🎯 핵심 기여도

의도성을 의식이 아닌 목적·예측·자발성·시간 약속·일관성이라는 행동 기준으로 재정의
메모리 지속성, 계획 깊이, 도구 자율성 등 설계 선택이 의도성을 만든다는 "design-contingent" 관점 정립
5개 관찰 가능 차원의 다차원 평가 프레임워크 FIT 제안
의도성을 정량적 등급으로 환산해 비례적 감독·자율성 보정을 가능하게 하는 FIT-Eval 평가 프로토콜 제시

💡 핵심 아이디어

AI 시스템의 "의도적으로 보이는" 행동은 철학적 의식이 아닌, 법·윤리에서 의도를 추론하는 행동 기준으로 측정해야 한다. 의도성이 설계로부터 비롯되므로 측정 가능하고, 측정 가능하면 통제·거버넌스가 가능하다.

🔬 기술적 접근법

**모델/방법론**: 5차원(목적·예측·자발성·시간 약속·일관성) 행동 평가 프레임워크
**핵심 기법**: 각 차원에 대해 Table 1(Purpose), Table 3(Volition), Table 4(Temporal Commitment), Table 5(Coherence)와 같은 단계별 등급(subscore level)을 정의해 평가자 합의 기반의 점수화 가능

📊 주요 결과

의도성을 정량 점수로 환산해 시스템 간 비교 가능
등급 체계가 거버넌스·감독 강도를 비례적으로 결정하는 도구로 작동
기능 효율과 책임성 위험 간 트레이드오프를 명시적으로 가시화

💭 의의 및 한계

**의의**: 에이전트형 AI의 책임성·감독 논의를 정성적 우려에서 측정 가능한 거버넌스 도구로 끌어올림. **한계**: 포지션 페이퍼이므로 대규모 실증 평가가 부족하고, 5차원의 구체적 측정 지표는 향후 보완이 필요하다.

🚀 실용적 활용

에이전트형 LLM 제품 출시 전 의도성·자율성 등급 평가
규제 당국·기업 거버넌스 위원회의 AI 위험 분류 기준
모델 카드·시스템 카드에 부착할 표준 자율성 보고 항목