Investigating Concept Alignment Using Implausible Category Members

Developing AI systems with a human-like understanding of everyday concepts is a key step towards developing safe, reliable systems whose behavior makes sense to humans. When probing concept understanding, asking questions about plausible category members (e.g., "Is a car a vehicle?") is likely to recall patterns in the model's vast training data. We pursue an alternative strategy, characterizing the boundaries of conceptual categories by asking about implausible category members (e.g., "Is an olive a vehicle?") to probe the kind of concept-level knowledge we take for granted in fellow humans. We characterize concept boundaries for a set of fundamental concepts by studying AI systems' assignments of objects to superordinate categories from a classic psychological study by Rosch and Mervis, as well as their assignments of the same objects to mismatched superordinate categories. We compare these assignments to those made by human participants on the full range of within-category and cross-category assignment tasks. Our results reveal a range of concepts for which which models differ in meaningful and surprising ways from humans, including treating "words" as belonging to categories like "vehicles" and "clothing," identifying several "vegetable" category members as "fruit," and assigning exemplars from non-weapon categories to the "weapons" category. We also demonstrate how these instances of concept misalignment translate into problematic downstream behavior with implications for AI safety.

📋 한 줄 요약

**[Concept Alignment / AI Safety]** Implausible category member 질문으로 AI의 개념 경계를 탐색 — Rosch·Mervis 고전 연구의 객체·범주 매칭과 mismatched 매칭을 인간과 비교, 모델이 "words"를 vehicle·clothing으로, 채소를 fruit로 분류하는 등 의미 있는 개념 misalignment 발견.

🎯 핵심 기여도

일상 개념의 human-like 이해를 가진 AI 시스템 개발이 안전·신뢰성의 핵심 단계이지만, plausible category member 질문(예: "차가 vehicle인가?")은 학습 데이터 패턴을 recall할 가능성이 크다는 한계 지적.
Implausible category member 질문(예: "olive가 vehicle인가?")으로 개념 범주의 boundary를 특성화하는 대안 전략 — 인간끼리 당연시되는 concept-level 지식 탐색.
기본 개념 set에 대해 AI 시스템의 객체-superordinate category 할당(Rosch·Mervis 고전 심리학 연구 기반)과 mismatched superordinate category 할당을 인간 참가자와 비교.
모델이 인간과 의미 있고 놀라운 방식으로 다른 다양 개념 노출 — "words"를 vehicles·clothing으로 분류, 일부 채소를 fruit로, 비무기 exemplar를 weapons로 할당. 이러한 misalignment가 다운스트림 행동의 문제로 번지는 사례 시연.

💡 핵심 아이디어

AI 개념 이해 평가는 plausible 매칭(데이터 패턴 recall) 대신 implausible 매칭으로 boundary를 탐색해야 하며, Rosch·Mervis 고전 framework의 within·cross-category 할당 비교가 인간-AI 개념 misalignment를 systematically 노출한다.

🔬 기술적 접근법

**방법론**: Implausible category member probing + Rosch·Mervis 기반 비교.
**핵심 기법**: (1) 기본 개념 set에 대한 객체-superordinate category 할당, (2) Mismatched superordinate category 할당 동시 평가, (3) 인간 참가자의 within·cross-category 할당과 직접 비교, (4) Implausible 매칭으로 concept boundary 특성화, (5) Misalignment의 다운스트림 행동 영향 분석.

📊 주요 결과

다양 fundamental concept에서 모델-인간 의미 있는 분기 발견.
"Words"를 vehicles·clothing로 분류하는 비정상 사례.
채소 exemplar를 fruit로 잘못 할당.
비무기 카테고리 exemplar를 weapons로 할당.
개념 misalignment가 problematic 다운스트림 행동으로 번지는 사례 시연.

💭 의의 및 한계

**의의**: AI 개념 이해 평가의 새 전략 정립, AI safety에 직접 함의(weapons misclassification 등), 고전 심리학 framework와 LLM 평가 brigde. **한계**: Rosch·Mervis의 영어·서양 중심 개념에 한정, "concept misalignment"의 정의가 부분적, 다운스트림 행동 영향의 인과 격차는 일부.

🚀 실용적 활용

AI 안전·alignment 평가 도구.
LLM 개념 이해 진단.
Concept-level 추론 학습·평가 가이드.