More Context, Larger Models, or Moral Knowledge? A Systematic Study of Schwartz Value Detection in Political Texts

Detecting Schwartz values in political text is difficult because implicit cues often depend on surrounding arguments and fine-grained distinctions between neighboring values. We study when context and explicit moral knowledge help sentence-level value detection. Using the ValuesML/Touch{é} ValueEval format, we compare sentence, window, and full-document inputs; no-RAG and retrieval-augmented settings with a curated moral knowledge base; supervised DeBERTa-v3-base/large encoders; and zero-shot LLMs from 12B to 123B parameters. The results show that more context is not uniformly better: full-document context improves supervised DeBERTa encoders by 3.8--4.8 macro-F1 points over sentence-only input, but does not consistently help zero-shot LLMs. Retrieved moral knowledge is more consistently useful in matched comparisons, improving each tested model family and context condition under early fusion. However, scaling from DeBERTa-v3-base to large and from 12B to larger LLMs does not guarantee gains, and simple early fusion outperforms the tested late-fusion and cross-attention RAG variants for encoders. Per-value analyses show that context and retrieval help most for socially situated or conceptually confusable values. These findings suggest that value-sensitive NLP should evaluate context, knowledge, and model family jointly rather than treating longer inputs or larger models as universal improvements.

한 줄 요약

**[Schwartz Value Detection / Political NLP]** ValuesML/Touche format에서 sentence-level Schwartz value 탐지의 맥락·도덕 지식 효과 비교 — 더 긴 context가 supervised DeBERTa는 3.8~4.8 macro-F1 향상시키지만 zero-shot LLM에는 불일관, retrieval은 일관 향상, 단순 early fusion이 late fusion·cross-attention RAG 능가.

핵심 기여도

Schwartz value를 political text에서 탐지가 어려운 이유: implicit cue가 주변 argument에 종종 의존, neighboring value 간 fine-grained distinction 필요함을 진단.
Context와 explicit moral knowledge가 sentence-level value detection에 언제 도움 되는지 체계 연구.
ValuesML/Touche ValueEval format 사용 — sentence·window·full-document input 비교, no-RAG·retrieval-augmented(curated moral knowledge base) 비교, supervised DeBERTa-v3-base/large encoder와 12B~123B zero-shot LLM 비교.
결과: more context가 uniformly 좋지 않음 — full-document context는 supervised DeBERTa를 sentence-only 대비 +3.8~4.8 macro-F1 향상, 그러나 zero-shot LLM은 consistently 도움 안 됨.

핵심 아이디어

Value-sensitive NLP는 context·knowledge·model family를 jointly 평가해야 하며, longer input·larger model이 universal improvement라는 가정은 잘못 — retrieval로 가져온 moral knowledge가 더 consistent하게 도움이 되고, encoder에서는 단순 early fusion이 cross-attention·late fusion보다 우세하다.

기술적 접근법

**방법론**: Schwartz value 탐지에서 context·knowledge·model family의 joint 분석.
**핵심 기법**: (1) Sentence·window·full-document 3 context 조건, (2) No-RAG vs retrieval-augmented(curated moral knowledge base), (3) Supervised DeBERTa-v3-base/large vs zero-shot LLM(12B~123B), (4) Early fusion·late fusion·cross-attention RAG 변종 비교, (5) Per-value 분석으로 context·retrieval이 가장 도움 되는 value 식별.

주요 결과

Full-document context로 supervised DeBERTa가 sentence 대비 +3.8~4.8 macro-F1, 그러나 zero-shot LLM에는 consistently 도움 안 됨.
Retrieved moral knowledge는 matched 비교에서 모든 model family·context 조건의 early fusion으로 consistently 향상.
DeBERTa base→large·12B→더 큰 LLM scaling이 gain 보장 안 함.
Encoder에서는 simple early fusion이 late fusion·cross-attention RAG 변종을 outperform.
Per-value 분석: 사회 상황적·개념적으로 혼동되기 쉬운 value에서 context·retrieval이 가장 도움.

의의 및 한계

**의의**: Value-sensitive NLP의 잘못된 universal 가정(longer-is-better, larger-is-better) 반박, retrieval·early fusion의 일관 효과 입증, model family·context·knowledge의 joint 평가 필요성 제시. **한계**: ValuesML/Touche format에 한정, curated moral knowledge base의 품질 의존, zero-shot LLM 평가의 prompt sensitivity, 다른 value system(MFT 등)으로의 일반화는 별도 연구.

실용적 활용

정치·SNS 텍스트의 가치 탐지 시스템 설계.
RAG fusion 전략 선택 가이드.
Value-sensitive NLP의 evaluation 일반 방법론.