한 줄 요약
JD.com이 LLM/VLM 기반의 Oxygen AIIC를 구축하여 100억 개 이상의 상품에 대한 지식을 자동화하고, 94.2% 정확도로 관리 효율성 향상.
핵심 기여도
- **S2D(Semantic Search then Discrimination) 아키텍처**를 통해 100억 개 이상의 SKU에 대한 고성능 상품 지식 생성 가능.
- **자체 진화하는 LLM/VLM 모델**로 94.2% 정확도, 82.8% 재현률 달성.
- **하루 수억 개의 상품 업데이트 처리**를 지원하는 Huawei Ascend NPU 기반의 확장성 있는 인프라 구축.
- **80.4%의 검색 트래픽 커버리지**와 37% 감소한 상품 정보 품질 문제로 실질적인 비즈니스 성과 개선.
핵심 아이디어
JD.com은 7억 명 이상의 활성 사용자와 수억 개의 상품(SKU)을 관리하는 대규모 이커머스 플랫폼으로, 기존 NLP 기반 시스템은 상품 개념의 빠른 변화와 대량의 데이터 처리에 한계를 보였다. 이를 해결하기 위해 **LLM/VLM 기반의 Oxygen AIIC**를 제안하며, 핵심 아이디어는 다음과 같다:
1. **Semantic Search then Discrimination (S2D)**: 상품 지식 추출 과정을 두 단계로 분리하여, **세마틱 검색**을 통해 ontology에서 관련 항목을 추출하고, **판별 단계**에서 상품과의 일치 여부를 결정함으로써 모델 재학습 없이 ontology 업데이트를 가능하게 한다. 이는 **정확도 향상**과 **추론 비용 절감**을 동시에 달성한다.
2. **자체 진화하는 LLM/VLM 모델**: 상품 이해 능력을 지속적으로 향상시키며, **94.2% 정확도**와 **82.8% 재현률**을 달성함으로써, 기존 시스템 대비 훨씬 높은 품질의 지식을 생성한다.
3. **인간-AI 협업 기반 ontology 엔지니어링**: 전문가가 ontology 구조를 정의하고, AI가 지속적으로 새로운 개념을 탐지·통합함으로써, **수백만 개의 ontology 항목**을 동적으로 확장하고 유지한다.
이러한 접근은 기존 시스템의 **수동적 라벨링 의존성**과 **확장성 문제**를 극복하며, 대규모 상품 데이터에 대한 실시간 처리와 고정밀 지식 생성을 가능하게 한다.
기술적 접근법
- **S2D 아키텍처**: 세마틱 검색과 판별 단계로 분리. ontology는 별도 지식베이스로 유지되어, 모델 재학습 없이도 업데이트 가능.
- **LLM/VLM 모델**: 자체 진화하며, **94.2% 정확도**, **82.8% 재현률** 달성.
- **SKU 차원의 유사도 기반 중복 제거**와 **속성 차원의 고관련성 속성 탐색**을 통해 추론 효율성 향상.
- **캐시 재사용**과 **비동기 파이프라인 병렬 처리**를 통해 NPU 활용률 최적화.
- **하루 수억 개의 상품 업데이트 처리**를 지원하는 **Huawei Ascend NPU 기반 인프라**.
주요 결과
- **S2D 아키텍처**를 통해 **100억 개 이상의 SKU**에 대한 **고성능 상품 지식 생성** 가능.
- **LLM/VLM 모델**로 **94.2% 정확도**, **82.8% 재현률** 달성.
- **하루 수억 개의 상품 업데이트 처리**를 지원하며, **수백억 개의 상품 지식 자산** 축적.
- **검색 트래픽 커버리지 80.4%**, **상품 정보 품질 문제 37% 감소**, **상품 등록 시 핵심 속성 자동 채우기 80% 이상**, **상품 창의 자동 최적화로 클릭률 9% 증가**.
의의 및 한계
Oxygen AIIC는 **대규모 이커머스 플랫폼에서의 상품 지식 생성과 관리 문제**를 해결하는 **LLM/VLM 기반의 산업 규모 솔루션**으로, **상품 정보 품질 향상**, **운영 효율성 증대**, **검색 및 추천 성능 개선** 등 실질적인 비즈니스 성과를 달성했다. 특히, **S2D 아키텍처**와 **자체 진화하는 모델**은 기존 시스템의 **확장성**, **정확도**, **비용 효율성** 문제를 극복한 핵심 기술로 평가된다.
그러나, **모델의 지속적인 진화**와 **ontology의 동적 확장**은 **데이터 품질**과 **인간 전문가의 가이드라인**에 크게 의존하며, **모델 hallucination** 가능성도 존재한다. 또한, **복잡한 비즈니스 요구사항**에 따라 **서비스 형태와 데이터 신선도**가 달라지는 점은 **플랫폼의 유연성**을 요구한다.
실용적 활용
Oxygen AIIC는 이커머스 플랫폼에서의 상품 관리, 검색, 추천, 카테고리 운영 등 다양한 비즈니스 시나리오에 적용 가능하다. 특히, 상품 정보 자동 채우기, 상품 태깅, 상품 지식 그래프 구축 등에서 운영 효율성과 사용자 경험 개선에 기여할 수 있다. 또한,