DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

As AI datacenters retire functional GPUs, vast quantities of still capable accelerators enter secondary markets. This paper investigates whether these retired GPUs can find a productive afterlife to form a DumpsterCluster that can serve modern LLM inference, and under what conditions such repurposing is economically viable and environmentally sustainable. We physically built a 128-GPU DumpsterCluster from scratch using only second-hand components and ran it for one year. At current market prices (\$22K for the DumpsterCluster vs. \$600K for an 8-GPU B200 system), the economic advantages are substantial. Through pipeline-parallel optimizations, our V100 based DumpsterCluster achieves competitive LLaMA-70B throughput, validating production viability. However, our deployment reveals critical context dependencies. Older GPUs consume significantly more energy per token, making total cost of ownership favorable only in regions with inexpensive electricity. Under grid-average carbon intensity, second-hand systems can produce approximately 4x higher total carbon emissions per token for 8B models, and over 40x for 70B models, compared to current-generation hardware. These findings show that GPU afterlife is not universally sustainable - hardware repurposing must be strategically coupled with low carbon energy sources. When deployed in regions with favourable energy economics and clean electricity, second-hand GPUs offer a viable pathway for expanding AI capacity while advancing affordability, energy security, and environmental responsibility.

한 줄 요약

128개의 중고 V100 GPU로 구성된 DumpsterCluster를 통해 LLaMA-70B 추론을 $22K에 구현하며, 에너지 및 탄소 조건에 따라 경제적·환경적 이점을 분석.

핵심 기여도

128-GPU DumpsterCluster를 중고 부품으로 직접 구축하고 1년간 운영.
V100 기반 시스템을 파이프라인-병렬 최적화를 통해 LLaMA-70B 추론 성능 달성.
8-GPU B200 시스템 대비 27배 저렴한 $22K 비용으로 구축.
70B 모델에서 중고 GPU는 최신 하드웨어 대비 40배 이상 높은 탄소 배출량 발생.

핵심 아이디어

이 연구는 AI 데이터센터에서 퇴출된 기능적인 GPU가 재활용되어 LLM 추론에 활용될 수 있는지, 그리고 그 경제적·환경적 타당성을 탐구한다. 핵심 아이디어는 중고 GPU를 활용한 DumpsterCluster를 구축하여, 최신 하드웨어 대비 저비용으로 LLM 추론을 가능하게 하는 동시에, 에너지 가격과 탄소 강도에 따라 지속 가능성 여부를 분석하는 것이다. 연구팀은 Rust로 구현된 커스텀 서빙 엔진을 통해 기기 수준 파이프라인 병렬화 전략을 도입하여, HBM 용량, 대역폭, GPU 간 인터커넥트 속도가 제한된 V100 GPU에서도 토큰 처리량(Tokens Per Second, TPS)이 장치 수와 선형적으로 증가함을 보여준다.

기술적 접근법

**하드웨어 구성**: 128개의 중고 V100 GPU와 CPU, 메모리, 메인보드로 구성된 DumpsterCluster.
**소프트웨어 최적화**: Rust로 구현된 커스텀 LLM 서빙 엔진에서 **파이프라인-병렬화**(pipeline-parallelism) 전략 적용.
**모델**: LLaMA-70B 모델을 대상으로 추론 성능 평가.
**성능 지표**: TPS(Tokens Per Second)가 장치 수와 선형적으로 증가함을 실험적으로 검증.

주요 결과

**LLaMA-70B 추론 성능**: V100 기반 DumpsterCluster가 경쟁력 있는 추론 처리량을 달성.
**비용 비교**: 8-GPU B200 시스템($600K) 대비 27배 저렴한 $22K 비용으로 구축.
**환경 영향**: 8B 모델에서 4배, 70B 모델에서 40배 이상 높은 탄소 배출량 발생 (전력망 평균 탄소 강도 기준).

의의 및 한계

DumpsterCluster는 저비용으로 AI 추론 인프라 확장을 가능하게 하며, 에너지 가격이 낮고 탄소 강도가 낮은 지역에서는 경제적·환경적 이점을 동시에 달성할 수 있다. 그러나 중고 GPU는 단위 토큰당 에너지 소비가 높아, 고비용 전력 지역에서는 총 소유 비용(TCO)이 유리하지 않다. 또한, 70B 규모 모델에서는 탄소 배출량이 현대 하드웨어 대비 40배 이상 증가하여, 지속 가능성 측면에서 전략적 에너지 배치가 필수적이다. 이 연구는 GPU 재활용의 가능성과 한계를 명확히 제시하며, 하드웨어 재사용이 반드시 지속 가능한 것은 아니라는 점을 강조한다.

실용적 활용

DumpsterCluster는 AI 연구소, 중소 기업, 저예산 연구 프로젝트에서 AI 추론 인프라를 저비용으로 확장할 수 있는 실용적 솔루션으로 활용 가능하다. 특히, 재생 에너지가 풍부한 지역에서는 에너지 보안과 환경 책임을 동시에 달성할 수 있는 경로로 기능할 수 있다.