컴퓨터

단일 RTX PRO 6000 Blackwell GPU, RTX 5090 4개 대비 1/4 전력으로 230B AI 모델 구동

따노스 쪽지 2026-04-20 14:05

X 사용자 Steveibe가 대형 AI 모델을 가정 환경에서 실행할 수 있는지 확인하기 위한 테스트 벤치마크를 공유했습니다. 시연에는 230B 규모의 AI 추론 모델인 MiniMax M2.7이 사용되었으며, NVIDIA GPU 기반의 네 가지 서로 다른 테스트 환경에서 실행되었습니다. 평가에는 컨텍스트 크기 32k와 최대 토큰 길이 4096이 적용되었습니다.

NVIDIA's 96GB RTX PRO 6000 Matches Four RTX 5090s on a 230B AI Model While Drawing a Quarter the Power 1

사용자는 IQ3_XXS라는 GGUF 양자화 방식을 사용했으며, 이는 낮은 VRAM 환경에서도 동작하면서 RTX PRO 6000의 96GB VRAM에 맞출 수 있는 최대 수준의 양자화입니다. 동일한 설정이 모든 테스트 환경에 적용되었으며 결과는 다음과 같습니다:

4x RTX 4090 (96GB): 71.52 tok/s, TTFT 1045ms
4x RTX 5090 (128GB): 120.54 tok/s, TTFT 725ms
1x RTX PRO 6000 (96GB): 118.74 tok/s, TTFT 765ms
DGX Spark (128GB): 24.41 tok/s, TTFT 741ms

토큰 생성 속도 기준으로 단일 RTX PRO 6000 Blackwell GPU는 118.74 tok/s를 기록했습니다. 비교하면 RTX 5090 4개(총 128GB VRAM)는 120.54 tok/s, 이전 세대 RTX 4090 4개는 71.52 tok/s를 기록했습니다. DGX Spark Mini AI PC는 128GB 메모리를 탑재하고도 24.41 tok/s를 기록했습니다.

그러나 단순 토큰 생성 속도만으로 성능을 판단하기는 어렵고, 전력 소비와 가격도 중요한 요소입니다. 전력 소비를 보면 차이는 더욱 두드러집니다. RTX 4090 및 RTX 5090 기반 4-GPU 구성은 각각 1800W와 2300W를 소비하는 반면, 단일 RTX PRO 6000 Blackwell GPU는 600W 수준에 그칩니다.

4x4090 → 최대 1,800W (450W × 4)
4x5090 → 최대 2,300W (575W × 4)
RTX PRO 6000 → 최대 600W
DGX Spark → 최대 240W (전체 시스템)

이는 RTX 5090 4개 대비 약 1/4, RTX 4090 4개 대비 약 1/3 수준의 전력 소비입니다. DGX Spark는 전체 시스템 기준 240W를 소비하며, 비교적 낮은 전력으로 구동되는 일체형 AI 시스템이라는 점이 특징입니다.

가격 측면에서는 RTX PRO 6000 Blackwell 단일 GPU가 약 9,500달러, RTX 5090은 개당 약 3,500달러로 4개 구성 시 총 14,000달러 수준입니다. DGX Spark는 가격 인상 이후 약 4,699달러에 판매되고 있습니다.

RTX 4090 평균 가격: 약 3,000달러 (GPU당)
RTX 5090 평균 가격: 약 3,500달러 (GPU당)
RTX PRO 6000 평균 가격: 약 9,500달러 (GPU당)
DGX Spark AI PC 평균 가격: 약 4,699달러

AI 모델은 멀티 GPU 구성을 통해 메모리 용량을 확장할 수 있지만, 구성에 따른 오버헤드가 존재합니다. 이러한 점에서 단일 RTX PRO 6000 Blackwell 96GB는 더 높은 효율성과 우수한 성능, 그리고 비용 대비 경쟁력을 제공하는 대안으로 평가됩니다.