엔비디아가 엣지 환경에서 피지컬 AI를 구현하기 위한 엔비디아 코스모스 3 엣지(NVIDIA Cosmos 3 Edge)를 공개했다.

피지컬 AI 시스템은 월드 모델을 활용해 물리적 환경을 인식하고, 추론하며, 예측한다. 그러나 현실 세계는 광활하고 예측하기 어려우며 끊임없이 변화한다.

창고를 이동하는 로봇부터 공장 현장을 모니터링하는 카메라 네트워크까지, 피지컬 AI 시스템은 현재 벌어지는 상황을 이해하고, 다음 일을 추론하며, 실질적인 영향을 미칠 수 있을 만큼 신속하게 행동해야 한다. 지금까지 이와 같은 프론티어급 AI를 엣지 환경에 구현하려면 모델 성능과 배포 효율성 사이에서 절충해야 하는 경우가 많았다.

새롭게 공개된 엔비디아 코스모스 3 엣지는 이러한 절충을 해소할 수 있도록 지원한다. 40억 개의 파라미터를 갖춘 옴니모델은 메모리 효율적인 배포와 높은 처리량을 위해 최적화되었으며, 엔비디아 젯슨(Jetson), 엔비디아 RTX PRO, 엔비디아 DGX 시스템과 지포스(GeForce) RTX GPU에서도 구동이 가능하다.

엔비디아 코스모스 3를 확장한 이 소형 월드 파운데이션 모델은 텍스트, 이미지, 영상, 주변 소리 및 동작을 이해하고 생성할 수 있다. 이 모델의 트랜스포머 혼합(mix-of-transformers) 아키텍처를 통해 물리적 현실에 기반한 실시간 비전 분석 및 온디바이스 로봇 행동을 지원한다.

코스모스 3 엣지는 엣지 환경에서 프론티어급 피지컬 AI 성능을 제공한다. 동일 파라미터급 모델 가운데 빈티지-벤치(VANTAGE-Bench) 비전 분석 성공률 1위를 기록했으며, 사후 학습을 통해 최첨단 수준의 로봇 학습을 지원한다.

로보틱스·자율주행 자동차·스마트 인프라 전반의 온디바이스 피지컬 AI

개발자는 엔비디아 DGX 스테이션(DGX Station) 데스크사이드 AI 슈퍼컴퓨터를 통해 자체 보유 로봇 및 센서 데이터로 코스모스 3 엣지를 사후 학습하고, 특화된 월드 액션 모델을 구축할 수 있다. 이후 이를 엔비디아 젯슨 토르(Jetson Thor)에 배포해 조작이나 이동 등 실시간 로봇 제어 정책에 활용할 수 있다. 애자일 로봇(Agile Robots), 두산 로보틱스, 지멘스(Siemens), 스킬드 AI(Skild AI)는 로보틱스 워크플로우에 코스모스 3 엣지를 적용하는 방안을 평가하고 있다.

자율주행 자동차의 경우, 코스모스 3 엣지는 자원이 제한된 하드웨어에서도 도로 상황 이해, 교통 상황 추론, 객체 의도 예측, 정책 모델 증류를 지원한다. 해당 모델은 엔비디아 알파마요(Alpamayo) 비전 언어 행동 모델을 포함한 차량용 정책 모델 증류에서 학생 모델의 백본으로 활용될 수 있다.

스마트 인프라의 경우, 코스모스 3 엣지는 젯슨 토르에서 실시간 추론을 수행해 동급 최고 수준의 처리량과 정확도를 제공한다. 이를 통해 실시간 영상 스트리밍을 기반으로 추론하는 비전 에이전트를 교통 모니터링과 공공 안전, 물류, 산업 검사에 활용할 수 있다. 개발자는 20억 개의 파라미터를 갖춘 엔비디아 네모트론(Nemotron) 기반 추론 모듈을 엔비디아 젯슨 오린(Jetson Orin) 8GB에서 독립적으로 실행할 수도 있다. 센티픽(Centific), 바이디오(Vaidio), 위안(YUAN)은 엣지에서 구동되는 비전 에이전트를 가속하기 위해 코스모스 3 엣지를 평가하고 있다.

엔비디아 코스모스 플랫폼 공개

코스모스 3 엣지는 피지컬 AI 월드 모델 개발을 위한 엔비디아 코스모스 플랫폼의 일부다. 코스모스 3는 엣지(4B), 나노(16B), 슈퍼(64B) 세 가지 용량으로 제공된다. 개발자는 엣지 배포부터 고충실도 생성에 이르는 각 개발 단계에 적합한 모델을 선택할 수 있다.

코스모스 3 엣지, 코스모스 3 나노, 코스모스 3 슈퍼는 허깅페이스(Hugging Face)에 공개돼 있다. 추론 및 학습 후 프레임워크와 레시피는 깃허브(GitHub)에서 확인할 수 있다.

@nvidia