18+

전체 게시글

빌런 TOP 20
일간 l 주간 l 월간
조텍 프래그마타 게임 번들
엔비디아가 오는 11월 9일(월)부터 10일(화)까지 양일간 서울 코엑스에서 ‘엔비디아 AI 데이 서울 2026(NVIDIA AI Day Seoul 2026)’을 개최한다. 엔비디아 AI 데이 서울은 개발자, 스타트업, 기업, 파트너, 연구자와 업계 리더들이 한자리에 모여 에이전틱 AI, 피지컬 AI, AI 인프라를 중심으로 최신 AI 기술과 산업 트렌드, 실제 적용 사례를 공유하는 엔비디아의 한국 대표 AI 행사다. 올해 약 2,000명이 참석할 예정이며, 엔비디아 리더와 국내 주요 기업, 스타트업, 연구진이 참여하는 다양한 프로그램이 이틀간 진행된다. 올해 행사는 엔비디아와 한국 AI 생태계의 다양한 협력과 혁신 사례를 한자리에서 확인할 수 있는 자리다. 첫째 날에는 플래너리 세션과 3개 트랙의 브레이크아웃 세션이 진행되며, 둘째 날에는 NVIDIA 딥 러닝 인스티튜트(Deep Learning Institute, DLI)의 유료 핸즈온 워크숍과 다양한 초청 전용 스페셜 이벤트가 이어진다. AI 데이 서울 2026은 현재 참가 등록이 모두 마감됐다. 현장에 참석하지 못하는 이용자들은 행사 이후 NVIDIA On-Demand를 통해 주요 세션을 다시 볼 수 있다. AI 혁신을 이끄는 엔비디아 리더들의 플래너리 세션 11월 9일(월) 오전 코엑스 3층 오디토리움에서는 피지컬 AI, 에이전틱 AI, AI 팩토리를 주제로 엔비디아 리더들의 플래너리 세션이 열린다. 디푸 탈라(Deepu Talla) 엔비디아 로보틱스 및 엣지 AI 부문 부사장은 ‘피지컬 AI의 현황과 미래’를 주제로 로보틱스와 엔비디아 아이작(NVIDIA Isaac), 엔비디아 코스모스(NVIDIA Cosmos), AI 팩토리의 발전 방향을 소개한다. 또한 이러한 기술이 한국의 제조, 자동차, 반도체 산업에서 어떻게 활용되고 있는지 살펴본다. 조나단 코헨(Jonathan Cohen) 엔비디아 응용 연구 부문 부사장은 에이전틱 AI를 주제로 추론, 엔비디아 NIM(NVIDIA NIM), 다중 에이전트 오케스트레이션을 활용한 엔터프라이즈 에이전틱 AI와 오픈 모델 생태계 전략을 다룬다. 정구형 엔비디아 솔루션 아키텍트 팀 매니저와 제시 클레이튼(Jesse Clayton) 엔비디아 AI 인프라 부문 수석 프로덕트 마케팅 매니저는 AI 팩토리 로드맵과 엔비디아 DSX 생태계를 소개한다. 국내 기업이 AI 팩토리를 구축할 때 고려해야 할 주요 기술적 과제와 인프라 전략도 함께 짚을 예정이다. 3개 트랙·15개 브레이크아웃 세션에서 국내 AI 혁신 사례 공유 오후에는 코엑스 1층 그랜드볼룸에서 에이전틱 AI와 클로(Claws), 피지컬 AI와 로보틱스, AI 인프라를 주제로 세 개 트랙이 동시에 진행된다. 각 트랙에서는 엔비디아 전문가와 국내 기업·스타트업 연사들이 실제 산업 현장에서 구축한 AI 기술과 문제 해결 경험을 공유한다. 트랙 1: 에이전틱 AI와 클로 엔비디아 네모트론(NVIDIA Nemotron)을 활용한 엔터프라이즈 AI와 오픈 모델 생태계부터 실제 프로덕션 환경에서의 에이전틱 AI 구축 사례까지 폭넓게 다룬다. 네이버클라우드는 에이전트 구축을 위한 오픈 모델 엔비디아 네모트론과 대규모 모델 학습 경험을 공유한다. AIM Intelligence는 네모 가드레일(NeMo Guardrails), 엔비디아 오픈쉘(NVIDIA OpenShell), 엔비디아 네모클로(NVIDIA NemoClaw)를 활용해 안전하게 통제되는 에이전트를 배포하는 방법을 소개한다. LG AI연구원, SK텔레콤, 업스테이지가 참여하는 ‘K-AI Frontier Builders’ 패널에서는 국내 주요 모델 개발사들이 엔비디아 스택을 활용해 소버린 파운데이션 모델을 학습하고 서비스해 온 경험을 공유한다. SK하이닉스는 엔비디아 CUDA-X와 피직스네모(PhysicsNeMo)를 활용해 반도체 소자·공정 시뮬레이션을 가속하는 방법을 소개하며, 삼성전자는 피직스네모 기반 물리 AI를 활용해 유체·열·구조 해석을 가속하고 AI 에이전트로 설계 탐색을 자동화하는 방향을 소개한다. 트랙 2: 피지컬 AI와 로보틱스 피지컬 AI와 로보틱스 트랙에서는 시뮬레이션, 로봇 학습, 월드 파운데이션 모델 등 실제 물리 세계를 이해하고 상호작용하는 AI 기술을 다룬다. 엔닷라이트는 CAD, 이미지, 텍스트를 물리적 특성을 갖춘 OpenUSD 기반 SimReady 자산으로 전환하는 워크플로를 소개한다. LG전자는 엔비디아 아이작 GR00T(NVIDIA Isaac GR00T)를 활용해 데이터 수집부터 학습, 시뮬레이션, 현장 검증으로 이어지는 폐루프 학습 시스템을 실제 공장 적용 사례와 함께 공유한다. 두산로보틱스는 뉴턴(Newton)과 엔비디아 워프(NVIDIA Warp)를 활용해 접촉과 변형 등 복잡한 물리 상호작용을 시뮬레이션하는 방법을 소개한다. RLWRLD는 아이작 랩 아레나(Isaac Lab Arena) 기반 로봇 손 조작 벤치마크 ‘DexBench v1.0’을 활용한 정책 평가와 검증 사례를 공유한다. 슈퍼브에이아이는 엔비디아 코스모스(NVIDIA Cosmos)를 활용해 물리 세계를 생성하고 합성 데이터를 제작해 로보틱스 개발에 활용하는 방법을 소개한다. 트랙 3: AI 인프라 AI 인프라 트랙에서는 대규모 AI 팩토리 구축과 운영, 추론 성능 최적화, GPU 클러스터 안정성 등을 다룬다. SK텔레콤은 전력망부터 칩까지 이어지는 AI 팩토리 전력 과제와 엔비디아 DSX 레퍼런스 아키텍처를 기반으로 한 대규모 AI 팩토리 구축 방안을 소개한다. 엔비디아는 텐서RT-LLM(TensorRT-LLM)과 엔비디아 다이나모(NVIDIA Dynamo)를 활용해 대규모 추론 성능을 높이고 오케스트레이션을 최적화하는 방법을 공유한다. 네이버클라우드는 수천 개 GPU 규모의 대규모 클러스터를 연중 안정적으로 운영하며 얻은 설계, 장애 대응, 학습 안정화 경험을 소개한다. 베슬 AI(VESSL AI)는 AI 팩토리 모니터링과 GPU 자원 배분을 지능적으로 관리하는 AI 네이티브 AIOps 플랫폼을 시연한다. 쿠팡 인텔리전트 클라우드(Coupang Intelligent Cloud)는 엔비디아 GB300 NVL72 기반 랙 스케일 인프라와 서버리스 AI 플랫폼의 학습·추론 아키텍처를 소개한다. 전체 프로그램과 세부 세션 일정은 엔비디아 AI 데이 서울 2026 세션 카탈로그에서 확인할 수 있다. Build-a-Claw에서 직접 경험하는 자율형 AI 에이전트 11월 9일 코엑스 1층 로비에서는 ‘Build-a-Claw’ 체험 프로그램이 운영된다. 참가자들은 엔비디아 하드웨어를 기반으로 항상 작동하는(always-on) AI 에이전트와 피지컬 AI 데모를 직접 체험할 수 있다. 엔비디아 전문가와 함께 OpenClaw와 엔비디아 NemoClaw를 활용해 AI 에이전트를 직접 구축하고 실행하는 경험도 제공한다. 11월 10일, NVIDIA DLI 유료 핸즈온 워크숍 진행 둘째 날인 11월 10일(화)에는 개발자를 위한 NVIDIA DLI 유료 원데이 핸즈온 워크숍이 진행된다. 엔비디아 솔루션 아키텍트가 한국어로 진행하는 이번 워크숍에서는 에이전틱 AI와 추론, 로보틱스 분야의 최신 엔비디아 기술을 실제 프로젝트에 적용할 수 있도록 심도 있는 실습 교육을 제공한다. ‘대규모 AI 추론 배포와 최적화’ 워크숍에서는 프리필(prefill)과 디코드(decode), KV 캐시 스케일링 등 LLM 추론의 핵심 원리를 학습하고 쿠버네티스 환경에서 추론 시스템을 배포한다. 또한 엔비디아 다이나모를 활용해 KV 캐시 인식 라우팅과 분리형 추론을 구현하는 방법을 다룬다. ‘NVIDIA Isaac 기반 로보틱스 워크플로 시뮬레이션·학습·검증·배포’ 워크숍에서는 엔비디아 아이작 기반 시뮬레이션을 활용해 로봇 정책을 학습하고 소프트웨어 인 더 루프(SIL)·하드웨어 인 더 루프(HIL) 테스트를 통해 검증한다. 이어 sim-to-real 기술을 통해 시뮬레이션과 실제 환경 간 격차를 줄이고 학습된 모델을 실제 로봇에 배포하는 전 과정을 다룬다. ‘LLM 기반 안전한 에이전트 개발’ 워크숍에서는 구조화된 출력, 툴 호출, ReAct 루프를 활용해 LLM 호출을 단계별로 추적하고 디버깅하는 방법을 배운다. 에이전트 간 상호작용을 위한 검색 패턴과 실행 중인 에이전트의 계측·평가, 샌드박스 환경에서 안전하게 운영하는 방법도 실습한다. 국내 AI 생태계와 함께하는 스페셜 이벤트 둘째 날에는 국내 연구자와 스타트업, 개발자 커뮤니티를 위한 다양한 초청 전용 스페셜 이벤트도 마련된다. ‘AI for Science Forum’에서는 김현우 NVIDIA–KAIST 공동연구소 소장을 비롯한 국내 연구진이 AI를 활용한 과학적 발견 사례를 소개한다. K-Moonshot 프로젝트와 KISTI의 ‘한강(HANGANG)’ 슈퍼컴퓨터를 중심으로 AI가 과학 연구의 새로운 가능성을 어떻게 열고 있는지도 논의한다. ‘Physical AI Startup Connect’에서는 국내 NVIDIA Inception 스타트업 10곳이 피칭에 참여하고, 벤처캐피털(VC) 피드백 패널과 네트워킹을 통해 피지컬 AI 생태계의 협력 기회를 모색한다. ‘Agentic AI 10x Bootcamp: 개발자 커뮤니티 데이’에서는 국내 AI·개발자 커뮤니티 10곳과 패스트캠퍼스 해커톤 참가팀이 직접 개발한 AI 에이전트와 실제 개발 경험을 공유한다. NVIDIA 전문가와 직접 만나는 Q&A 및 인증 자격증 시험 코엑스 1층 로비에서는 ‘Ask the NVIDIA Tech Experts’ Q&A 카운터가 운영된다. 참가자들은 AI 인프라, HPC, LLM, 로보틱스, 자동차 분야의 엔비디아 전문가와 1:1로 만나 기술 관련 질문을 나눌 수 있다. 행사 참가자는 이틀 동안 어소시에이트 레벨 NVIDIA 인증 자격증 시험에도 무료로 응시할 수 있다. 시험은 한국어로 진행되며, 새롭게 추가된 ‘AI Model and Application Development’를 포함한 5개 시험 가운데 하나를 선택할 수 있다. 20개 에코시스템 파트너 참여 엔비디아 AI 데이 서울 2026에는 총 20개 에코시스템 파트너가 참여한다. 알토스(Altos), 에즈웰에이아이(Azwell AI), 베이넥스(Baynex), 쿠팡 인텔리전트 클라우드(Coupang Intelligent Cloud), 델 테크놀로지스(Dell Technologies), 딜로이트(Deloitte), 패스트캠퍼스(Fastcampus), 한컴(HANCOM), 현대건설(Hyundai E&C), 리더스시스템즈(Leaders Systems), LG전자(LG Electronics), 메가존클라우드(MegazoneCloud), MSI, 네이버클라우드(NAVER Cloud), 삼성전자(Samsung Electronics), SK하이닉스(SK hynix), SK텔레콤(SK Telecom), 바스트 데이터(VAST Data), 베슬 AI(VESSL AI), 웨카(WEKA)가 함께한다. @nvidia
2026.11.02
6
7
AMD는 오픈 컴퓨트 프로젝트(Open Compute Project, OCP) 사양 설계를 기반으로 AMD 컴퓨팅 기술을 적용한 개방형 에이전틱 AI 인프라 청사진, AMD 헬리온 (AMD Helion) 에이전틱 AI 랙을 공개했다. AMD 헬리온은 AMD 헬리오스(AMD Helios™) 랙스케일 솔루션의 개방형 플랫폼 접근 방식을 바탕으로 파트너와 고객에게 에이전틱 AI 인프라를 유연하게 구성할 수 있는 선택지를 제공하도록 설계됐다. 고객은 AMD 헬리온을 통해 AI 에이전트가 수행하는 작업에 맞춰 CPU 성능과 코어 밀도, 전력을 GPU 가속과 조합할 수 있다. AMD 컴퓨트 및 엔터프라이즈 AI 부문 수석 부사장 겸 총괄 책임자 댄 맥나마라(Dan McNamara)는 “에이전틱 AI는 단일 워크로드가 아니다. 개인용 에이전트, 엔터프라이즈 애플리케이션, 코드 실행, 복잡한 워크플로 등 다양한 영역에 걸쳐 있으며, 각각 서로 다른 컴퓨팅 요구 사항이 있다. 이를 지원하려면 각 워크로드에 맞게 최적화되고 다양한 요구에 대응할 수 있는 컴퓨팅과 인프라가 필요하다. AMD 헬리온은 AMD 에픽(AMD EPYC™)의 성능, 개방형 소프트웨어, 유연한 랙 설계를 결합해 파트너가 고객 요구에 맞는 시스템을 구축하고 가용 전력을 효율적으로 활용할 수 있도록 지원한다”고 말했다. AMD 헬리온의 OCP 사양 기반 랙 청사진은 개방형 소프트웨어를 지원하며, 수랭식과 공랭식 등 다양한 구성으로 제공될 수 있다. 고객은 필요에 따라 폭넓은 구성을 설계할 수 있다. 예시는 다음과 같다. • CPU 전용 랙: 6세대 AMD 에픽 프로세서를 탑재해 최대 32,768개의 CPU 코어를 지원할 수 있다. 하이퍼스케일 고객을 대상으로 설계됐으며, 에이전트 실행을 위한 전용 컴퓨팅 용량과 별도의 모델 추론 인프라 연결을 제공한다. • 올인원 랙: AMD 에픽 CPU 노드, AMD 인스팅트(AMD Instinct™) MI350P GPU 노드, 범용 컴퓨팅을 하나의 플랫폼에 결합한다. 파트너와 고객이 엔터프라이즈 에이전틱 AI를 위한 올인원 시스템을 구축할 수 있도록 설계됐다. AMD 헬리온은 고객이 기존 IT 인프라에 에이전틱 AI를 도입하고, 기존 투자를 새로운 AI 기능의 기반으로 활용할 수 있도록 지원한다. 파트너는 고객의 워크로드에 맞춰 CPU와 GPU 구성을 조정하고, 각 구축 환경의 성능·전력·비용 요구 사항에 따라 에이전트 실행, 모델 추론, 지원 컴퓨팅을 구성할 수 있다. AMD는 AMD 헬리온 사양을 OCP에 제안해 커뮤니티가 추가로 개발하고 도입할 수 있도록 할 계획이다. AMD 헬리온 에이전틱 랙 구성은 현재 생태계 파트너들과 개발 중이며, 2026년 11월 출시 예정이다. 생태계 지원 AMD는 개방적이고 유연한 플랫폼, 워크로드에 최적화된 폭넓은 컴퓨팅 포트폴리오, 생태계 전반의 협력을 통해 AI 인프라의 다음 단계를 만들어가고 있다. AMD 헬리온은 이러한 접근 방식을 에이전틱 AI로 확장해 파트너가 에이전트의 작업에 맞춰 소프트웨어와 컴퓨팅을 조합하고, 고객이 변화하는 요구 사항에 따라 유연하게 규모를 확장할 수 있도록 지원한다. • 시스코 컴퓨트 부문 수석 부사장 겸 총괄 책임자 제레미 포스터(Jeremy Foster)는 “에이전틱 AI는 고객이 인프라에 기대하는 바를 바꾸고 있다. 컴퓨팅 성능뿐 아니라 시스템 전체가 어떻게 연결되고 관리되며 보안을 유지하는지가 중요하다. AMD 헬리온과 시스코의 풀스택 인프라 역량을 결합하면 고객은 변화하는 요구에 맞춰 에이전틱 워크로드를 각 환경에 유연하게 도입·운영·확장할 수 있다”고 말했다. • 델 테크놀로지스 컴퓨트 및 네트워킹 부문 수석 부사장 아룬 나라야난(Arun Narayanan)은 “델 파워랙(Dell PowerRack)은 고객에게 타협 없는 선택지를 제공하며, AMD 헬리온 에이전틱 랙 레퍼런스 디자인 지원을 통해 차세대 에이전틱 AI에도 이러한 가치를 확장한다. AMD의 랙스케일 아키텍처와 델의 랙스케일 시스템 제공 및 차별화된 엔지니어링 역량을 결합하고, 델 파워랙 네트워킹 및 스토리지로 구축을 확장할 수 있도록 함으로써 고객은 대규모 에이전틱 컴퓨팅을 도입할 수 있는 완전하고 검증된 경로를 확보하게 된다. 여기에는 델이 제공해 온 관리 용이성과 신뢰성도 포함된다”고 말했다. • 혼하이 테크놀로지 그룹(Hon Hai Technology Group)은 “AI 인프라 분야에서 AMD와의 협력을 지속적으로 확대하고 있으며, 새로운 AMD 헬리온 에이전틱 AI 랙 레퍼런스 디자인을 지원한다. 개방형 아키텍처를 기반으로 하는 이 플랫폼은 6세대 AMD 에픽 프로세서와 유연한 CPU·GPU 구성을 결합해 하이퍼스케일 데이터센터와 엔터프라이즈 에이전틱 AI 워크로드를 지원한다. 앞으로도 랙 수준 시스템 통합과 글로벌 제조 역량을 바탕으로 생태계 파트너들과 협력해 랙스케일 에이전틱 AI 솔루션을 발전시키고 차세대 AI 인프라 도입을 가속화할 것”이라고 밝혔다. • HPE HPC 및 AI 인프라 솔루션 부문 수석 부사장 겸 총괄 책임자 트리시 담크로거(Trish Damkroger)는 “차세대 AI 워크로드에는 개방형 랙스케일 아키텍처가 제공하는 규모와 효율성, 유연성이 필요하다. 최근 AMD 헬리오스 구축을 위한 고객 계약에서도 이를 확인할 수 있다. HPE와 AMD는 수십 년간 개방형 표준을 함께 추진해 왔으며, AMD 헬리온을 통해 이러한 노력을 이어가고 있다. HPE의 수십 년간의 전문성과 혁신을 바탕으로 공랭식 및 직접 수랭식 네트워킹을 강화한 개방형 대규모 시스템을 제공해 AI의 다음 시대를 열어가고 있다”고 말했다. • 레노버 인프라 솔루션 그룹 부사장 스콧 패티(Scott Patti)는 “에이전틱 AI가 실제 운영 환경에 도입되면서 고객은 어디에서 어떤 방식으로 이를 구축할지 유연하게 선택할 수 있어야 한다. 이는 레노버 하이브리드 AI 어드밴티지(Lenovo Hybrid AI Advantage)의 핵심이며, AMD 헬리온은 고객이 원하는 환경과 워크로드를 지원하는 선택지를 더욱 넓혀줄 것”이라고 말했다. • 슈퍼마이크로 최고사업책임자 비크 말랴라(Vik Malyala)는 “슈퍼마이크로는 데이터센터 빌딩 블록 솔루션(Data Center Building Block Solutions®, DCBBS)을 통해 개방형 ORv3 준수 랙스케일 아키텍처인 AMD 헬리온의 시장 도입을 지원하며 차세대 에이전틱 AI 인프라 구축을 가속화하고 있다. OCP가 채택한 랙스케일 설계, 통합, 수랭, 소프트웨어, 구축 서비스 분야에서 검증된 역량을 바탕으로 첨단 에이전틱 AI 아키텍처를 실제 운영 가능한 솔루션으로 구현한다. AMD와 함께 고객이 에이전틱 AI를 더 빠르게 도입하고 효율적으로 확장하며 온라인 서비스 개시까지 걸리는 시간을 단축할 수 있도록 지원한다”고 말했다. • 위윈(Wiwynn) 사장 겸 CEO 윌리엄 린(William Lin)은 “AMD 헬리온은 에이전틱 AI 인프라를 위한 개방적이고 유연한 기반을 제공한다. 위윈은 랙 수준 통합과 첨단 냉각 분야의 역량을 바탕으로 AMD와 협력해, 하이퍼스케일 고객이 에이전틱 AI 시대의 까다로운 워크로드와 전력 요구 사항, 데이터센터 환경에 맞춰 시스템을 구성할 수 있도록 지원하게 되어 기쁘다”고 말했다. @amd
2026.10.14
3
3
엔비디아가 엔비디아(NVIDIA) AI 네트워킹의 다섯 번째 축이자 에이전틱 AI 팩토리를 위한 새로운 유형의 가속 네트워크 인프라인 엔비디아 스케일인(Scale-In)을 공개했다. 스케일인은 AI 팩토리의 보안, 관리, 운영을 담당하는 인프라 서비스에도 특화된 가속 기술을 적용해, AI 컴퓨팅과 함께 인프라 전반을 효율적으로 운영할 수 있도록 지원한다. 엔비디아 스케일인은 엔비디아 블루필드-4(BlueField-4) 프로세서와 엔비디아 DOCA 소프트웨어 플랫폼을 기반으로 하며, 엔비디아 스펙트럼-X 이더넷(Spectrum-X Ethernet)을 통해 연결된다. 이를 통해 기존의 노스-사우스(north-south) 액세스 네트워크를 통합된 가속 인프라 도메인으로 전환한다. 클라우드 컴퓨팅은 소프트웨어 정의 네트워킹과 결합성, 탄력성을 데이터센터에 도입해 사용자, 애플리케이션, 데이터, 서비스가 동적으로 확장될 수 있도록 했다. 에이전틱 AI는 차세대 플랫폼 전환을 의미한다. AI 팩토리는 대규모 가속 컴퓨팅을 기반으로 점점 더 많은 사용자, 애플리케이션, 자율형 에이전트를 하나로 결합하며, 이들은 데이터, 스토리지, 서비스와 지속적으로 상호작용한다. 이에 따라 AI를 실제로 구동하는 인프라에 요구되는 조건도 크게 변화한다. 이제 네트워킹, 스토리지, 사이버 보안, 운영 역시 AI 컴퓨팅과 함께 가속돼야 하며, 소프트웨어 정의 유연성과 특수 목적 하드웨어 가속, 풀스택 공동 설계를 결합해야 한다. 엔비디아 스케일인은 멀티테넌트 네트워킹, 고성능 스토리지 액세스, 실리콘 내장 보안, 탄력적 프로비저닝, 실시간 옵저버빌리티를 제공하는 동시에 인프라 처리를 호스트 컴퓨팅 리소스와 독립적으로 유지한다. 스케일인은 이러한 서비스를 AI 팩토리의 일부로 가속하고 공동 설계함으로써 보안, 데이터 액세스, 운영이 AI 컴퓨팅과 함께 확장될 수 있도록 지원한다. 이를 통해 대규모 에이전틱 AI를 구축하고 운영하는 데 필요한 안전하고 효율적이며 관리 가능한 공유 인프라를 구현한다. @nvidia
2026.08.26
12
13
엔비디아가 인터랙티브 AI 추론 가속기인 엔비디아 그록 3 LPX(NVIDIA Groq 3 LPX)의 본격적인 양산에 들어갔다고 발표했다. 엔비디아 베라 루빈(Vera Rubin) 플랫폼을 확장하는 그록 3 LPX는 반응성이 뛰어난 에이전틱 시스템의 초고속 토큰 생성을 지원해 AI 추론 성능을 크게 향상시킨다. 에이전틱 시스템은 수백, 수천 단계에 걸친 추론 과정에서 방대한 양의 토큰을 생성할 수 있다. 따라서 에이전트의 실시간 추론·행동과 복잡한 작업을 완료하기 위해서는 토큰 생성 속도를 높이는 것이 매우 중요하다. 베라 루빈 NVL72 시스템은 모든 AI 팩토리를 위한 가장 다재다능한 학습 및 추론 플랫폼을 제공한다. 엔비디아 그록 3 LPX는 토큰 생성 속도를 획기적으로 높여 베라 루빈 NVL72의 추론 성능을 확장하며, 대량의 컨텍스트를 처리하는 워크로드에 최상의 사용자 경험을 제공한다. 이를 통해 에이전트가 극한의 속도로 작동할 수 있도록 지원한다. 엔비디아 그록 3 LPX는 AI 추론의 한계를 확장하고 있다. 그록 3 LPX는 오픈소스 에이전틱 모델 젬마 4 31B(Gemma 4 31B)를 대상으로 에이전틱 시스템에 필수적인 10만 토큰 컨텍스트를 적용한 아티피셜 애널리시스(Artificial Analysis) 벤치마크에서 초당 3,400개의 출력 토큰이라는 기록적인 성능을 달성했다. 이는 해당 모델에서 지금까지 기록된 가장 빠른 성능이다. 그록 3 LPX는 코딩과 같은 에이전틱 작업을 몇 시간이 아닌 단 몇 분 만에 수행할 수 있도록 지원하며, 가장 유사한 대체 플랫폼 대비 에이전트와 지연 시간에 민감한 워크로드에서 4배 빠른 응답 속도를 제공한다. 엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “추론은 AI 성장의 원동력이다. 엔비디아 그레이스 블랙웰(Grace Blackwell)과 NVL72는 전례 없는 성능과 효율성 향상을 통해 거대 언어 모델(large language model, LLM) 추론에 혁신을 가져왔다. 베라 루빈은 에이전틱 AI 시대를 위해 워크로드에 최적화된 AI 팩토리 구성으로 이러한 비전을 확장하며, 초고속 토큰 생성을 위한 LPX로 성능의 한계를 한층 더 끌어올린다. 이는 지능이 생산되는 방식을 혁신하며, 전 세계적으로 AI 컴퓨팅 수요가 증가하는 가운데 AI 처리량, 효율성, 응답성 측면에서 또 한 번의 획기적인 도약을 가능하게 한다”고 말했다. 그록 3 LPX, 인터랙티브 AI 추론 가속기 에이전틱 AI는 두 가지 뚜렷한 컴퓨팅 과제를 제시한다. 하나는 방대한 양의 컨텍스트를 효율적으로 처리하는 것이고, 다른 하나는 매우 낮은 지연 시간으로 토큰을 생성하는 것이다. 엔비디아 그록 3 LPX는 베라 루빈의 상호작용성 향상을 위해 특별히 설계됐다. 이는 개별 사용자를 위한 토큰이 생성되는 속도를 의미하며, 에이전트가 각 작업 단계를 얼마나 빠르게 완료할 수 있는지를 결정한다. 생성 속도가 빨라지면 에이전트는 반응성이 뛰어난 사용자 경험을 유지하면서 파일 검토, 코드 작성·테스트, 도구 호출, 결과 검증, 반복 작업에 더 많은 시간을 할애할 수 있다. 그록 3 LPX로 가속화되는 AI 클라우드 AI 클라우드는 AI 경제의 원동력으로 자리 잡고 있으며, 기업과 개발자들이 대규모 학습, 추론(reasoning), 인퍼런스(inference)을 위한 첨단 인프라를 활용할 수 있도록 지원한다. 지연 시간에 민감한 대규모 추론 워크로드를 처리하는 서비스 제공업체에 엔비디아 그록 3 LPX는 검증된 랙 스케일 시스템에서 차별화된 컴퓨팅을 구축할 수 있는 기반을 제공한다. 선도적인 AI 클라우드 기업 네비우스(Nebius)는 자사의 생산용 추론 플랫폼인 네비우스 토큰 팩토리(Nebius Token Factory)에 엔비디아 그록 3 LPX를 도입할 계획이다. 이를 통해 개발자들은 뛰어난 응답성을 갖춘 에이전틱 AI 애플리케이션을 위해 초고속 토큰 생성 기능을 활용할 수 있다. 네비우스 최고기술책임자(CTO) 다닐라 슈탄(Danila Shtan)은 “생성은 AI 시스템의 실제 응답 속도를 결정하는 추론 단계이며, 엔비디아 그록 3 LPX는 바로 이 과정을 가속화하기 위해 설계됐다. 우리는 네비우스 토큰 팩토리를 통해 이를 실제 운영 환경에 도입하는 최초의 AI 클라우드 기업으로서, 개발자들이 새로운 스택으로 마이그레이션할 필요 없이 기존 API를 그대로 사용하면서 에이전트 루프의 모든 단계가 즉각적으로 이뤄지는 경험을 제공한다”고 말했다. 네비우스에 이어, AI 추론에 특화된 클라우드 기업 그록(Groq)도 해당 플랫폼을 가장 먼저 도입하는 기업 중 하나가 될 계획이다. AI 팩토리를 위한 극한의 공동 설계 엔비디아 베라 루빈은 7개의 칩과 5개의 특수 설계된 랙 전반에 걸친 극한의 공동 설계(extreme codesign)를 통해 가장 포괄적인 AI 팩토리 플랫폼을 제공한다. 엔비디아 베라 루빈 NVL72와 그록 3 LPX는 프론티어 모델 개발사와 오픈 모델 서비스 제공업체를 비롯한 AI 팩토리의 다양한 워크로드 요구사항을 충족한다. 이러한 랙 플랫폼에는 엔비디아 블루필드-4 DPU(BlueField-4 DPU)가 탑재되며, 엔비디아 베라 CPU(Vera CPU) 랙, 엔비디아 베라 블루필드-4 STX(Vera BlueField-4 STX) 스토리지, 엔비디아 스펙트럼TM-6 SPX 이더넷(SpectrumTM-6 SPX Ethernet)과 결합해 멀티 에이전트 시스템을 최적화함으로써 와트당 최고 처리량과 최저 지연 시간의 인퍼런스를 제공한다. @nvidia
2026.08.25
8
9
엔비디아가 미국 라스베이거스에서 개최된 블랙햇(Black Hat) 연례 콘퍼런스에서 120개가 넘는 조직이 참여하고 있는 오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance) 회원사들이 에이전틱 AI 사이버보안을 강화하기 위한 새로운 가이드라인을 개발하고 있다고 밝혔다. 리눅스 재단(Linux Foundation)은 SAFE(Shared AI Findings Exchange)에 대한 의견 수렴 요청서(Request for Comments, RFC)를 공개했다. SAFE는 에이전틱 AI 사이버보안 사고에서 얻은 정보를 생태계 전체를 보호하는 공동의 방어 체계로 전환하기 위해 제안된 가이드라인이다. SAFE 가이드라인은 오픈 시큐어 AI 얼라이언스 워킹 그룹이 마련하고 있다. 엔비디아(NVIDIA)와 시스코(Cisco), 크라우드스트라이크(CrowdStrike), 허깅페이스(Hugging Face), 레드햇(Red Hat)을 비롯한 오픈 시큐어 AI 얼라이언스 회원사들은 리눅스 재단과 협력해 초기 제안서 작성에 참여하고 있다. SAFE 가이드라인에는 AI 관련 사고와 아차 사고(near miss)를 기밀로 수집·분석하고, 영향을 받은 대상에 이를 알리며, 반복적으로 발생하는 통제 실패를 식별하는 방안이 포함돼 있다. 또한, 시스템 전반의 위험을 줄일 수 있도록 증거에 기반한 운영 권고안을 발표하는 방안도 담고 있다. 사이버보안은 결승선이 없는 경주이다. 주요 기술이 전환될 때마다 새로운 잠재적 공격 표면이 생겨났다. 방어자는 인프라와 지식재산을 보호하기 위해 지금부터 AI 에이전트의 속도에 맞춰 신속하게 대응해야 하며, 이를 위한 가장 효과적인 방법은 함께 협력하는 것이다. 신뢰할 수 있는 생태계가 위협 인텔리전스를 투명하게 공유할 때 집단 방어의 효과는 더욱 배가될 수 있다. AI 사이버보안 도구를 확대하는 오픈 시큐어 AI 얼라이언스 SAFE 프레임워크는 AI 보안 스택 전반에서 개방적이고 검토 가능한 도구를 개발·공유하기 위해 오픈 시큐어 AI 얼라이언스 회원사들이 이어온 기술적 기여를 한층 확장한다. AI 에이전트는 단순한 모델이 아니라 아이덴티티 제어, 하네스, 가드레일, 로그, 평가로 구성된 하나의 시스템이다. 따라서 AI 에이전트를 보호하려면 단순한 취약점 검사 이상의 접근이 필요하다. 보안은 여러 계층이 유기적으로 작동하고 커뮤니티가 보유한 지식을 적극적으로 공유할 때 가장 강력해진다. 가장 어려운 문제는 보안 담당자들이 서로의 경험을 개방적이고 신속하게 공유하고 학습할 때 해결할 수 있다. 엔비디아의 개방형 사이버보안 소프트웨어·모델 풀스택 엔비디아의 지원은 기술 스택 전 계층에 걸쳐 있다. 그 출발점은 깃허브(GitHub)에 공개된 엔비디아 랩스 객체 지향 에이전트(NVIDIA Labs Object-Oriented Agent, NOOA) 연구용 하네스이다. NOOA는 에이전트의 동작을 더욱 쉽게 테스트·추적·감사·관리할 수 있도록 지원한다. 엔비디아 오픈쉘(OpenShell) 런타임은 에이전트가 조회하고 접근하며 실행할 수 있는 범위를 제한한다. 에이전트 수준에서 보안·프라이버시 제어를 적용해 에이전트가 접근해서는 안 되는 영역에 닿지 못하도록 한다. 엔비디아의 개방형 모델 제품군은 개방형 가중치와 데이터세트, 학습 기법과 함께 제공된다. 여기에는 에이전틱 AI를 위한 엔비디아 네모트론(Nemotron), 피지컬 AI를 위한 엔비디아 코스모스(Cosmos), 로보틱스를 위한 엔비디아 아이작(Isaac) GR00T, 헬스케어·생명과학을 위한 엔비디아 바이오네모(BioNeMo), 그리고 상업적 사용이 허가된 자율주행차 모델 중 세계 최대 규모인 엔비디아 알파마요(Alpamayo)가 포함된다. 엔비디아의 검증된 오픈 소스 에이전트 스킬은 이러한 신뢰성을 기능 계층까지 확장한다. 각 스킬은 이식 가능한 명령어 세트로 제공된다. 또한 카탈로그화되고, 프롬프트 인젝션과 툴 포이즈닝(tool poisoning) 같은 위험 요소에 대한 검사를 거치며, 암호학적으로 서명되고 스킬 카드로 문서화된다. 이를 통해 보안 담당자는 특정 에이전트 스킬의 기능과 출처, 공개 이후 변경 여부를 정확히 확인할 수 있다. 네모 가드레일(NeMo Guardrails)과 네모 어노니마이저(NeMo Anonymizer), 네모 세이프 신디사이저(NeMo Safe Synthesizer)는 안전 정책을 시행하고 민감한 데이터를 보호하며, 프라이버시가 보장된 합성 데이터를 생성하도록 지원한다. 또한 엔비디아의 오픈 소스 거대 언어 모델(Large Language Model, LLM) 취약점 스캐너인 가락(Garak)은 보안팀이 모델을 출시하기 전에 데이터 유출, 프롬프트 인젝션, 탈옥(jailbreak) 시나리오를 점검할 수 있도록 지원한다. 얼라이언스 회원사, 개방형 생태계 개발 도구 확대 오픈 시큐어 AI 얼라이언스의 다른 회원사들도 아이덴티티와 권한, 하네스, 런타임 가드레일, 보안 AI 모델, 관측성과 평가, 데이터 보안과 프라이버시, 가용성과 복원력 등 방어 스택 전반에 걸쳐 개발을 이어왔다. 아래에서는 스택의 각 계층에서 최근 공개된 주요 기여 사례를 소개한다. 이와 함께 새로운 기술 기여도 지속적으로 추가될 예정이다. 아이덴티티와 권한 — 행동 주체의 식별과 통제 식별할 수 없는 대상은 보호할 수 없다. 옥타(Okta)는 에이전트 아이덴티티와 접근 제어를 위한 레퍼런스 구현을 개발하고 있다. 이를 통해 개방형 프로토콜인 크로스 앱 액세스(Cross App Access, XAA)가 오픈쉘 샌드박스 환경에서 작동하는 AI 에이전트와 엔터프라이즈 애플리케이션을 안전하게 연결하는 방식을 보여준다. 팔로알토 네트웍스(Palo Alto Networks)는 차세대 아이덴티티 보안 플랫폼 이디라(Idira)의 오픈 소스 도구인 에이전트 가드(Agent Guard)와 에이전트 와치(Agent Watch)를 제공했다. 이들 도구는 개발자와 에이전트 개발자가 아이덴티티 보안 모범 사례와 안전장치를 적용할 수 있도록 지원한다. 여기에는 에이전틱 워크플로우에 필요한 시크릿 정보를 안전하게 불러오는 기능 등이 포함된다. 레드햇이 주도해 출범한 새로운 오픈 소스 프로젝트 아사고(asago)는 미국 국립표준기술연구소(NIST)와 오픈 소스 월드 애플리케이션 보안 프로젝트(OWASP), 유럽연합 인공지능법(EU AI Act) 등에 기반한 조직별 거버넌스 요구사항을 런타임에서 에이전트에 허용되는 동작과 직접 연결한다. 또한 정책 조항부터 실제 운영 환경에 적용된 통제까지 하나의 감사 추적 체계로 관리할 수 있도록 지원한다. 하네스와 툴링 — 보안 업무의 오케스트레이션 AI 에이전트는 단순한 모델을 넘어선다. AI 에이전트는 작업을 수행하기 위해 개방형·폐쇄형 모델, 하네스, 도구와 런타임으로 구성된 시스템을 활용한다. 모델이 에이전트의 두뇌라면, 하네스는 도구를 사용해 실제 행동을 수행하는 몸에 해당한다. 모델을 둘러싼 하네스는 에이전트가 어떻게 배포되고 조율되고 제한되는지를 결정하는 오케스트레이터 역할을 한다. 얼라이언스 회원사들은 AI 보안 스택에서 새롭게 부상하는 이 계층 전반에 걸쳐 툴링과 하네스, 지원 기술을 제공하고 있다. 오픈 시큐어 AI 얼라이언스의 신규 회원사로 합류한 아마존(Amazon)은 스트랜드 에이전트(Strands Agents)를 제공한다. 이는 모든 계층을 개방해 개발자가 에이전트의 동작을 완전히 파악하고, 실제 운영 환경에서 에이전틱 시스템을 평가할 수 있도록 지원한다. 아마존은 오픈 소스 인가 언어인 시더(Cedar)도 함께 제공한다. 시더는 AI 에이전트에 허용되는 동작에 결정론적이고 검증 가능한 경계를 적용한다. 이를 통해 고객은 세분화되고 분석 가능한 접근 제어를 구현하고, 승인된 동작만 엔터프라이즈 리소스에 접근하도록 관리할 수 있다. 캐피털원(Capital One)은 에이전틱 AI 코드 보안을 위한 볼른헌터(VulnHunter)를 오픈 소스로 공개했다. 클라우드플레어(Cloudflare)는 에이전트 시스템에 보안 기능을 추가할 수 있도록 취약점 탐색 하네스(Vulnerability Discovery Harness)를 오픈 소스 스킬로 제공하고 있다. 마이크로소프트 AI 레드 팀(Microsoft AI Red Team)은 여러 도구와 하네스를 오픈 소스로 공개했다. PyRIT(Python Risk Identification toolkit)은 AI 레드팀이 자동화된 레드팀 활동을 수행할 수 있도록 지원한다. 메모리 기능이 내장돼 있으며 일반적인 테스트 대상과 사용자 지정 엔드포인트를 모두 지원한다. RAMPART는 레드팀이 찾아낸 결과와 실제 사고 사례를 소프트웨어 변경 시점마다 실행되는 반복 가능한 테스트로 전환한다. 클래리티(Clarity)는 코드를 작성하기 전에 설계상의 가정을 검토하고 잠재적 실패 요인을 식별할 수 있도록 지원한다. 마이크로소프트는 어서트(Assert)도 오픈 소스로 공개했다. 어서트는 자연어로 작성된 요구사항과 AI에 기대되는 안전·보안 동작을 실행 가능한 평가 항목으로 변환한다. 아틀라스(Atlas)는 위즈(Wiz)의 자율형 취약점 연구 엔진으로, 특화된 AI 에이전트들을 오케스트레이션해 코드와 오픈 소스 패키지 전반에서 보안 취약점을 발견하고 검증한다. 비자(Visa)도 오픈 시큐어 AI 얼라이언스에 합류해 오픈 소스로 비자 취약점 에이전틱 하네스(Visa Vulnerability Agentic Harness)를 제공했다. 이 하네스는 각 팀이 보안 문제를 신속하고 안전하게 식별하고, 수정과 검증을 수행할 수 있도록 지원한다. 모델 — AI 안전과 방어를 위해 설계된 인텔리전스 모든 보안·안전 과제에 범용 모델이 필요한 것은 아니다. 특화된 보안·안전 모델은 방어를 목적으로 설계되며, 코드를 이해하고 취약점을 찾아내며 대규모 환경에서 위협을 분석·추론하도록 학습된다. 이러한 모델은 여러 모델로 구성된 시스템의 일부로서 에이전틱 워크플로우를 지원할 수 있다. 개방형 모델과 폐쇄형 모델이 함께 작동해 작업을 효율적으로 수행하는 방식이다. 시스코 디펜스클로(DefenseClaw)는 엔비디아 오픈쉘 위에서 작동하는 오픈 소스 에이전틱 거버넌스 계층이다. 에이전틱 워크포스를 확장할 때 런타임 수준에서 강력한 자동화 보안을 제공한다. 시스코는 코드베이스 내 알려진 취약점의 위치를 정확하게 파악할 수 있도록 지원하는 안타레스(Antares) 보안 소형 언어 모델 2종도 공개했다. 또한 안전을 기본 원칙으로 적용하는 관행을 AI 코딩 워크플로우에 직접 통합하는 프로젝트 코드가드(Project CodeGuard)도 공개했다. 크라우드스트라이크는 사이버 방어를 위해 엔비디아 네모트론 나노(Nano) 모델을 파인 튜닝하고 있다. 내부 테스트에서 팔콘 로그스케일(Falcon LogScale)에서 조사 쿼리를 생성하는 데 96%의 정확도를 달성했다. 이를 통해 에이전트의 조사 효율성을 높이는 자연어 인터페이스를 제공한다. 크라우드스트라이크는 특화된 엔비디아 네모트론 나노 추론 모델이 보안 관제 센터(SOC)의 탐지 결과 분류에서 훨씬 더 큰 모델보다 뛰어난 성능을 보였다는 연구 결과도 발표했다. 이 모델은 보정된 로짓 기반 신뢰도를 도입해 자율형 보안 의사결정을 측정하고 조정하며 감사할 수 있도록 지원한다. 미스트랄(Mistral)은 새로운 멀티모달 안전 분류 모델인 실드스트랄(Shieldstral)을 아파치(Apache) 2.0 라이선스 기반의 공개 가중치로 출시했다. 에이전트가 무엇을 했는지 파악하는 것만으로는 전체 상황을 이해하기 어렵다. 보안 담당자는 에이전트가 특정 방식으로 행동한 이유와 시스템이 안전하게 작동하는지 여부, 실제 환경에서 공격 방식이 어떻게 진화하고 있는지도 이해해야 한다. 아카마이(Akamai)는 스테이트 오브 더 인터넷(State of the Internet) 보고서와 시큐리티 인텔리전스 그룹(Security Intelligence Group) 연구에서 도출한 인사이트를 제공한다. 실제 데이터를 바탕으로 AI 시대의 위협을 조명하고 새롭게 등장하는 익스플로잇의 작동 방식을 설명함으로써, 보안 담당자가 이를 학습하고 변화에 적응해 대응할 수 있도록 지원한다. 코그니션(Cognition)은 오픈 소스 기반 모델의 정렬과 보안 위험을 측정하는 신뢰성 평가를 공개했다. 이 평가는 이러한 위험을 사후 학습을 통해 완화할 수 있음을 보여준다. 넘뱃(Numbat)은 퍼플렉시티(Perplexity)의 클라이언트 엔드포인트용 오픈 소스 에이전트 보안 제품군이다. macOS와 리눅스, 윈도우(Windows) 전반에서 에이전트 활동을 탐지·조사·차단하며, 보안 담당자가 에이전트의 실제 활동을 파악할 수 있도록 구조화된 기록을 제공한다. 우버(Uber)는 ADR(Agentic AI Detection and Response)의 핵심 구성 요소를 오픈 소스로 공개했다. ADR은 프롬프트와 추론, 도구 호출, 결과에 이르는 AI 에이전트 활동의 전체 인과관계를 재구성해 보안팀의 위협 탐지를 지원하는 실제 운영 시스템이다. 현재 ADR은 3만 개 엔드포인트에서 하루 20만 건 이상의 에이전트 세션을 지원한다. 또한 효율적인 탐지와 신뢰도가 높은 위협에 대한 심층 조사를 결합한 2단계 분석 방식을 사용한다. 가용성과 복원력 — 장애 상황에서의 신속한 복구 에이전트 시스템은 장애가 발생한 상황에서도 신뢰할 수 있어야 한다. 또한 장애를 격리하고, 중요한 상태 정보를 잃거나 주변 환경을 노출하지 않으면서 안전하게 복구할 수 있어야 한다. 랭체인(LangChain)은 자사의 오픈 소스 프레임워크인 딥 에이전트(Deep Agents), 랭그래프(LangGraph)와 랭체인에 복원력 기능을 추가하고 있다. 이를 통해 에이전트는 중단된 작업을 다시 시도하고 안전한 복구 경로를 따를 수 있다. 또한 작업을 처음부터 다시 시작하는 대신 저장된 상태에서 재개하고, 기본 모델에 장애가 발생하면 대체 모델로 자동 전환할 수 있다. 빔(Veeam)은 AI를 지원하는 데이터와 인프라가 복원력과 복구 가능성을 유지할 수 있도록 지원한다. 대표적인 사례로 쿠버네티스(Kubernetes) 환경의 데이터 보호를 위한 오픈 소스 프레임워크인 카니스터(Kanister)가 있다. 이를 통해 각 팀은 AI 워크로드와 벡터 데이터베이스, 관련 데이터를 보호하고 검증된 정상 상태로 복구할 수 있다. Open Secure AI Alliance 회원사 로고 앞으로도 더 많은 기술 기여가 이어질 예정이다. 회원사들이 재사용 가능한 완화 조치를 공개하면 생태계 전반의 보안 담당자들이 이를 검토하고 각자의 환경에 맞게 조정·개선할 수 있다. 이를 통해 AI 기술의 발전에 발맞춰 보안 관행도 지속적으로 발전할 수 있다. @nvidia
2026.08.07
8
9
에이전틱 AI는 인프라의 형태를 변화시키고 있다. 기업들이 개별적인 AI 실험 단계에서 실제 운영 환경의 에이전틱 시스템으로 전환함에 따라, 이를 뒷받침하는 CPU 인프라의 중요성이 더욱 커지고 있다. 오케스트레이션 서비스, 데이터베이스, 웹 프런트엔드, 캐시, 미들웨어, API 및 컨트롤 플레인 서비스는 모두 실제 랙의 전력 및 냉각 한계 내에서 효율적으로 확장되어야 한다. 고객은 벤치마크 결과만을 기준으로 인프라를 구축하지 않는다. 실제 데이터센터에서는 전력, 냉각, 설치 공간, 소프트웨어 호환성, 운영 준비 상태 등 다양한 제약 조건을 고려한 랙 단위 인프라를 구축해야 한다. 이러한 관점에서 평가했을 때 AMD 에픽(EPYC) 프로세서는 랙 규모의 성능에서 명확한 리더십을 보여준다. 모델링된 100kW 랙 시나리오에서 AMD 에픽 9965는 엔비디아 베라(Vera) 기준 대비 약 2.37배의 랙 수준 처리량을 제공하며, 인텔 제온(Xeon) 6980P 대비로는 약 1.6배 높은 처리량을 제공한다. 차세대 AMD 에픽 "베니스(Venice)"는 엔비디아 베라와 대비하여 격차를 3.30배까지 확대할 것으로 예상된다. 더 중요한 점은, 고객이 이러한 인프라를 미래의 새로운 아키텍처로 기다릴 필요 없이 오늘날 표준 x86 플랫폼 위에서 즉시 구축할 수 있다는 점이다. 에이전틱 AI에는 풍부한 CPU 자원을 갖춘 인프라가 필요 AI 인프라 구축을 GPU 중심의 이야기로만 규정하기 쉽다. 하지만 실제 운영 환경의 에이전틱 시스템은 단순한 모델 추론(Inference)만으로 구성되지 않으며 방대하고 지속적으로 운영되는 서비스 환경이다. 각 AI 에이전트는 작업을 조율하는 오케스트레이션 로직, 트랜잭션 데이터베이스, 웹 및 API 엔드포인트, 키-값 저장소, 인메모리 캐시 및 미들웨어에 의존한다. 이러한 구성 요소들은 시스템 전반에서 작업을 조정하고 상태를 유지하며 요청을 처리하고 분배하는 역할을 한다. 이러한 서비스는 대부분 CPU 자원 의존도가 매우 높으며, 단일 모델의 크기보다 동시에 실행되는 에이전트 수에 따라 확장된다. 에이전틱 AI 배포가 실제 운영 환경으로 확대될수록 이를 지원하는 인프라의 규모도 함께 증가한다. 이러한 서비스를 호스팅하는 프로세서 플랫폼은 기업이 실제로 얼마나 많은 에이전트를 운영할 수 있는지, 그리고 어떤 비용 구조로 운영할 수 있는지를 결정하는 핵심 요소가 된다. 결국 이 인프라 계층에서는 가속기(GPU)의 최고 성능이 아닌, 범용 CPU의 처리 능력이 시스템 확장성의 상한선을 결정한다. 랙 수준(Rack-Level) 성능이 올바른 평가 지표인 이유 개별 부품의 벤치마크는 특정 칩의 성능을 설명할 수는 있지만, 고객이 실제로 구축할 수 있는 시스템의 역량을 보여주지는 못한다. 데이터센터는 랙 단위로 구축되며, 각 랙은 고정된 전력 및 냉각 예산, 제한된 설치 공간, 소프트웨어 호환성 요구사항, 그리고 운영 준비 상태 등의 제약을 받는다. 따라서 실제 성능을 결정하는 질문은 "하나의 소켓이 얼마나 빠른가"가 아닌, "100kW 랙 안에 얼마나 많은 유효 작업량을 담을 수 있는가"이다. 이번 분석은 바로 이러한 관점에서 수행되었다. 모든 구성은 2P(2-프로세서) 플랫폼 기반의 가상 100kW 랙 환경으로 정규화되었으며, 이를 통해 개별 프로세서의 최고 성능이 아닌 실제 배포 가능한 서비스 처리 용량을 비교했다. 더 높은 집적도는 곧 랙당 더 많은 서비스 처리 능력으로 이어지며, 이는 자본 효율성, 공간 활용도를 높이고 운영을 간소화하는 핵심 요소다. AMD 에픽의 랙 수준 성능 리더십 범용 컴퓨팅, 서버측 자바(Java), 웹 서비스, 키-값 저장소, 인메모리 캐싱, 관계형 데이터베이스 등 이번 평가에 포함된 모든 워크로드에서 AMD 에픽은 랙 수준 성능 비교에서 뚜렷한 우위를 드러냈다. AMD 에픽 9965("튜린(Turin)", 192코어)는 엔비디아 베라(88코어 "올림푸스(Olympus)") 대비 정규화된 기하평균 성능 기준으로 2.37배 높은 성능을 기록했다. 인텔 제온 6980P("그래나이트 래피즈-AP(Granite Rapids-AP)", 128코어)는 NVIDIA 베라 대비 1.46배의 성능을 기록했다. 향후 AMD 에픽 "베니스"(256코어)가 출시되면 AMD의 격차는 3.3배까지 확대될 것으로 예상된다. 이러한 성능 향상은 특정 벤치마크 하나에 국한된 결과가 아닌, 전체 워크로드 전반에 걸쳐 일관되게 나타났다. 패턴은 일관된다. 고정된 전력 한도 내에서 코어 집적도가 높아질수록 전체 서비스 처리량도 함께 증가한다. 이는 에이전틱 AI 시스템을 둘러싼 트랜잭션 처리 계층, 웹 서비스 계층, 미들웨어 계층에서 랙당 더 높은 동시 처리 능력과 응답성을 제공한다는 의미이며, 이러한 특성은 결국 하나의 환경에서 얼마나 많은 AI 에이전트를 안정적으로 운영할 수 있는지를 결정한다. 당장 구축 가능한 랙 밀도, 미래의 약속이 아닌 현실 랙 밀도는 최근 데이터센터 업계의 핵심 지표로 자리 잡고 있으며, 이는 실제로 배포 가능한 인프라 가치를 보여주는 직접적인 척도다. 또한 AMD의 현재 출시된 솔루션이 차별화되는 영역이기도 하다. 델 파워엣지 IR7000 또는 이와 유사한 액체냉각 랙에 구축된 AMD EPYC "튜린" 시스템은 현재 랙당 2만7,000개 이상의 CPU 코어를 지원한다. 차세대 AMD EPYC "베니스"는 동일한 등급의 랙 환경에서 3만6,000개 이상의 코어로 확장할 수 있도록 설계되었다. 샌드박스 수와 CPU 코어 수는 직접적으로 동일한 개념은 아니지만, 랙 규모의 컴퓨팅 집적도를 보여주는 지표로 볼 때 결과는 분명하다. AMD는 이미 현재 상용화된 표준 인프라를 통해 미래 기술로 제시되는 랙 밀도를 뛰어넘고 있다. 이러한 AMD 기반 구축 환경은 별도의 새로운 랙 아키텍처 없이도 표준 액체 냉각 데이터센터 장비와 기업이 이미 운영 중인 x86 소프트웨어 생태계에서 구동된다. 이를 통해 소프트웨어 연속성을 유지하고, 마이그레이션 부담을 줄이며, 실제 운영 환경으로의 전환 시간을 단축할 수 있다. 테스트 방법론 및 워크로드 세부 사항 이번 평가에 사용된 워크로드는 에이전틱 AI 서비스 환경에서 중요한 인프라 요소를 반영하도록 구성됐으며, 각 영역은 검증된 업계 표준 벤치마크를 기반으로 평가되었다. - 범용 컴퓨팅: SPEC CPU 2017 정수 연산 성능(Integer Rate) - 서버측 자바: 처리량과 지연 시간에 민감한 비즈니스 로직 실행 성능을 측정하는 SPECjbb2015 기반 워크로드 - 웹 서비스: 지속적인 동시 요청 환경에서 NGINX와 WRK 도구 활용 - 키-값 저장소: 고속 인메모리 작업을 위한 redis-benchmark - 인메모리 캐싱 및 분석: Memcached와 memtier_benchmark 활용 - 관계형 데이터베이스: MySQL 기반 TPROC-C(TPC-C 파생 OLTP 벤치마크) 이번 평가 세트는 AI 에이전트의 전체 엔드투엔드 파이프라인을 모델링한 것이 아닌, 해당 파이프라인이 의존하는 인프라 계층을 분리해 측정하는 데 초점을 맞췄다. 비교는 2소켓(2P) 플랫폼 기반의 100kW 기준 랙 환경에서 수행됐으며, 시스템 전력과 랙당 노드 수는 엔비디아 베라를 기준으로 정규화되었다. 또한 AMD 에픽 "베니스"와 엔비디아 베라 관련 수치는 모델링 및 예측 기반 구성에 따른 결과이므로, 명시된 랙 전력 제약 조건 내에서의 추정치로 제시된다. 단일 스레드 성능 랙 수준 성능과 에너지 효율성 외에도 일부 워크로드에서는 코어당 성능이 여전히 중요한 고려 요소다. AMD는 데이터베이스, 분석, 시뮬레이션 및 멀티 GPU 서버 환경에서의 호스트 프로세싱과 같은 고성능 워크로드에서 지속적으로 우수한 성능을 제공해 왔다. AMD의 차세대 64코어 "베니스" CPU는 엔비디아 베라 88코어 프로세서 대비 코어당 성능에서 약 27% 높은 성능을 제공할 것으로 예상된다. 또한 더 많은 코어를 탑재한 96코어 "베니스" CPU 역시 엔비디아 베라 88코어 프로세서보다 약 11% 높은 코어당 성능을 제공할 것으로 전망된다. 실제 배포 가능한 성능이 경쟁력을 결정 에이전틱 AI 인프라는 개별 부품의 성능 수치가 아니라 랙 단위 관점에서 설계되어야 한다. 이러한 기준에서 결론은 명확하다. AMD 에픽은 더 높은 수준의 실제 배포 가능한 CPU 처리량과 x86 소프트웨어 연속성, 고밀도 AI 지원 인프라를 구현할 수 있는 표준 기반의 확장 경로를 제공한다. 또한 이러한 인프라는 현재 공급 중인 플랫폼에서 바로 구축할 수 있다. 에이전틱 AI를 실제 운영 환경으로 확장하려는 기업에게는 집적도, 호환성, 구축 용이성의 조합이 단순한 성능을 실제 운영 역량으로 전환하는 핵심 요소가 될 것이다.
2026.06.13
23
24
인텔 코어 울트라5
  • 종합
  • 뉴스/정보
  • 커뮤니티
  • 질문/토론