오픈AI의 자체 추론 칩 '할라페뇨' 공개, 엔비디아 블랙웰 성능 뛰어넘었나

🤖 AI·LLM 소식

오픈AI의 자체 추론 칩 '할라페뇨' 공개, 엔비디아 블랙웰 성능 뛰어넘었나

GeekNews 외 1곳 · 2026-08-26 00:18

ℹ️ 안내 — 본 글은 아래 원문을 참고해 한국어로 재구성한 요약·해설입니다. 정확한 내용과 최신 정보는 원문을 함께 확인해 주세요. 이 글은 GeekNews와 Hacker News Best(SemiAnalysis 원본 소스)의 원문을 참고해 정리했습니다.

이 글의 핵심
① 오픈AI가 브로드컴과 협력해 설계한 범용 LLM 추론 ASIC '할라페뇨'가 핫 칩스 행사에서 공개되었습니다.
② 초기 A0 실리콘 테스트에서 엔비디아의 블랙웰은 물론 향후 출시될 루빈의 전력 대비 처리량 지표를 상쇄하는 성능을 기록했습니다.
③ HBM4를 탑재해 패키지당 15.4TB/s의 대역폭을 확보했으며 메모리 및 네트워크 구조를 대폭 단순화했습니다.
④ 수작업 수준의 복잡한 저수준 커널 작성을 내부 AI 도구인 코덱스를 활용해 완전 자동화하여 소프트웨어 개발 기간을 단축했습니다.
⑤ 실제 하드웨어 양산 및 데이터센터 배포는 2027년에 점진적으로 이루어질 예정이며 실제 에이전트 워크로드에서의 검증이 과제로 남아있습니다

1

오픈AI가 자체 설계한 추론 칩, '할라페뇨'는 어떤 기술인가?

오픈AI(OpenAI)는 브로드컴(Broadcom)과 공동 설계한 범용 거대언어모델(LLM, 인공지능 분야에서 인간의 언어를 이해하고 생성하도록 훈련된 대규모 인공신경망) 추론 전용 주문형 반도체(ASIC, 특정 목적을 위해 맞춤형으로 제작된 통합 회로)인 '할라페뇨(Jalapeño)'의 실체와 세부 사양을 공개했습니다. 이 칩은 특정 오픈AI 전용 모델에만 국한되지 않고 다양한 오픈소스 모델을 폭넓게 구동할 수 있도록 설계된 범용 추론 가속기입니다. 2024년 중반에 설계를 시작하여 개발팀 구성부터 최종 테이프아웃(tape-out, 반도체 설계를 마치고 제조 공장으로 도면을 보내는 단계)까지 단 16개월 만에 완수해 냈습니다. 이는 반도체 업계에서 극히 이례적으로 빠른 개발 속도입니다.

통상적으로 1세대 자체 개발 칩은 기존 대형 반도체 설계 업체의 제품보다 성능이 처지는 것이 일반적이지만, 할라페뇨는 초기 단계인 A0 스테핑(stepping, 반도체 제조 공정에서 칩의 미세한 설계 수정 단계를 나타내는 버전 코드) 실리콘 환경에서도 강력한 성능적 우위를 입증했습니다. 오픈AI 연구실 내에서 독립 테스트 플랫폼인 '인퍼런스엑스(InferenceX)'를 가동해 성능을 시험했으며, 심지어 개발팀은 자사의 인공지능 지원 도구인 코덱스(Codex) 프롬프트만을 활용해 이 칩에 클래식 슈팅 게임 '둠(Doom)'을 이식하여 성공적으로 구동시키는 가벼운 시연도 선보였습니다.

2

엔비디아 블랙웰과 베라 루빈을 넘어서는 전력당 처리량의 비결은?

오픈AI는 시스템의 예산이나 물리적인 데이터센터 공간보다 '가용한 전력량'에 가장 큰 제약을 받고 있습니다. 이에 따라 할라페뇨의 설계 목표 역시 전력당 토큰 처리량인 '토큰/초/MW(메가와트)'를 극대화하는 데 초점을 맞추었습니다. 이는 에너지를 얼마나 효율적으로 토큰으로 변환하는지를 측정하는 시스템 효율 지표입니다. 할라페뇨는 단일 토큰 예측(STP, 다음 단어 하나만 예측하여 출력하는 기본 추론 방식)만을 적용해 측정했음에도 불구하고 다중 토큰 예측(MTP) 기술을 총동원한 엔비디아의 블랙웰(Blackwell) 및 차세대 아키텍처인 베라 루빈(Vera Rubin)의 전력 대비 토큰 처리량을 앞지르는 결과를 보였습니다.

구체적인 성능 수치를 살펴보면, 딥시크(DeepSeek) R1 모델을 동시 요청 수 1(concurrency 1) 조건에서 구동했을 때 사용자당 초당 700토큰 이상의 처리량을 안정적으로 확보했습니다. 중국 아궁이 테크의 키미(Kimi) K2.5 모델과 오픈AI의 자체 내부 테스트 모델인 GPT-OSS의 경우 최고 초당 1,400토큰에 육박하는 사용자당 대역폭을 달성했습니다. 특히 키미 K2.5 모델의 경우 초당 100토큰 출력 기준 조건에서 비교 대상이 된 타사 차순위 칩 제품보다 무려 9배 이상 뛰어난 전력당 처리량을 달성하여 압도적인 격차를 보였습니다. 총소유비용(TCO, 하드웨어 구매 비용과 전력비, 유지보수비 등을 모두 합산한 총비용) 대비 처리량 측면에서도 엔비디아 베라 루빈 제품군과 대등한 토큰당 비용 효율을 기록했습니다. 루빈 시스템은 성능 향상을 위해 3~5배의 비용 절감 효과가 있는 추측 디코딩(speculative decoding, 작은 초안 모델이 먼저 토큰을 예측하고 큰 주 모델이 이를 빠르게 검증하여 추론 속도를 높이는 기법) 기술을 탑재한 상태였던 반면, 할라페뇨는 이 기술을 배제한 기본 상태에서 측정한 수치이므로 향후 추측 디코딩을 적용하면 비용 효율은 한층 더 벌어질 전망입니다.

3

할라페뇨의 실리콘 설계 스펙과 메모리 구조는 어떻게 구성되었나?

할라페뇨는 대만 TSMC의 최신 N3P 공정을 기반으로 단일 레티클(reticle, 반도체 노광 장비에서 빛을 통과시켜 웨이퍼에 회로를 그리는 데 사용되는 유리판) 크기의 연산 다이(die, 실리콘 웨이퍼에서 잘라낸 물리적인 칩 조각) 하나로 구성되었습니다. 이를 통해 MXFP4 수치 형식 기준 13.4PFLOPS(페타플롭스, 초당 1,000조 번의 부동소수점 연산 처리가 가능한 속도 단위)의 강력한 연산 성능을 제공합니다. 이는 유사한 다이 크기를 가진 엔비디아 루빈의 NVFP4 기준 17.5PFLOPS보다는 명목 연산 수치가 낮지만, 할라페뇨의 설계 열전력(TDP, 칩이 최대로 작동할 때 발열을 해소하기 위해 필요한 냉각 설계 전력 용량)은 700W 수준으로 루빈 다이의 900~1,150W에 비해 크게 낮아 실제 전력 대비 연산 효율 면에서 엄청난 장점을 가집니다.

특히 메모리 구조에서는 최첨단 HBM4(고대역폭 메모리 4세대)를 조기에 도입하여 패키지당 15.4TB/s의 압도적인 대역폭을 제공합니다. 이는 고사양 가속기 중에서도 단연 최상위 수준이며, 핀 속도는 10Gbps로 엔비디아 베라 루빈이 채택한 HBM4의 9.6Gbps 속도를 소폭 웃돕니다. HBM4의 핵심 공급업체는 삼성전자일 가능성이 매우 높게 점쳐지고 있으나 최종 확정 정보는 아닙니다. 오프패키지 데이터 입출력에는 TSMC N3E 공정의 I/O 칩렛(chiplet, 독립적으로 제조된 기능별 실리콘 조각들을 하나의 패키지로 묶어 단일 칩처럼 작동하게 하는 기술)과 800G SerDes(직병렬 변환기) 32레인을 활용합니다. 이 가운데 24레인은 동일 랙 내부에서 최대 600GB/s 속도로 로컬 연동을 제어하며, 나머지 8레인은 랙 간 장거리 전송 및 다중 도메인 연결에 활용됩니다. 호스트 프로세서인 x86 CPU와의 시스템 연동에는 표준 PCIe 5세대(Gen 5) 버스를 매개로 기능하게 설계되었습니다.

4

코덱스 기반 자동화와 글루온 소프트웨어가 미친 영향은?

오픈AI는 엔비디아의 쿠다(CUDA, 엔비디아 GPU 전용 소프트웨어 개발 및 가동을 지원하는 자체 연산 아키텍처 기술 프레임워크) 생태계에 의존하지 않고, 자체 개발한 저수준 프로그래밍 언어인 글루온(Gluon)을 통해 칩의 가동 소프트웨어 환경을 완전히 새롭게 구축했습니다. 글루온은 트라이톤(Triton)의 병렬 프로그래밍 방식 모델을 유지하는 동시에, 하드웨어 장치 제어를 직관적으로 통제할 수 있는 저수준 추상화 계층을 그대로 프로그래머에게 제공합니다. 복잡한 연산 레이아웃 최적화와 메모리 배치 전환은 수학적으로 엄밀히 인코딩된 '선형 레이아웃(Linear Layouts)' 개념을 도입해 완전히 안전하게 제어됩니다.

특히 어셈블리 형태의 복잡한 연산 전용 커널(kernel, 하드웨어에서 직접 실행되는 물리 연산 실행 파일 소스코드) 설계 작업은 사람이 일일이 수작업으로 최적화 코드를 몇만 줄씩 짜던 과거 방식에서 벗어났습니다. 오픈AI는 자사의 확장형 내부 AI 도구인 코덱스를 가동해 커널 개발을 완벽히 자동화했습니다. 예컨대 딥시크 R1 모델 테스트 당시 MLA(Multi-head Latent Attention, 메모리 사용량을 획기적으로 낮춘 어텐션 기법) 하위 연산 커널이 내부 소프트웨어 환경에 아예 존재하지 않는 상황이었으나, 하드웨어 엔지니어가 직접 개입하지 않고도 내부 코덱스가 순식간에 고도로 최적화된 작동 커널을 자동 생성해 냈습니다. 이렇듯 설계 한계에 맞닿은 커널 코딩 작업을 인공지능 탐색에 직접 맡김으로써 하드웨어 배치 시작 이후 단 몇 주 만에 연산량을 2배 이상 높이는 등 최적화 소요 시간을 극적으로 절약하는 쾌거를 거두었습니다.

5

프리필과 디코드 단계를 굳이 물리적으로 분리하지 않은 이유는?

대규모 추론 서비스를 운영하는 대다수 기업은 인력 및 비용 효율을 높이기 위해 사용자 입력 프롬프트를 먼저 해석하는 프리필(prefill, 사용자가 입력한 프롬프트의 의미를 한꺼번에 대량 분석하고 정리하는 초기 연산 단계) 장치와 한 자씩 단어를 만들어 내는 디코드(decode, 먼저 분석된 자료를 기초 삼아 실제 출력 단어를 순차적으로 생성하는 추론 단계) 장치 풀을 별개 서버나 별개 칩 세트로 나누어 배치하는 방식을 선호합니다. 그러나 오픈AI의 할라페뇨는 이러한 분리형 설계를 과감히 탈피하고, 프리필과 디코드 단계는 물론 임시용 초안 모델과 실제 거대 주 모델 연산까지도 완전히 동일한 물리 칩과 네트워크 구조 내에서 소화하는 단일 동질 풀(homogeneous pool) 전략을 관철했습니다.

이는 특정 구동 환경에서의 최고 한계 효율을 약간 양보하는 대신, 급변하는 실제 하드웨어 인프라 운영 유연성과 데이터 지역성(data locality, 연산에 쓰이는 핵심 데이터를 물리적으로 가까운 가공 장치 내부에 유지하려는 설계 특징) 확보를 최우선으로 고려한 결정입니다. 인공지능 연산 시대의 패러다임이 일반적인 지식 답변 수준에서 심층 추론(reasoning)과 자율 에이전트(agentic, 스스로 목표를 세우고 외부 환경과 상호작용하며 복잡한 행동 흐름을 직접 수행하는 자율형 서비스) 시대로 빠르게 전환됨에 따라, 전체 요구 연산에서 프리필과 디코드가 차지하는 정확한 비율을 미리 특정하는 것은 불가능에 가까워졌습니다. 풀을 고정된 하드웨어 비율로 사전에 쪼개 두면 입력량 변동 상황이나 복잡한 에이전트 흐름에서 유휴 자원이 생겨 시스템 전체 효율이 심각하게 낭비됩니다. 게다가 두 단계를 서로 다른 서버 풀로 분리할 경우, 프리필을 거치며 생성된 막대한 용량의 KV 캐시(KV cache, 대화의 맥락 정보를 기억하기 위해 생성되는 중요 매개 데이터의 집합)를 매번 고속 네트워크를 통해 디코드 서버로 물리 이동시켜야 하므로 시스템 병목과 막대한 데이터 전송 지연이 발생하는 치명적 문제가 뒤따릅니다. 할라페뇨는 이 모든 위협을 한 칩 안에서 가중치와 데이터를 통합 소화하는 설계로 해결했습니다.

6">

'Katsu', 'Vindaloo', 'Chana' 장치 구성과 양산 로드맵의 미래 가치

할라페뇨 칩을 실제 데이터센터 가동 장비로 올리기 위해 오픈AI는 글로벌 인프라 제조 파트너인 셀레스티카(Celestica)와 손잡고 전용 하드웨어 랙 구성을 완전히 재설계했습니다. 전체 구동 인프라는 크게 데이터 입출력을 통제하는 호스트 CPU 랙과 실제 ASIC 연산을 수행하는 가속기 전용 랙의 이중 구조로 이루어집니다. CPU 랙에는 AMD 에픽(EPYC) 최신 튜린(Turin) 라인업 프로세서 2개와 1.5TB 규격 고용량 RAM, 전면 초고속 전송 케이블을 탑재한 '카츠(Katsu)' 호스트 트레이 16개가 들어갑니다. 그리고 가속기 랙에는 각각 8개의 할라페뇨 칩을 정교하게 묶어 올린 '반달루(Vindaloo)' 트레이 16개가 조립되어 들어갑니다. 결과적으로 랙 하나당 들어가는 총가속기 수는 128개에 달합니다. 여기에 추가로 랙 내부 연결 장치로 고성능 토마호크 6 기반의 '차나(Chana)' 확장 스위치 트레이 8개를 함께 부착하여 전용 네트워크 연결망을 탄탄히 다집니다.

랙 하나가 차지하는 순수 소비전력량은 CPU 측 약 31kW와 ASIC 연산부 130kW를 포함하여 도합 160kW에 이릅니다. 이는 엔비디아가 제시한 차세대 고밀도 전력 랙 규격인 GB300 랙 시스템의 전력 밀도 요구치에 거의 밀적한 고밀도 규격입니다. 오픈AI는 독립 클라우드 인프라 제공 파트너사인 네오클라우드(Neocloud) 등과 협업하며 다가올 2027년부터 이 랙 시스템 물량을 점진적으로 확대 공급할 계획을 수립하고 있으며, 주요 실하중 납품은 해당 연도 연말경에 본격적으로 편중 집중될 전망입니다. 1차적인 실험실 성능 지표는 실로 괄목할 성과를 보여 주었으나, 제조 신뢰성 확보와 데이터센터 전원 수급 확보 등 복합적인 환경 변수 속에서 거대 인프라 단위로 수만 장의 ASIC을 동시 운영할 때도 약속된 무중단 서비스 성능을 완벽히 유지해 낼 수 있을지가 이 야심 찬 독자 반도체 프로젝트의 최종적인 성패를 좌우하게 될 것입니다.

#오픈AI자체개발칩, #엔비디아블랙웰성능비교, #할라페뇨추론ASIC, #HBM4메모리대역폭, #데이터센터전력효율최적화, #인공지능, #생성형AI, #LLM, #반도체, #엔비디아

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.