티스토리 뷰
목차
솔직히 처음 마이아 200 발표를 봤을 때 "이번엔 진짜 엔비디아 흔들리는 건가?" 싶었습니다. 그런데 스펙을 뜯어보면 볼수록, 이게 엔비디아를 이기려는 칩이 아니라 살아남으려는 칩이라는 느낌이 강하게 들었습니다. AI 패권 전쟁의 프레임이 완전히 바뀌고 있는 지금, 무엇을 봐야 하고 어디에 주목해야 하는지 제 시각으로 정리해봤습니다.
AI 반도체 전쟁, 프레임이 바뀌었다
제가 처음 AI 가속기 시장을 들여다보기 시작했을 때만 해도, 이 싸움은 단순했습니다. 누가 더 빠른 칩을 만드느냐. 그게 전부인 줄 알았습니다.
그런데 지금은 완전히 다른 질문이 시장을 지배하고 있습니다. "누가 더 싸게 돌리느냐." 이 변화를 이해하려면 먼저 토큰당 비용(cost per token)이라는 개념을 짚고 넘어가야 합니다. 토큰이란 AI가 텍스트를 처리하는 최소 단위로, "안녕하세요"라는 한 문장도 여러 개의 토큰으로 쪼개집니다. AI가 대화 한 번을 주고받을 때마다 수백 개의 토큰이 GPU 위에서 연산되고, 그 연산 하나하나가 전부 비용입니다.
GPT, 클로드, 제미나이 같은 서비스들이 사용자가 늘어날수록 오히려 적자가 깊어지는 역설에 빠진 이유가 여기 있습니다. 전기세, 칩 유지비, 그리고 엔비디아 GPU 구매 비용이 매출 증가 속도를 훨씬 앞서버린 겁니다. 이게 제가 직접 수치들을 비교해보면서 가장 충격받은 부분이었습니다. 장사가 잘될수록 손해가 커지는 구조가 현재 AI 산업 전체의 민낯입니다.
이 흐름 속에서 총소유 비용(TCO, Total Cost of Ownership)을 줄이는 것이 반도체 기업들의 최우선 과제로 떠올랐습니다. TCO란 칩 구매 가격뿐 아니라 전력 소비, 냉각 비용, 유지보수까지 포함한 '진짜 드는 돈 전체'를 뜻합니다. 칩 하나가 아무리 싸도 전기를 두 배 먹으면 결국 비싼 칩입니다. 리벨리온 박성현 대표가 "엔비디아를 당장 이긴다고 하면 거짓말"이라고 말하면서도 특정 영역의 가능성을 언급한 것도 바로 이 TCO 싸움에서의 틈새를 본 것입니다.
마이아 200, 엔비디아 킬러인가 협상 카드인가
마이크로소프트가 공개한 마이아 200의 스펙을 처음 봤을 때는 솔직히 좀 설렜습니다. TSMC 3나노 공정으로 제작됐고, 1,400억 개의 트랜지스터를 집적했다는 수치는 확실히 인상적입니다. FP4(4비트 부동 소수점) 기준 10페타플롭스, FP8(8비트 부동 소수점) 기준 5.07페타플롭스의 연산 성능을 냅니다. 부동 소수점 연산이란 AI가 소수점이 포함된 복잡한 계산을 얼마나 정밀하고 빠르게 처리할 수 있는지를 나타내는 지표로, 숫자가 높을수록 더 많은 연산을 동시에 처리할 수 있습니다. 아마존의 최신 트레이니움 3 대비 세 배 높은 수치입니다(출처: Microsoft 공식 블로그).
전력 소모는 750W. 엔비디아 최신 GPU가 약 1,400W를 소비하는 것과 비교하면 절반 수준입니다. 달러당 성능도 최신 세대 대비 30% 개선됐다고 밝혔습니다. 스펙만 보면 충분히 게임 체인저처럼 보입니다.
그런데 제 경험상 이런 발표들은 항상 '왜 이 칩을 만들었냐'는 맥락을 같이 봐야 합니다. 마이크로소프트는 오픈AI의 초기 투자자이자 챗GPT, 코파일럿의 핵심 인프라를 운영하는 기업입니다. AI 수요가 늘수록 GPU 구매량도 기하급수적으로 늘어나는 구조에 가장 크게 노출된 곳이 바로 마이크로소프트입니다. 이 칩은 엔비디아를 꺾으려는 게 아니라 엔비디아와의 협상 테이블에서 쓸 카드를 손에 쥐기 위한 것으로 보는 게 맞습니다.
진짜 문제는 스케일러 패브릭(Scalable Fabric)입니다. 스케일러 패브릭이란 수천 개의 GPU를 물리적으로 연결해 하나의 거대한 연산 시스템으로 묶어주는 초고속 데이터 연결 인프라를 뜻합니다. LLM(대규모 언어 모델)은 워낙 방대해서 GPU 한 개에 담기지 않기 때문에, 여러 GPU를 이어주는 이 '신경망 고속도로'가 없으면 칩 성능이 아무리 좋아도 병목이 생겨 전체 시스템이 느려집니다. 엔비디아의 NVLink가 바로 이 역할을 하는 독점적 연결 기술입니다. 이 생태계를 마이아 200 하나로 하루아침에 대체하기는 구조적으로 불가능합니다.
- 마이아 200: TSMC 3나노, 750W, FP8 기준 5.07페타플롭스
- 엔비디아 최신 GPU: 약 1,400W, 독점적 NVLink 생태계 보유
- 마이아 200의 실제 역할: 클라우드 인프라 비용 절감 + 엔비디아 협상 카드
- 한계: NVLink 대체 불가, 범용 AI 학습보다 추론(inference) 특화 가능성 높음
그래서 HBM과 연결 기술에 주목해야 하는 이유
마이아 200이든, 엔비디아 루빈이든, 아마존 트레이니움이든 모든 AI 가속기에 반드시 들어가는 부품이 있습니다. HBM(High Bandwidth Memory), 즉 고대역폭 메모리입니다. HBM이란 기존 D램보다 데이터를 훨씬 빠르게 주고받을 수 있도록 설계된 초고속 메모리로, AI 연산 중 데이터를 GPU로 끊임없이 밀어 넣는 역할을 합니다. HBM이 없으면 아무리 뛰어난 연산 칩도 데이터를 제때 받지 못해 성능이 반 토막 납니다. 금광 러시 때 곡괭이 파는 사람이 돈 번다는 말이 딱 여기에 맞습니다.
HBM 세계 시장에서 1위는 SK하이닉스, 2위는 삼성전자입니다. 제가 이 구도를 보면서 가장 안도했던 건, 어떤 기업의 칩이 최종 승자가 되든 한국 기업이 핵심 부품을 납품한다는 사실이 변하지 않는다는 점이었습니다. 실제로 SK하이닉스는 최근 저전력 메모리인 LPCAMM2(Low Power Compression Attached Memory Module 2)를 서버용으로 양산하기 시작했습니다. LPCAMM2란 스마트폰·노트북에 쓰이던 저전력 램 기술을 서버 환경에 맞게 재설계한 제품으로, 192GB 용량으로 출시되었습니다. 이게 의미 있는 이유는 저전력이 곧 TCO 절감이기 때문입니다(출처: SK하이닉스 공식 사이트).
한 가지 더 제가 개인적으로 중요하게 보는 영역이 있습니다. 데이터센터 안에서 랙과 랙을 연결하는 인터커넥트 기술과 광(光) 통신 관련 기업들입니다. 수천 개의 GPU를 묶을 때 이 연결 구간에서 병목이 생기면 전체 시스템의 효율이 떨어집니다. 단순히 칩 성능만 올리는 시대는 지났습니다. 데이터가 빛의 속도로 이동하는 광 인터커넥트 기술이 AI 인프라의 숨은 병목을 해결하는 핵심으로 부상하고 있는 흐름이 보입니다. 이 부분은 아직 많은 분들이 주목하지 않는 영역이라 오히려 더 눈여겨볼 필요가 있다고 생각합니다.
투자 측면에서 삼성전자와 SK하이닉스 양쪽을 동시에 담고 싶은 분들에게는 두 종목과 한미반도체 같은 HBM 장비사까지 묶은 ETF가 선택지가 될 수 있습니다. 다만 이건 어디까지나 제 개인적인 시각이고, 투자 결정은 반드시 본인이 직접 판단하셔야 합니다.
자주 묻는 질문
Q. 마이아 200이 나오면 엔비디아 주가에 타격이 있을까요?
A. 단기 타격은 제한적일 가능성이 높습니다. 마이아 200은 마이크로소프트 내부 클라우드 인프라에 최적화된 칩이고, NVLink 같은 엔비디아의 연결 생태계를 대체하기엔 구조적 한계가 있습니다. 다만 빅테크들이 자체 칩 개발에 속도를 내면 엔비디아의 협상력이 장기적으로 약화될 수 있다는 신호로는 읽힙니다.
Q. HBM이 왜 이렇게 중요한 건가요?
A. AI 연산은 단순히 계산 속도만의 문제가 아니라 데이터를 얼마나 빠르게 칩으로 밀어넣느냐의 싸움이기도 합니다. HBM은 이 데이터 전송 속도를 일반 D램 대비 수십 배 높여주는 메모리로, 어떤 AI 가속기든 HBM 없이는 제 성능을 낼 수 없습니다. 그래서 칩 전쟁의 승자와 무관하게 HBM 수요는 계속 증가합니다.
Q. 리벨리온 같은 국내 AI 반도체 스타트업은 기회가 있나요?
A. 전체 시장에서 엔비디아를 정면 돌파하기는 현실적으로 어렵습니다. 하지만 특정 추론(inference) 작업에서 전력 소비를 대폭 줄인 전용 칩으로 틈새를 공략하는 전략은 유효합니다. TCO가 핵심 경쟁력이 되는 지금의 흐름은 오히려 국내 스타트업에 기회의 문을 열어주고 있다고 봅니다.
Q. 토큰당 비용이 줄어들면 우리한테 어떤 변화가 생기나요?
A. AI 서비스 이용 요금이 내려갈 가능성이 높아지고, 지금은 비용 때문에 쓰지 못하는 산업 영역에서도 AI 도입이 빨라집니다. 결국 토큰 비용 경쟁은 AI가 일부 기업의 도구에서 모든 산업의 인프라로 전환되는 속도를 결정하는 싸움입니다.
결론
마이아 200을 보며 제가 내린 결론은 하나입니다. 이건 엔비디아를 죽이는 칩이 아니라, 마이크로소프트가 엔비디아에 종속되지 않겠다는 선언입니다. 그리고 그 선언이 쌓이면 쌓일수록 AI 반도체 시장의 구조는 서서히 바뀝니다. 최태원 SK 회장이 말했듯 "원하는 만큼 갔어도 시간이 늦어버리면 소용없다"는 건, 이 변화의 타이밍이 얼마나 중요한지를 압축해서 보여줍니다.
지금 이 싸움에서 눈여겨볼 것은 단 하나입니다. 누가 이기느냐가 아니라, 어떤 기업이 그 싸움 위에서 묵묵히 곡괭이를 팔고 있느냐입니다. 저는 그 답이 HBM과 인터커넥트 기술에 있다고 생각합니다. 앞으로도 이 흐름을 계속 추적해볼 예정입니다.