2024년까지만 해도 AI 반도체 시장은 사실상 엔비디아(NVIDIA)의 독무대였다. H100, H200으로 이어지는 GPU 라인업은 대형 언어 모델(LLM) 학습의 표준이 됐고, 엔비디아의 시가총액은 한때 3조 달러를 넘어서며 전 세계 기업 가치 1위에 오르기도 했다. 그러나 2026년 중반, AI 칩 시장의 지형이 빠르게 바뀌고 있다. 경쟁자들의 추격이 본격화되며 ‘엔비디아 원맨쇼’ 시대에 균열이 생기기 시작한 것이다.

도전자 1: AMD의 반격 — MI350 시리즈로 격차 좁히기

AMD는 2025년 하반기 출시한 MI350 시리즈를 앞세워 엔비디아의 고객을 잠식하고 있다. 가격 대비 성능(Price-Performance) 면에서 경쟁력 있는 포지셔닝을 내세운 AMD는 메타(Meta), 마이크로소프트 등 빅테크가 GPU 공급원을 다변화하는 흐름 속에서 수혜를 입고 있다. AMD가 제시하는 핵심 경쟁력은 다음과 같다.

• 엔비디아 대비 20~30% 낮은 TCO(총 소유 비용)
• ROCm 소프트웨어 스택의 CUDA 호환성 개선
• HBM3E 메모리 탑재로 대역폭 경쟁력 확보

물론 CUDA 생태계의 벽은 여전히 높다. 하지만 ‘엔비디아 종속 리스크’를 피하려는 기업들이 AMD를 대안으로 적극 검토하면서, AMD의 데이터센터 GPU 매출은 2026년 1분기 기준 전년 동기 대비 70% 이상 성장한 것으로 알려졌다.

도전자 2: 커스텀 실리콘의 부상 — 빅테크 자체 칩 전쟁

더 큰 위협은 빅테크가 직접 칩을 설계하기 시작했다는 데 있다. 구글의 TPU v6, 아마존의 트레이니움(Trainium) 3세대, 메타의 MTIA 2세대는 각각 자사 AI 워크로드에 최적화된 특화 칩이다. 이들 칩은 범용성은 낮지만 특정 모델 학습·추론에서 엔비디아 GPU를 압도하는 효율을 보인다.

특히 주목받는 것은 추론(Inference) 칩 시장의 변화다. AI 서비스가 확산되면서 학습보다 추론 수요가 폭발적으로 늘어나고 있고, 이 분야에서는 Groq, Cerebras, SambaNova 같은 스타트업들도 엔비디아를 위협하는 독자적인 아키텍처를 내놓고 있다. 엔비디아가 강점을 보인 훈련(Training) 시장의 성장률은 둔화되는 반면, 추론 시장은 빠르게 다각화되고 있다.

국내 기업에 미치는 영향: HBM을 쥔 삼성·SK하이닉스

AI 칩 시장의 경쟁 구도 변화는 한국 반도체 기업에 기회이자 도전이다. 어떤 AI 칩이 시장을 장악하든, 고대역폭 메모리(HBM)는 필수 부품이기 때문이다.

• SK하이닉스: HBM3E 시장에서 선두를 달리고 있으며, HBM4 개발에서도 앞서가고 있다. 엔비디아뿐 아니라 AMD, 커스텀 칩 업체 모두 SK하이닉스의 HBM을 필요로 한다.
• 삼성전자: HBM 시장에서 수율 문제로 지연을 겪었지만, HBM4E 시대를 겨냥해 반격을 준비 중이다. 파운드리 경쟁력과 HBM을 함께 묶는 턴키 전략이 핵심 카드다.

AI 칩 시장이 다극화될수록 HBM 공급사로서의 협상력은 오히려 올라갈 수 있다. 단, 각 고객사별 최적화 요구가 달라지면서 맞춤형 HBM 설계 역량이 중요해질 전망이다.

전망: 2026년 하반기, 진짜 경쟁은 지금부터

엔비디아는 여전히 AI 반도체 시장의 최강자다. 블랙웰(Blackwell) 아키텍처의 공급이 본격화되고 있고, CUDA 생태계와 소프트웨어 스택의 해자(垓字)는 단기간에 무너지지 않는다. 그러나 과거와 달리, 고객들이 이제 ‘플랜 B’를 진지하게 준비하고 있다는 점이 결정적인 변화다.

공급망 리스크, 가격 협상력, 특정 워크로드 최적화 등 다양한 이유로 빅테크와 클라우드 사업자들은 AI 칩 공급원을 다변화하는 전략을 굳히고 있다. 독주 체제에서 삼파전으로의 전환은 단순한 경쟁 심화를 넘어, AI 인프라 전반의 비용과 혁신 속도를 바꿀 게임 체인저가 될 것이다.