AI 모멘텀 신기술 사례

AI(특히 대형 모델 훈련·추론)라는 강력한 “새로운 모멘텀”이 메모리·스토리지 시장에 불만(메모리 월, 데이터 이동 비용, 용량·대역폭 부족)을 폭발적으로 키우면서, 기존 기술의 한계를 넘어선 급진적 신기술이 동시에 쏟아지고 있죠. CXL(메모리 풀링·확장), UALink(액셀러레이터 간 오픈 스케일-업 인터커넥트), HBF(High Bandwidth Flash, NAND 기반 고용량·고대역폭 티어)는 대표적인 사례입니다. 실현 가능성을 떠나 기술 혁신의 모멘텀을 제공합니다.

이와 유사하게 “실현 가능성은 아직 희미하지만 AI 때문에 대거 등장한” 다른 주요 사례들을 정리해보겠습니다. (2025~2026년 기준으로 실제 컨소시엄·스펙 발표·프로토타입 단계에 있는 기술들 위주)

1. UCIe (Universal Chiplet Interconnect Express)
• 무엇인가? 패키지 내부 칩렛(다이) 간 초고속·저지연 인터커넥트 표준. 기존 SoC 한계를 넘어 메모리 칩렛·컴퓨트 칩렛을 자유롭게 조합.
• 왜 급진적인가? HBM이나 DDR을 “패키지 레벨에서 disaggregate(분리)”할 수 있게 해줌. CXL/UALink가 랙/노드 레벨이라면, UCIe는 패키지 안에서 메모리 풀링·공유를 가능케 함.
• AI 모멘텀과의 연계: GPU/액셀러레이터 제조사들이 “하나의 거대한 칩처럼” 동작하게 하려는 욕구 + 기존 2.5D/3D 패키징 비용·열 문제 불만 → 2023~2025년 컨소시엄 급성장. CXL와 함께 “메모리 중심 아키텍처”의 기반으로 자리 잡는 중.
• 현재 단계: 스펙 1.1/2.0 발표, IP 공급사(Synopsys, Cadence 등)에서 AI 액셀러레이터용 IP 출시 중. 실리콘은 2026~2027년 본격화 예상.

2. PIM (Processing-in-Memory) / Near-Memory Computing
• 무엇인가? 메모리 어레이 안에 연산 로직(곱셈·누산 등)을 직접 내장해 “데이터가 메모리에서 나오지 않고” 연산하는 기술.
• 왜 급진적인가? von Neumann 병목(데이터 이동 비용)을 근본적으로 없애려는 시도. 기존 DRAM/HBM은 “저장만” 하는데, PIM은 메모리가 컴퓨트 유닛이 됨.
• AI 모멘텀과의 연계: LLM의 KV-cache·matrix multiplication에서 데이터 이동이 전체 전력·지연의 70% 이상을 차지한다는 불만이 폭발 → Samsung, SK hynix, startup(Upmem 등)이 HBM-PIM, DDR-PIM 프로토타입을 AI 전용으로 대거 발표. 초기에는 “성능·수율 문제로 실현 불가능” 소리 들었지만, AI가 밀어붙임.
• 현재 단계: HBM-PIM 프로토타입(삼성 등), CXL-PIM 결합 시도. 2026~2027년 inference용 LPDDR6-PIM 상용화 예상.

3. CXL 기반 Computational Storage / Memory Accelerators (Computational offload)
• 무엇인가? 스토리지(SSD)나 CXL 메모리 풀 안에 컴퓨트 엔진을 넣어 데이터 처리(in-place computing)를 하는 장치. Marvell XConn 인수 후 발표된 CXL Compute Accelerator 등이 대표.
• 왜 급진적인가? 기존 NVMe SSD는 “저장만”, CPU/GPU가 모든 연산을 떠안았는데, 이제 스토리지 자체가 AI 연산(필터링, embedding, reduction 등)을 담당.
• AI 모멘텀과의 연계: 대규모 RAG·inference에서 “데이터를 GPU까지 끌어오는” 비용이 너무 크다는 불만 → CXL 3.0/4.0과 함께 2025년부터 “CXL Compute” 제품군이 폭발적으로 나옴. HBF와도 잘 맞물림.
• 현재 단계: Marvell, Astera Labs, XConn 등에서 2025~2026년 실 제품 출시. AI inference QPS를 5배 이상 높인 사례 이미 보고됨.

4. (보너스) 광학(Photonic) / Ethernet Memory Fabric 확장 기술
• Enfabrica(Enfabrys) 같은 스타트업의 “Ethernet + CXL/RDMA Memory Pool”이나 Celestial AI(Marvell 인수) 같은 광학 메모리 패브릭.
• 기존 전기 신호(PCIe/CXL)의 대역폭·거리 한계를 넘어 광학으로 메모리 풀을 멀티-랙 규모로 연결. 초기 “너무 비싸고 실현성 낮다”는 평가였지만, AI 클러스터가 수만 GPU 규모로 커지면서 2025~2026년 급부상.
요약: 왜 이런 기술들이 동시에 폭발했나?
• 공통 불만: HBM은 비싸고 용량 제한, DDR은 대역폭 부족, NVMe SSD는 latency 너무 높음 → AI가 “메모리가 곧 성능”이라는 패러다임을 강제.
• 공통 특징:
◦ 기존 기술(PCIe, NVLink, 일반 NAND)의 근본적 한계를 인정하고 새 프로토콜/아키텍처를 만듦.
◦ 초기 실현 가능성은 낮았지만(수율·전력·소프트웨어 호환성 문제), AI 훈련·추론 비용 절감 효과가 워낙 크다 보니 hyperscaler(Google, Meta, Microsoft 등)와 AMD/Intel/SK hynix/SanDisk 등이 컨소시엄·투자를 몰아줌.
◦ CXL·UALink·HBF처럼 오픈 스펙 + 컨소시엄 형태로 빠르게 표준화.

이 외에도 MRAM/ReRAM 같은 emerging NVM(비휘발성 메모리)이 AI in-memory computing용으로 재조명받고 있지만, 아직은 위 3~4개가 CXL/UALink/HBF와 가장 직접적으로 “같은 세대” 신기술이라고 볼 수 있습니다.

[과거 기술 모멘텀 사례 탐구]

새로운 패러다임(킬러 앱/워크로드)이 기존 기술의 한계를 극명하게 드러내고, “이건 좀 과하다/실현 가능성 낮아”라는 회의 속에서도 급진적인 신기술들이 컨소시엄·표준·스타트업 형태로 동시에 쏟아지는 현상 말이죠.
AI가 지금 메모리·스토리지·인터커넥트 분야를 뒤흔드는 것처럼, 지난 30여 년(1995~2025) 동안 비슷한 사례가 몇 번 있었습니다.

1. 1990년대 후반~2000년대 초: 인터넷·웹 붐 → SAN(Storage Area Network)과 Fibre Channel 폭발
• 모멘텀: 닷컴 붐, e-commerce, 웹 서버 급증 → 데이터센터에서 “공유 스토리지” 수요 폭발. 기존 DAS(Direct Attached Storage)는 서버당 디스크 붙이는 방식이라 확장성·백업·가용성이 최악.
• 기존 기술 불만: SCSI·IDE 같은 병렬 케이블은 거리·대역폭·신뢰성 한계. “데이터를 LAN으로 끌어다 쓰자”니 latency·대역폭 병목.
• 급진 신기술:
◦ Fibre Channel (1994년 표준화 시작, 2000년대 초 상용화) → 전용 고속 네트워크로 스토리지 분리.
◦ SAN 아키텍처 전체(스위치·HBAs).
• 당시 분위기: “광케이블 + 복잡한 프로토콜? 비용이 미친 듯이 들고, 소프트웨어도 새로 짜야 하는데 실현 가능성 있나?” 했지만, EMC·Brocade·McData 등이 컨소시엄 밀고 hyperscaler(당시 대형 은행·통신사)들이 투자. 2000년대 중반 SAN 시장 폭발. (지금 CXL/UALink 컨소시엄과 똑같아요)

2. 1999~2005년: HPC·데이터센터 스케일업 → InfiniBand 등장
• 모멘텀: 인터넷 트래픽 폭증 + 클러스터 컴퓨팅(HPC) 성장. 웹 2.0 직전, “수백 대 서버를 하나의 거대한 시스템처럼” 연결해야 함.
• 기존 기술 불만: Ethernet(당시 1Gbps) latency 너무 높고, Fibre Channel은 스토리지 전용. PCIe도 노드 간 연결로는 부족.
• 급진 신기술: InfiniBand (1999년 IBTA 컨소시엄 결성, Intel·Dell·Microsoft·Sun 등 참여) → RDMA, 초저지연·고대역폭(당시 10Gbps급) 인터커넥트. “메시지 기반” 완전 새로운 패러다임.
• 당시 분위기: “Ethernet으로 충분한데 왜 새 프로토콜?” “가격 비싸고 호환성 제로” 비판 많았지만, HPC와 대형 데이터센터가 밀어붙임. 나중에 AI 클러스터에서 다시 부활한 기술이죠. (지금 UALink가 InfiniBand/NVLink 대체하려는 것과 판박이)

3. 2008~2015년: 클라우드·빅데이터·가상화 → NVMe 프로토콜 폭발
• 모멘텀: AWS(2006) 이후 클라우드 폭발 + Hadoop/Big Data → IOPS와 latency 요구가 HDD 시대 프로토콜을 초월. SSD가 나오는데 SATA/SAS가 발목 잡음.
• 기존 기술 불만: SATA/SAS는 HDD용으로 설계(큐 1~32개, 폴링 방식) → SSD의 진짜 성능(수십만 IOPS)을 못 냄. 멀티코어 CPU 시대에 “CPU가 스토리지 기다리는” 병목.
• 급진 신기술: NVMe (2008~2011 개발, 2011 스펙 1.0, 2013 상용) → PCIe 직결, 수천 개 큐, interrupt coalescing, 완전 새로운 호스트-디바이스 인터페이스.
• 당시 분위기: “PCIe로 SSD 붙이는 게 과연 안정적일까? 소프트웨어 스택 다 뜯어고쳐야 하는데…” 초기 회의 많았지만, Intel·Samsung·Seagate 등이 주도. 2015년 이후 데이터센터 SSD 시장을 완전히 바꿈. (HBF나 CXL Compute와 거의 동일한 “기존 프로토콜 한계 인정하고 새로 만든” 사례)

4. 2008~2015년: GPU 컴퓨트·초기 AI/ML → HBM(High Bandwidth Memory)
• 모멘텀: 그래픽스 + GPGPU(CUDA 2006~) → GPU 메모리 대역폭이 병목. 빅데이터·딥러닝 초기 물결.
• 기존 기술 불만: GDDR5 평면 메모리는 “대역폭은 높지만 용량·전력·패키징 한계”. GPU가 커지면서 “메모리 월” 현상.
• 급진 신기술: HBM (AMD·SK hynix·Samsung 등 다수 업체 2008년 전후 논의, 2013 첫 칩, 2015 AMD Fiji GPU 상용) → 3D 스택(실리콘 인터포저), 1024bit 초광버스.
• 당시 분위기: “수직 적층? 수율·열·비용 미친 듯이 들 텐데 실현 가능성 있나?” (초기 HBM은 비싸고 용량 제한으로 “실패” 소리 들음). 하지만 GPU 성능 향상 효과가 워낙 커서 Nvidia·AMD가 밀어붙임. 지금 AI가 HBM4까지 끌고 가는 기반이 됐죠.
공통 패턴 (지금 AI와 똑같아요)
• 트리거: 새로운 워크로드(인터넷 → 클라우드 → 빅데이터 → AI)가 “데이터 이동 비용”과 “확장성”을 극한으로 밀어붙임.
• 반응: 기존 기술(PCIe, SATA, GDDR, Ethernet)의 근본적 한계를 인정하고, 완전히 새로운 프로토콜·아키텍처·물리 계층을 만듦.
• 특징: 초기 “너무 급진적·비싸·소프트웨어 호환성 문제”로 회의적이었지만, 컨소시엄(IBTA, NVM Express, JEDEC) + hyperscaler 투자로 3~5년 만에 폭발.
• 결과: 5~10년 후 시장을 완전히 재편.
😊