CXL 기반 Fabric Memory와 Memory Server의 실현 및 TCO 관점

CXL 기반 Fabric Memory와 Memory Server의 실현 및 TCO 관점

CXL 기술은 초기의 단순한 메모리 확장 기능을 넘어, 이제 본격적인 Fabric Memory 단계로 진화하고 있습니다. 메모리를 컴퓨트 노드에서 완전히 분리하여 스토리지 서버와 유사한 형태의 Memory Server로 구현하는 것이 이 기술의 최종 목적지로 여겨집니다. 각 컴퓨트 노드는 필요할 때 Fabric Manager의 제어 하에 Memory Server로부터 메모리를 동적으로 할당받아 사용하게 됩니다. 이는 메모리를 풀 형태로 공유하고, 실제 수요에 따라 유연하게 제공하는 새로운 컴퓨팅 패러다임을 열어갑니다.

이러한 Memory Server는 이미 시장에서 구체적인 제품 형태로 등장하고 있습니다. Samsung의 CMM-B(CXL Memory Module Box)는 1U~2U 랙 어플라이언스에 다수의 CXL 메모리 모듈을 탑재하여 rack-scale memory pooling을 실현하고 있으며, Penguin Solutions의 KV Cache 전용 Memory Server 역시 대용량 공유 메모리를 dedicated appliance 형태로 제공합니다. Astera Labs, Marvell, Liqid 등 다른 업체들도 유사한 turnkey CXL memory pooling 시스템을 출시하면서, 이 방향성이 산업 표준으로 자리 잡아가고 있음을 확인할 수 있습니다. CXL 3.0과 4.0 스펙에서 지원하는 multi-level switching과 Global Fabric Attached Memory 기능은 이러한 Memory Server를 multi-rack 규모로 확장하는 기반을 마련하고 있습니다.

Memory Server가 실현될 때 가장 큰 가치는 TCO 측면에서 나타납니다. 기존 방식에서는 각 서버에 메모리를 고정적으로 배치하기 때문에 실제 사용하지 않는 stranded memory가 상당 부분 발생합니다. 반면 Memory Server를 도입하면 여러 컴퓨트 노드가 하나의 대용량 풀을 공유하게 되어 메모리 활용률이 크게 향상됩니다. 이로 인해 전체 메모리 구매량을 10%에서 최대 70%까지 줄일 수 있으며, 이는 직접적인 자본 지출 감소로 이어집니다.

또한 고가의 고밀도 DRAM 대신 저가·저밀도 DIMM을 대량으로 활용할 수 있게 됩니다. Memory Server 환경에서는 동일한 성능을 달성하면서도 $/GB 비용을 25~40% 정도 낮출 수 있으며, Samsung의 내부 분석에서도 CXL 기반 확장을 통해 추가 용량을 확보할 때 기존 방식 대비 30% 이상의 비용 절감 효과가 확인되었습니다. 특히 AI inference 워크로드에서는 KV cache나 embedding table 같은 대용량 메모리 수요가 급증하는데, 이를 Memory Server로 오프로드하면 GPU나 서버의 과잉 구매를 막을 수 있습니다. 실제 사례로 Penguin Solutions의 11TB급 KV Cache Server를 적용한 경우 GPU 요구량이 최대 87% 감소하고, GPU utilization은 75% 이상 상승하는 것으로 나타났습니다. Liqid의 composable 시스템 역시 AI 워크로드에서 전체 TCO를 67%까지 낮추는 성과를 보였습니다.

운영 비용 측면에서도 이점은 분명합니다. 불필요한 서버 전원을 줄여 전력 소비와 냉각 비용이 감소하며, Fabric Manager를 통한 중앙 집중식 메모리 관리는 운영 인력과 소프트웨어 관리 부담을 경감시킵니다. CXL Consortium의 장기 예측에 따르면, 2027년경부터 누적 TCO 절감 효과가 67% 수준에서 시작해 2029년에는 1415%까지 확대될 것으로 전망됩니다. 초기 투자 비용이 있기는 하나, 1~2년 내에 회수되고 이후 지속적인 절감이 이루어지는 구조입니다.

결국 CXL 기반 Memory Server는 메모리를 스토리지처럼 취급하게 만들어 컴퓨팅 자원의 효율성을 근본적으로 높입니다. AI와 HPC 중심의 데이터센터에서 메모리 월 문제를 해결하면서도 경제성을 동시에 달성할 수 있는 방향으로, 산업은 빠르게 나아가고 있습니다. 이 기술이 성숙해짐에 따라 컴퓨트와 메모리의 완전한 disaggregation가 실현되고, 더 유연하고 비용 효율적인 데이터센터 아키텍처가 자리 잡을 것으로 기대됩니다.
[끝]