스토리지 시스템 진화 역사

전통 데이터센터에서 AI 시대까지 스토리지 시스템의 발전 과정은 하드웨어 중심의 고정적 저장에서 데이터 중심·GPU 중심의 지능형 플랫폼으로의 근본적인 전환을 보여줍니다. 아래에 시대별로 주요 변화와 동인을 정리했습니다.

1. 전통 데이터센터 시대 (1950s~1990s: Mainframe → Client-Server)
• 주요 형태: DAS(Direct Attached Storage) 중심. 서버에 직접 연결된 HDD.
• 블록 스토리지가 주류: 고정 크기 블록 단위 접근. SAN(Storage Area Network, Fibre Channel 기반) 등장으로 네트워크 공유 가능.
• 특징: 고성능·저지연 중심이지만 확장성 제한적. 데이터 양이 상대적으로 적고, 구조화된 데이터(DB, 트랜잭션) 위주.
• 목적: 안정적 OLTP(Online Transaction Processing), 기업 핵심 업무 지원.
• 한계: 물리적 서버 1대당 용량·성능 제한, 관리 복잡, 비용 높음.

2. 클라우드·빅데이터 초기 시대 (2000s~2010s)
• 2006년 AWS S3 출시: 오브젝트 스토리지의 폭발적 등장. 플랫 구조 + 메타데이터 + HTTP API.
• 파일 스토리지 확장: NAS(NFS/SMB)와 Parallel File System(Lustre, GPFS)로 공유성 강화.
• 주요 변화:
◦ Virtualization(VMware 등) → Software-Defined Storage(SDS) 등장.
◦ Hadoop/HDFS: 분산 파일 시스템으로 대용량 비정형 데이터 처리.
◦ 블록 → 파일 → 오브젝트로 다각화.
• 동인: 인터넷 서비스 폭증, 모바일·소셜 데이터 증가. 비용 효율과 무한 스케일 필요.

3. 빅데이터·클라우드 네이티브 시대 (2010s 중반~2020 초)
• 오브젝트 스토리지가 대용량·아카이브·백업의 표준으로 자리 잡음 (S3-compatible).
• 통합(Unified) 스토리지 등장: 하나의 시스템에서 블록+파일+오브젝트 지원.
• Scale-out 아키텍처 강화: HCI(Hyper-Converged Infrastructure)로 컴퓨트와 스토리지 결합.
• 특징: 메타데이터 중심 관리, 글로벌 복제, 저비용 대용량 처리.
• 한계: GPU 기반 AI/ML 워크로드에서 CPU 병목과 데이터 이동 오버헤드(throughput 부족) 드러남.

4. AI/ML 초기 도입기 (2010s 후반~2022)
• 고성능 Parallel File System 재부상: Lustre, WEKA, BeeGFS 등으로 수백 GB/s throughput.
• All-Flash와 NVMe 확산: IOPS와 latency 개선.
• GPUDirect Storage (GDS, 2019~): NVIDIA가 주도. GPU가 스토리지(NVMe/NVMe-oF)에 직접 DMA 접근 → CPU/System Memory 우회.3536
• 동인: 딥러닝 모델 크기와 데이터셋 폭증 (ImageNet → 수십 PB 규모). GPU Utilization을 높이기 위한 데이터 공급 병목 해결 필요.

5. 생성형 AI 시대 (2023~현재, 2026 기준)
• GPU-Centric / Disaggregated Architecture: Compute(GPU 클러스터)와 Storage를 독립 스케일. BlueField DPU/SuperNIC로 오프로드.
• Unified File + Object + GPUDirect: POSIX 편의성 + S3 스케일 + GPU 직접 접근 결합 (VAST, WEKA, MinIO AIStor, IBM ESS 등).
• 지능형 기능:
◦ AI-driven tiering (Hot: NVMe → Warm: High-perf Object → Cold: Archive).
◦ Semantic Metadata + Vector Embedding 내장.
◦ SCADA( Scaled Accelerated Data Access, 2025~): GPU가 IO control path까지 담당.
• 주요 특징: TB/s급 throughput, sub-ms latency, 엑사바이트 스케일, 지속 가능성(QLC SSD, liquid cooling).
• 목적: Training(대용량 데이터 병렬 읽기), Inference(KV Cache, RAG), Agentic AI 지원. 스토리지가 “GPU의 외부 메모리 확장” 역할.
전체적인 발전 방향 요약
• 성능 중심 → 스케일 + 비용 효율 → GPU 직접 연결 + 지능형 데이터 플랫폼.
• 접근 방식: Block(고성능 niche) → File(공유) → Object(대용량) → Unified + GPU-Direct.
• 아키텍처: Tightly Coupled → Software-Defined → Disaggregated & Composable → AI-Native Fabric.
• 결과: 스토리지 병목이 AI 모델 규모와 학습 속도를 결정짓는 시대. 전통 데이터센터의 “저장” 역할에서 AI 데이터센터의 “실시간 데이터 공급 엔진”으로 완전 전환.

이 발전은 데이터 양의 폭발적 증가와 연산 병렬화(GPU)라는 두 축이 이끌었습니다.
[끝]