120PB 규모의 AI 스토리지, 글로벌 엔지니어들의 선택은?

요즘 관심있게 보고있는 AI데이터센터, 그리고 GPUaaS를 살펴보다 학습과 추론에 사용되는 데이터의 저장, 처리는 어떤식으로 이뤄지나 살펴보게 되었습니다.

그러던 중 해외 IT 커뮤니티(Reddit)에서 “120PB(페타바이트) 이상의 비정형 데이터 환경에 가장 적합한 스토리지는 무엇인가?”라는 아주 흥미로운 토론을 발견했습니다.

(reddit글 참고 : https://www.reddit.com/r/storage/comments/1o8wis3/best_storage_for_120pb/)

현업 스토리지/클라우드 엔지니어들이 치열하게 논의한 이 주제를 바탕으로, 현재 AI 스토리지 시장을 주도하는 주요 솔루션들의 장단점과 핵심 인사이트를 분석해 보았습니다.

1. 질문의 배경 (The 120PB Challenge)

해당 질문자는 120PB 이상의 거대한 비정형 데이터(거대 언어 모델 학습용 텍스트, 이미지 데이터 등)를 저장하기 위해 성능, 확장성, 비용(TCO)을 모두 만족하는 솔루션을 찾고 있었습니다.

여기서 핵심은 단순한 아카이빙(보관) 목적이 아니라, 고성능 연산(AI/HPC) 환경과 직접 연계하여 데이터를 끊임없이 I/O 해야 한다는 점입니다.

2. 주요 솔루션별 전문가 의견 (요약)

글로벌 엔지니어들이 가장 많이 언급하고 추천한 4가지 스토리지 솔루션에 대한 현장의 평가는 다음과 같습니다.

① VAST Data (가장 많은 추천과 지지)

현재 대규모 AI 팜에서 가장 뜨거운 반응을 얻고 있는 솔루션입니다.

• 장점: 120PB 수준의 초대규모 환경에서도 성능 저하 없는 무한한 확장성이 독보적입니다. 표준 NFS 프로토콜을 사용하여 관리가 직관적이며, 독자적인 데이터 압축(Similarity Compression) 기술 덕분에 실제 구매해야 하는 물리적 디스크 용량을 획기적으로 줄여줍니다.
• 평판: “이 정도 엑사바이트(EB)급 규모라면 VAST가 업계 표준이다”, “NFS의 단순함과 병렬 파일 시스템의 고성능을 동시에 잡아냈다”

② WEKA (성능 중심의 대안)

• 장점: 초저지연(Low Latency)과 수많은 작은 파일(Small files)을 처리하는 메타데이터 성능에서 여전히 최강자로 꼽힙니다.
• 평판: “단순 I/O 성능만 본다면 WEKA가 우위지만, 120PB라는 거대 용량을 관리하기에는 하드웨어 인프라 구성 비용과 라이선스 구조가 다소 부담스러울 수 있다”는 지적이 있습니다. 주로 ‘학습 데이터 로딩’ 속도가 극도로 중요한 타겟 환경에 추천됩니다.

③ Qumulo & Isilon (전통적 스케일아웃 NAS)

• 평판: “데이터 보관(Archive)이나 일반적인 엔터프라이즈 파일 공유에는 훌륭하지만, AI 학습용 고성능 IO를 감당하기에는 아키텍처적 한계가 명확하다”는 평입니다. 특히 100PB를 넘어가는 규모에서는 성능 병목(Bottleneck) 현상이 발생할 가능성이 크다고 경고합니다.

④ Open Source (Ceph / Lustre)

• 평판: “초기 도입 비용(CAPEX)을 극단적으로 줄여야 한다면 Ceph가 대안이 될 수 있지만, 120PB를 직접 운영하고 튜닝하기 위한 고급 엔지니어링 인건비(OPEX)와 장애 관리 리스크가 배보다 배꼽이 더 클 것”이라는 현실적인 조언이 주를 이룹니다.

3. AIDC 스토리지 설계 시 핵심 고려사항 (Key Takeaways)

토론을 통해 도출된, 대규모 AI 인프라 설계 시 반드시 짚고 넘어가야 할 3가지 원칙입니다.

1. 데이터 절감 기술 (Data Reduction): 120PB 규모에서는 단 10%의 압축률 차이만 나도 수십억 원의 인프라 비용 차이로 이어집니다. 따라서 단순한 하드웨어 스펙이나 테라바이트당 단가보다 ‘실제 저장 효율(Effective Capacity)’을 따져야 합니다. (이 부분에서 VAST Data가 가장 높은 점수를 받았습니다.)
2. 단순함이 곧 성능이자 안정성이다 (Simplicity): 시스템 운영이 너무 복잡하면(예: 고도화된 Lustre 병렬 파일 시스템 튜닝) 결국 휴먼 에러나 운영 사고로 이어집니다. 전문가들은 관리 포인트가 적은 표준 프로토콜(NFS/SMB)을 쓰면서도 고성능을 내는 차세대 아키텍처를 선호합니다.
3. 네트워크 병목 설계: 120PB의 데이터를 수천 대의 GPU에 쏟아붓기 위해서는 스토리지 장비 자체의 성능뿐만 아니라, 백본 네트워크(인피니밴드 또는 400G 이더넷 RoCE)와의 정밀한 토폴로지 설계가 필수적입니다.

4. 120PB급 AI 스토리지 솔루션 상세 비교

위 논의를 바탕으로 주요 스토리지 솔루션들의 아키텍처와 특성을 한눈에 볼 수 있도록 정리했습니다.