Ceph

이번 포스팅부터 `Ceph`를 더 깊게 알기 위해서LINE 기술 블로그의 Ceph의 한계를 극복하고 하이퍼 스케일 프로젝트를 구축한 방법 포스팅을 보고 `Ceph`에 관해 정리해보려고 한다. 포스팅의 주 내용은 위의 포스팅을 보고 몰랐던 것과 `Ceph`를 좀 더 깊게 다루는 방법을 정리하는 내용이다.(물론, 그냥 이해만 하는 것과 `Ceph`에 실제 적용해보는 것은 큰 차이가 있을 것으로 예상한다.)  하이퍼 스케일 오브젝트 스토리지?규모가 크고, 다양한 데이터를 다루는 서비스에서는 많은 형태의 데이터를 저장한다.이미지영상 데이터파일 등해당 데이터들의 크기는 수 KB에서 수 GB까지 다양할 것이다. 또한, 이와 관련된 메타 데이터도 저장한다.(빠른 탐색 등) 메타 데이터 파일들도 수십 바이트 정도 된다..

Ceph 란?`Ceph`는 오픈소스 소프트웨어 스토리지 플랫폼으로 단일 분산 컴퓨터 클러스터에오브젝트 스토리지를 구현하고 object, block 및 file level의 스토리지 기능을 제공한다. 또한, single point of failure(단일 장애점)이 없는 완전히 분산된 운영을 주로 목표로 하며EB 수준으로 `Scale-Out`이 가능하다. 오픈소스 소프트웨어 스토리지를 선택해야 하는 이유비용 대비 성능 절충애플리케이션이 동일한 소프트웨어 스택을 사용하여 서로 다른 하드웨어 및 내구성 구성의 성능 및 비용 절충을 선택할 수 있다.유연한 인터페이스산업 표준 API를 선택하거나, 애플리케이션에 클라이언트 라이브러리를 내장하거나, 필요한 경우 독점 API를 사용할 수 있다.다양한 스토리지 구현ob..

지난해 Ceph와 관련된 논문을 작성하였고 관련 내용을 까먹지 않기 위해 정리하려 한다. 우선, Object/Block/File Storage에 대해 간략히 설명한다. Object Storage Ceph를 설명하기에 앞서 우리는 먼저 Object Storage라는 것을 알아야 한다. Object Storage는 객체라고 하는 비정형 형식의 데이터를 저장하고 관리하는 기술이다. 현대적인 조직에서는 사진, 동영상, 이메일, 웹 페이지, 센서 데이터 등 다량의 비정형 데이터를 생성하고 분석한다. Object Storage는 클러스터를 통해 데이터를 여러 대의 물리적 디바이스에 분산하지만 사용자는 단일의 가상 스토리지 리포지토리에서 효율적으로 콘텐츠에 엑세스가 가능하다. 따라서, Object Storage 솔류..