강좌 & 팁
글 수 2,412
2015.01.10 15:26:03 (*.134.169.166)
46807
최근 BigData와 같은 용어가 등장 하면서, 대용량 및 대규모 파일 시스템에 대한 이야기들이 많이 들리고 있습니다.
일반적으로 널리 알려져 있는 분산 파일 시스템에 대하여 대략적으로 살펴 보며, 여기에 언급되지 않은 다른 분산파일 시스템도 많이 존재 합니다.
GlusterFS :
클러스터 응용 플랫폼으로 클러스터 파일 시스템인 GlusterFS, 고성능 컴퓨팅 클러스터를 구성할수 있는 GlusterHPC, 그리고 시스템 프로비저닝과자동화된 플랫폼 관리를 제공하는 GlusterEP가 포함되어 있습니다.
Google 파일 시스템 :
구글의 대규모 클러스터 서비스 플랫폼의 기반이 되는 파일 시스템 으로 개발 되었습니다.
이 파일 시스템은 클라이언트, 마스터, chunk 서버들로 구성되며, 클라이언트의 경우 POSIX 인터페이스를 지원 하지 않으며 파일 시스템 인터페이스와 유사한 자체적인 인터페이스를 제공 합니다.
Hadoop 분산 파일 시스템 :
Apache Lucene 프로젝트의 일부분 으로 진행되고 있는 프로젝트로 Hadoop 분산 파일시스템(HDFS)과 MapReduce 구현 등을 포함 합니다. 하둡은 HDFS와 MapReduce로 구성되어 있습니다. 하둡 분산 파일 시스템 HDFS는 하둡의 메인 스토리지 시스템입니다.
MapReduce는 HDFS 에 저장된 데이터를 이용하도록 디자인된 분산 처리 프레임워크입니다.
Ceph :
scalability(확장성) , performance(성능), reliability(신뢰성)을 우선시하며, Data 와 Metadata 의 분리 및 동적 Metadata 관리, 신뢰성있는 자동 분산 데이터 저장, CRUSH 와 directroy 분할하여 관리를 합니다.
시스템 구성은 크게 클라이언트, 메타데이터를 관리하는 메타데이터 서버 클러스터, 데이터를 객체 수준으로 저장하고 관리하는
객체 저장 서버 클러스터로 이루어져 있습니다.