네이버 개발자 센터의 프로젝트에 공개된 Netune 은 대규모의 구조화된 데이타를 저장, 서비스하는 데이타 관리 시스템입니다.


아래 글은 대문에 표시된 소개글과 라이센스입니다.


neptune은 수십 ~ 수백대의 분산된 값싼 리눅스급 서버에 수십 TB 이상 대규모의 구조화된 데이터를 저장, 서비스하는 

데이터 관리 시스템입니다. neptune은 구글의 Bigtable의 개념을 그대로 구현한 시스템입니다.

neptune을 이용하면 실시간 데이터 서비스뿐만 아니라 Hadoop MapReduce와 같은 분산컴퓨팅 플랫폼과 유기적으로 동작하여 

쉽고 빠르게 저장된 데이터를 분석할 수 있습니다. 

심플한 데이터 모델, 수천대 규모의 확장성, 데이터의 신뢰성, 백업이 필요 없는 스토리지, 자동 복구 기능 등을 neptune에서 

경험할 수 있습니다.


라이센스 : Apache License


=================================================================================================


Benifits


구조화된 대용량 데이터 저장

기존의 DBMS는 기본적으로 1대의 서버에서 동작하며 저장 가능한 용량이 수십 ~ 수백GB입니다. 

분산파일시스템은 TB, PB 규모의 데이터 저장은 가능하지만 실시간으로 데이터를 저장, 조회할 수 없습니다. 

neptune은 TB이상의 데이터를 효과적으로 분산저장하고 DBMS 처럼 실시간 입/출력 처리가 가능합니다.


저장된 데이터의 빠르고 쉬운 분석 작업

Neptune의 데이터는 수직/수평으로 분할시켜 분산 저장시키기 때문에 Hadoop과 같은 분산 컴퓨팅 플랫폼과 동작하여 

쉽고 빠르게 데이터를 분석할 수 있습니다.


데[이터 백업 불필요 및 자동 복구

Neptune은 안전한 분산파일시스템에 데이터 파일을 저장하기 때문에 별도의 백업이 필요 없으며 

분산된 서버 중 일부 서버에 장애가 발생하더라도 self-healing 기능을 통해 지속적인 데이터 서비스가 가능합니다.


=================================================================================================

Features

  • Basic data service
    • Single row operation(put, get)
    • Multi row operation(Scanner)
    • Data uploader(DirectUploader)
    • MapReduce(TabletInputFormat)
  • Tablet Management
    • Tablet distribution
    • Tablet MinorCompaction, MajorCompaction, Split
  • Utility
    • Web based Monitoring
    • CLI based Shell
    • Swing based Query Browser
  • Failover
    • NeptuneMaster failover
    • TabletServer failover
  • Change log Server
    • Reliable fast appendable change log server
  • Distributed Lock Server
    • pleiades: sub-project 

<meta http-equiv="content-type" content="text/html; charset=utf-8">=================================================================================================


현재 이 프로젝트는 완료후 유지 보수 단계에 있으며,  향후 개선 방향에 대한 논의를 고민중이라고 합니다. 

오픈소스로 되어 있고 대용량 데이타를 처리하는 것을 경험해 보고 싶다면 참고할만한 프록젝트입니다.



참고할만한 사이트입니다(주개발자분의 홈피군요)

http://www.jaso.co.kr/

영문프로젝트사이트입니다.

http://www.openneptune.com/   



넵튠의 개요에 대한 문서 링크입니다.

http://www.jaso.co.kr/neptune/Neptune_DistributedDataStorage.pdf

넵튠의 사용자 매뉴얼입니다.

http://www.jaso.co.kr/neptune/Neptune_Programmers_Manual.pdf




이 게시물을...