클라우드 컴퓨팅은 가격 경쟁력을 가지기 위해서 기존보다 저렴해야 되기 때문에 오픈소스 소프트웨어들을 사용해 도입 비용을 최대한 낮추고 있다.

우리가 흔히 접하는 아마존이나, 페이스북, 구글 등의 아키텍쳐 역시 이러한 오픈소스 소프트웨어 기반으로 구성되어 있다.

국내에서도 많이 거론되고 있는 것이 아파치의 오픈소스 프로젝트(http://hadoop.apache.org) 중 하나인 대용량 데이터 처리 분석 프로젝트 '하둡(Hadoop)' 이다.

하둡(Hadoop)은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자유 자바 소프트웨어 프레임워크이다. 원래 너치의 분산처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이다. 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템(HDFS : Hadoop Distributed File System)과 맵리듀스를 구현한 것이다.

하둡 분산파일 시스템

하둡 분산 파일 시스템은 다음과 같은 시스템에서 잘 동작하는 것을 목표로 하고 있다.

하드웨어 오동작

하드웨어 수가 많아지면 그 중에 일부 하드웨어가 오동작하는 것은 예외 상황이 아니라 항상 발생하는 일이다. 따라서 이런 상황에서 빨리 자동으로 복구하는 것은 HDFS의 중요한 목표다.

스트리밍 자료 접근

범용 파일 시스템과 달리 반응 속도보다는 시간당 처리량에 최적화되어 있다.

큰 자료 집합

한 파일이 기가바이트나 테라바이트 정도의 크기를 갖는 것을 목적으로 설꺠되엇다. 자료 대역폭 총량이 높고, 하나의 클러스터에 수 백개의 노드를 둘 수 있다. 하나의 인스턴스에서 수천만여 파일을 지원한다.

간단한 결합 모델

한번 쓰고 여러번 읽는 모델에 적합한 구조이다. 파일이 한번 작성되고 닫히면 바뀔 필요가 없는 경우를 위한 것이다. 이렇게 함으로써 처리량을 극대화할 수 있다.

자료를 옮기는 것보다 계산을 옮기는 것이 비용이 적게 든다

자료를 많이 옮기면 대역폭이 많이 들기 때문에 네트워크 혼잡으로 인하여 전체 처리량이 감소한다. 가까운 곳에 있는 자료를 처리하게 계산 작업을 옮기면 전체적인 처리량이 더 높아진다.

다른 종류의 하드웨어와 소프트웨어 플랫폼과의 호환성

서로 다른 하드웨어와 소프트웨어 플랫폼들을 묶어 놓아도 잘 동작한다.

네임노드와 데이터노드

HDFS는 마스터/슬레이브(master/slave) 구조를 가진다. HDFS 클러스터는 하나의 네임노드와, 파일 시스템을 관리하고 클라이언트의 접근을 통제하는 마스터 서버로 구성된다. 게다가 클러스터의 각 노드에는 데이터노드가 하나씩 존재하고, 이 데이터 노드는 실행될 때마다 노드에 추가되는 스토리지를 관리한다. HDFS는 네임스페이스를 공개하여서 유저 데이터가 파일에 저장되는것을 허락한다. 내부적으로 하나의 파일은 하나 이상의 블록으로 나누어져 있고, 이 블록들은 데이터노드들에 저장되어 있다. 네임노드는 파일과 디렉터리의 읽기(open), 닫기(close), 이름 바꾸기(rename) 등, 파일시스템의 네임스페이스의 여러 기능을 수행한다. 또한, 데이터 노드와 블록들의 맵핑을 결정한다. 데이터 노드는 파일시스템의 클라이언트가 요구하는 읽기(read), 쓰기(write) 기능들을 담당한다. 또한 데이터 노드는 네임노드에서의 생성, 삭제, 복제 등와 같은 기능도 수행한다.

네임노드와 데이터노드는 GNU/Linux OS를 기반으로 하는 상용머신에서 실행하기 위해 디자인된 소프트웨어의 일부이다. HDFS는 Java 언어를 사용하므로 Java가 동작하는 어떠한 컴퓨터에서나 네임노드나 데이터노드 소프트웨어를 실행할 수 있다.

출처 : 위키백과 (http://ko.wikipedia.org)