▲ 하둡은(Hadoops)은 클라우드(Clouds)와 마찬가지로 빅데이터를 저장하고 분석하며 중요한 정보가 손실되지 않도록 보호한다(출처=Elnur Amikishiyev)

빅데이터 개발 초기에는 지원이 불가능한 폐쇄적 특성 탓에 수익성에 대한 의문이 제기되고 무시당했다. 실제 수집된 데이터가 그저 말 한 마디일 뿐이거나 그보다 더한 것일지 확신할 수 없었기 때문에 빅데이터의 가치가 없었던 것이다. 따라서, 실제 콘텐츠를 나타내는 데이터 조직 시스템과 방대한 양의 정보를 지원할 수 있는 시스템이 개발됐고, 이로 인해 빅데이터가 현재 상태로 발전했다.

클라우드(Clouds) vs 하둡(Hadoop)

클라우드와 하둡은 빅데이터를 지원할 수 있는 시스템이다. 간단히 말해, 이 시스템은 수집된 방대한 양의 정보를 저장하는 메모리 역할을 하며, 빅데이터 조직 체계가 수집한 정보를 손실하지 않고 데이터를 분석하고 정렬할 수 있다.

2012년부터 2014년까지 하둡은 안정적인 데이터 저장소로 여겨졌다. 하지만 빅데이터 전문 매체, '데이터나미닷컴(Datanami.com)'는 "최근 기업들은 빅데이터 저장소를 클라우드로 옮겼으며, 하둡의 거대한 거품이 꺼졌다"고 보도했다.

현재 IT 업계는 혁신을 거쳐 아마존 웹서비스(Amazon Web Services), 구글 클라우드 컴퓨트(Google Cloud Compute), 마이크로소프트 아주르(Microsoft Azure)와 같은 서비스를 탄생시켰으며, 이에 따라 공공 클라우드의 영향력도 더욱 커졌다. 이후, 다른 기업들마저도 하둡을 버리고 클라우드로 전환했다.

이렇듯 거품이 꺼졌음에도 하둡은 여전히 중요한 기능을 보유하고 있으며, 기업들도 빅데이터를 관리하기 위해 '아파치 스파크(Apache Spark)'와 같은 하둡 클러스터를 계속 사용하고 있다.

하지만, 하둡이 점차 클라우드에 밀리는 사실은 부인할 수 없다. 하둡의 거품은 빠르게 치솟았다가 그만큼 빠르게 사라졌지만, 클라우드의 인기는 지속적인 개발로 인해 오랜 기간 지속될 것으로 전망된다.