‘컨센서스 블록체인 자동화’ 접근방식 솔루션 대안 부상
데이터 세트 활성 변경 상태에서도 손실·다운 없이 이식
온프레미스서 TB·EB급 하둡 사용하면서 클라우드로 옮겨
코로나19로 세계 경제 상황을 종잡기 힘든 요즘같은 시기엔 민감한 핵심 데이터를 클라우드에 이식하는 것은 쉽지 않다. 디스트PC로 옮기자니 시간이 많이 걸리고 이식 작업 중 꺼질 수도 있다. 이른바 ‘컨센서스 블록체인 자동화’ 접근 방식 등이 대안으로 등장하고 있다.
데이터나미는 8일(현지시간) 페타바이트(PB,1페타=1000조)나 엑사바이트(EB,1엑사=100경)급 대용량 핵심 데이터를 클라우드로 이식하는 데 효율적인 WAN디스코(WAN disco), 데이터브릭스(Databricks) 같은 회사의 솔루션을 소개했다.
이 매체는 우선 최근 몇 달 동안 빅데이터를 클라우드로 이전하는 데 따른 이점을 소개했다.
각 기업조직이 클라우드를 이용해 직원들에게 원격제어 기능을 제공하고 전 세계 어느 곳에서든 데이터에 접근할 수 있도록 지원했다며 많은 기업들이 변화하는 비즈니스 기상 변화에 맞추기 위해 비즈니스 모델을 빠르게 전환해야 했다고 분석했다. 즉, 오늘날의 뉴노멀(새로운 표준)인 클라우드는 기업들이 이 경제 폭풍을 헤쳐 나가기 위해 더욱 긴급히 디지털 전환 프로그램을 추진해야 하는 중요성을 입증했다는 것이다.
이처럼 근로자들이 더 많이 사외 근무를 하면서 실시간 데이터 세트 접근을 통해 이 분산된 데이터들을 정확하고 일관되게 처리해 전략적 의사결정을 할 필요성이 그 어느 때보다 높아지고 있다. 이러한 새로운 요구사항은 하둡 데이터 레이크(Hadoop data Lake) 모델을 전제로 한 레거시 모델을 재조명하게 만들었다.
머신러닝(기계학습) 애널리틱스(데이터 분석)를 효과적으로 실행할 수 있는 유일한 방법은 클라우드 상의 대규모 통합 데이터세트지만 대규모 핵심데이터를 온프레미스에서 클라우드로 옮기는 것은 만만찮은 작업이다. 기업이 페타바이트(PB), 엑사바이트(EB)급 핵심 기업데이터를 클라우드로 전환하기 위해 옮기는 일은 적절한 마이그레이션(이식) 전략없이는 복잡하고 어려운 일이 될 수 밖에 없다.
이런 가운데 어느 새 빅데이터 애널리틱스는 빅데이터를 분석하고, 조직이 변화하는 비즈니스 요구에 적응할 수 있는 통찰력을 제공하는 필수 서비스 모델이 되었다.
빅데이터 클라우드 분석을 이용하면 원래의 하둡 제품보다 더 저렴한 비용으로 더 큰 기능을 제공하며 하둡 구현을 관리해야 하는 조직의 복잡한 문제도 단순화해 주기 때문이다. 조직은 큰 리소스 지출 없이 클라우드에서 빅데이터를 분석하고 변화하는 비즈니스 요구사항에 신속하게 적응할 수 있는 이점을 얻게 된다.
클라우드 분석 시장이 오는 2026년까지 연평균 24.3% 성장률을 보일 것이라는 전망은 놀라운 것이 아니다. 포춘은 지난 2018년 131억5000만달러(약 15조 8000억원)였던 이 시장 규모가 오는 2026년에는 724억달러(약 87조 1000억원)에 이를 것으로 전망했다.
기업의 기술 팀이 머신러닝과 클라우드 분석을 활용하기 위해 빅데이터 마이그레이션 전략을 계획하게 되면 업무 중단을 거의 제로(0) 수준으로 만들면서 동시에 데이터 손실 위험없이 엑사바이트(EB, 1엑사=100경)급 데이터를 클라우드로 이동해야 하는 복잡한 과제와 씨름할 수 밖에 없다.
이 때 마이그레이션 전략 및 도구는 비즈니스에 미치는 영향을 최소화하면서 프로젝트의 성공을 보장하기 위해 신중하게 평가돼야 한다.
시중에 나와 있는 디스트CP(DistCP)와 같은 레거시 오픈 소스 데이터 복사툴과 스크립트는 수동이며, 종종 오랜 시간이 걸리거나 심지어 수동 마이그레이션 실패로 이어진다.
클라우드 및 데이터 아키텍트 220명을 대상으로 실시된 WAN디스코의 최근 설문조사에 따르면 57%가 클라우드 데이터 마이그레이션 시 전체 다운 시간은 0시간, 또는 몇 시간만 허용된다고 답했다.
그렇다면 어떻게 PB 규모의 방대한 빅데이터를 이식하면서도 비즈니스 연속성을 유지하면서 시간을 단축시킴으로써 가치를 창출할 수 있을까?
데이터나미는 이런 과제를 안고 있는 기업의 기술 팀들에게 WAN디스코의 특허받은 컨센서스 블록체인 자동화 솔루션이나 데이터브릭스를 이용해 마이그레이션 하는 방안을 솔루션 가운데 하나로 제시했다.
이는 데이터 세트의 활성 변경 상태인 가운데에서도 데이터손실 위험이나 애플리케이션 다운타임 없이 페타바이트 또는 엑사바이트 규모의 하둡을 온프레미스 데이터 레이크에서 클라우드로 마이그레이션 할 수 있게 해준다.
자동화된 마이그레이션 중에는 평소와 다름없는 비즈니스 환경을 경험하게 된다. 기술 팀은 데이터 손실에 대한 두려움 없이 사내 온프레미스 시스템과 클라우드 인스턴스를 모두 사용할 수 있다.
지속적 응답은 지리적으로 분산된 데이터가 사내 온프레미스, 하이브리드 및 멀티 클라우드 환경 간에 일관성을 유지토록 하면서 비즈니스 민첩성에 필요한 유연성 제공을 보장해 준다.
오늘날의 뉴노멀이 된 클라우드 환경에서 정확한 기업의 핵심 고객 데이터 접속과 통찰력은 , 원격직원의 협업 및 비즈니스 의사 결정, 개발자의 프로그래밍은 물론 오늘날 급변하는 경제를 탐색하는 데 매우 중요하다.
기업들이 클라우드 애널리틱스를 수용해 감에 따라 사용자가 기존 사내 온프레미스를 통해 작업하는 동안 클라우드에서 고급 데이터 과학 및 머신러닝 알고리즘을 실행하기 위해서는 유연성이 요구된다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com