국내 연구진이 비정형 데이터 저장ㆍ처리 능력을 최대 7배 높이는 기술을 개발했다.
대구경북과학기술원(DGISTㆍ총장 국양)은 이성진 정보통신융합전공 교수팀은 기존 키-값 저장 장치의 높은 전력 소모 문제를 개선할 새로운 '키-값 저장 장치' 알고리즘을 개발했다고 11일 밝혔다.
이 교수팀은 연구를 통해 기존 저장장치에서 발생하는 문제점의 원인을 밝히고 이를 개선해 향후 빅데이터와 같은 광범위한 IT분야에서 긍정적인 효과를 줄 수 있을 것으로 기대된다.
'키-값 저장 장치'는 비정형 데이터를 저장하는 데이터베이스(DB)로 빅데이터 분석, 인공지능(AI), 클라우드 시스템 등 다양한 분야에 활용할 수 있는 장치다.
하지만 기존 키-값 저장 장치 구동 시 고성능 중앙처리장치(CPU)와 많은 하드디스크가 필요하며 전력 소모량이 크다는 단점이 있다. 최근 많이 사용하는 SSD를 키-값 저장소로 활용할 경우 데이터를 저장할수록 응답 시간이 느려지고 처리량이 점차 감소하는 문제를 갖고 있다.
연구팀은 응답 시간 지연과 처리량 감소 문제를 해결할 목표로 다양한 실험을 진행, 기존 저장 장치에 내부 알고리즘으로 사용 중인 '해시(Hash) 구조'가 문제 원인임을 발견했다.
해시 구조는 부여한 키를 모두 하나의 표 형태로 보유하고 있다. 특정 키를 입력하면, 입력한 키와 연결된 정보를 불러온다. 하지만 SSD는 해시 구조를 저장하고 관리할 별도 용량이 적어 해시 구조를 그대로 적용하면 과부하가 걸리고 처리가 느려진다.
연구팀은 이 문제를 해결하기 위해 'PinK'라는 새로운 알고리즘을 개발했다. PinK를 적용할 경우 해시 구조와 비교해 경제적인 키 보관ㆍ활용이 가능하다.
PinK는 모든 종류의 키를 한꺼번에 저장해 보유하지 않고 여러 단계로 키들을 나눠 보유하며, 필요한 단계로 명령을 분할해 처리하기 때문이다.
연구팀은 새로운 알고리즘을 적용해 실험한 결과 기존 키-값 저장 장치와 비교해 최대 7배 빠른 응답 시간과 2배 향상한 처리량을 달성했다고 설명했다. 이어 차세대 저장 장치로 주목 받고 있는 키-값 저장 장치 확산에 큰 기여를 할 것으로 기대했다.
이성진 교수는 "이번 연구로 키-값 저장소에 데이터를 저장하거나 불러올 때 발생하는 병목현상을 제거하고 시스템 성능을 최대 7배 이상 향상할 수 있는 길을 찾았다"고 말했다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com