본문 바로가기 사이드메뉴 바로가기 주메뉴 바로가기

주메뉴영역

주메뉴영역

혁신으로 세상을 바꾸는 융복합 대학, DIGIST
Innovative University Changing the World through Convergence
이 페이지를 SNS로 퍼가기

Research

데이터 저장 및 처리 성능을 최대 7배 개선한 기술 개발

  • 조회. 433
  • 등록일. 2020.08.11
  • 작성자. 홍보팀
 
DGIST 이성진 교수팀, 데이터 저장 및 처리 속도를 최대 7배 개선하고 응답시간 지연 문제를 해결한 키-값 저장장치 개발
최우수 국제학술대회인 USENIX ATC '20에서 최우수논문상 수상
 
 
이성진 대구경북과학기술원(DGIST) 정보통신융합전공 교수와 임준수 대구경북과학기술원(DGIST) 정보통신융합전공 석박통합과정생(1저자)(중앙), 배진욱 대구경북과학기술원(DGIST) 정보통신융합전공 석사과정생(2저자)(오른쪽)이다.이다.
▲ 정보통신융합전공 이성진 교수(왼쪽), 정보통신융합전공 임준수 석박통합과정생(1저자)(중앙), 배진욱 석사과정생(2저자)(오른쪽)

 

  DGIST 정보통신융합전공 이성진 교수팀은 기존 키-값 저장장치에 존재하던 문제를 해결한 개선된 키-값 저장장치를 개발했다. 이 교수팀은 연구를 통해 기존 저장장치에서 발생하는 문제점의 원인을 밝히고 이를 개선해 향후 빅데이터와 같은 광범위한 IT분야에서 긍정적인 효과를 줄 수 있을 것으로 기대된다.

 ‘키-값 저장장치’는 비정형 데이터 저장과 빠른 처리가 가능한 고유의 ‘키’를 부여해 ‘값’인 데이터를 저장하는 자료저장소로, 빅데이터 분석, 인공지능, 클라우드 시스템 등 광범위하게 사용되는 장치다. 하지만 기존 키-값 저장장치는 구동을 위해 고성능 CPU와 많은 하드디스크를 필요로 하고 높은 전력을 소모하는 단점이 있다. 특히 최근 많이 사용되는 SSD를 키-값 저장소로 활용할 경우, 많은 데이터를 저장할수록 응답 시간이 느려지고 처리량이 점차 감소하는 문제를 갖고 있다.

 이성진 교수팀은 키-값 저장장치에 데이터를 저장할수록 응답 시간 지연과 처리량 감소 문제를 해결하고자 연구를 시작했다. 이후 여러 실험을 통해 기존에 저장장치에 내부 알고리즘으로 사용 중인 ‘해시(Hash)의 구조’가 문제의 원인임을 밝혀냈다.

 해시 구조는 부여된 키를 모두 하나의 표 형태로 보유, 키가 입력되면 그와 연결돼 있는 정보를 불러온다. 하지만 요즘 많이 사용하는 SSD는 해시 구조를 저장하고 관리할 별도의 용량이 적어 해시 구조를 그대로 적용하면 과부하가 걸리고 처리가 느려진다.

 이를 해결하기 위해 이 교수팀은 연구를 통해 ‘PinK’라는 새로운 기술을 개발했다. PinK를 적용할 경우, 해시 구조대비 더 경제적으로 키를 보관하고 활용하는 것이 가능하다. 이는 PinK가 모든 종류의 키를 한꺼번에 저장해 보유하지 않고, 여러 단계로 키들을 나눠 보유하며, 필요한 단계로 명령을 분할해 처리하기 때문이다. 그 결과 기존 대비 최대 7배 향상된 응답 시간과 2배 향상된 처리량을 달성해, 차세대 저장장치로 주목 받고 있는 ‘키-값 저장장치’의 확산에 큰 기여를 할 것으로 기대된다.

 DGIST 정보통신융합전공 이성진 교수는 “이번 연구를 통해 키-값 저장소에 데이터를 저장하고 불러올 때 발생하는 병목현상을 제거하고 시스템의 성능을 최대 7배 이상 향상할 수 있는 길이 열렸다”며 “향후 해당 기술이 빅데이터, 인공지능, 클라우드 분야 등에서의 데이터 처리에 혁신을 가져올 수 있도록 더욱 더 노력하겠다”고 말했다. 

 한편, 이번 연구는 美 매사추세츠 공대 컴퓨터과학 및 인공지능연구소(MIT CSAIL)의 아빈드(Arvind) 교수팀과의 공동협력으로 진행됐으며, DGIST 정보통신융합전공 임준수 석박통합과정생과 DGIST 정보통신융합전공 배진욱 석사과정생이 각각 제1저자와 제2저자로 참여했다. 또한 삼성미래기술육성재단의 지원을 받아 수행된 이번 연구의 논문은 지난 7월 15~17일 개최된 USENIX ATC‘20에서 최우수논문상을 수상했다.

 

 

   연구결과개요  

PinK: High-speed In-storage Key-value Store with Bounded Tails
Junsu Im, Jinwook Bae, Chanwoo Chung, Arvind, and Sungjin Lee
(USENIX Annual Technical Conference, Presented on 15th July 2020) 


키-값 저장소는 비정형 데이터를 저장하는 데이터베이스로 최근 비정형 데이터를 사용하는 인공지능 및 빅 데이터 기술의 출현으로 많은 관심을 받고 있다. 기본적으로 소프트웨어로 구현 된 키-값 저장소는 서버와 같은 호스트 컴퓨터 시스템에서 동작하도록 설계되어 왔으나 자원을 많이 필요로 하는 문제점이 있다. 이에 학계와 산업계에서는 키-값 저장소의 기능을 제공하는 저장장치인 키-값 저장장치를 새롭게 제안했다. 하지만 키-값 저장장치는 호스트 컴퓨터 시스템이 아닌 임베디드 시스템 환경에서 복잡한 키-값 저장소의 기능을 구현하여야 했기 때문에 부족한 자원을 고려하여야 한다. 기존의 키-값 저장장치에서는 이를 잘 고려하지 못했기 때문에 장치에 저장된 데이터의 양이 많아질수록 처리량이 떨어지고 응답 시간이 지연되는 현상이 발견되었다.

본 연구는 기존의 키-값 저장장치가 가진 문제의 원인이 키-값 저장소의 엔진 알고리즘인 해쉬(Hash)의 구조라는 것을 밝히고 제한적인 메모리 및 CPU 자원을 가진 임베디드 환경에 맞도록 키-값 저장소를 구현하였다. 우선 저장된 데이터의 양에 따라 성능이 변하는 해쉬 알고리즘을 일관적인 성능을 가지는 트리구조인 LSM-tree (Log-Structured Merge-tree)로 변경하였다. 또한 처리량 및 응답 시간을 높이기 위해 임베디드 환경의 특성을 활용하였다. 임베디드 환경의 하드웨어 가속기를 통해 LSM-tree에서 시간이 많이 소요되는 정렬 연산을 처리하여 처리량을 높였고 캐패시터(capacitor)로 보호되는 휘발성 메모리에 LSM-tree의 특정 구조를 고정하여 응답 시간을 개선하였다. 결과적으로 데이터 처리량은 최대 2배 향상되었고 응답 시간은 최대 7배 향상되었다. 또한 사용자 경험에 큰 영향을 미치는 꼬리 응답 시간은 기존에 비해 평균 73% 개선되었다.

 

 

   연구성과문답  

 

Q. 이번 성과 무엇이 다른가?

이번 연구는 새로운 저장장치인 키-값 저장장치의 기존 알고리즘 문제의 원인을 밝히고 키-값 저장장치에 알맞은 알고리즘을 제시하여 큰 성능향상을 얻을 수 있었다. 이 과정에서 키-값 저장장치를 제작할 때 유의해야 될 다양한 환경적 제한점을 분석했으며 더 나아가 환경적 이점을 활용할 수 있는 최적화 기법들을 제안하였다. 그 결과 사용자 경험에 크게 영향을 미치는 응답 시간 지연을 획기적으로 개선할 수 있었다.

Q. 어디에 쓸 수 있나?

키-값 저장장치는 기존의 키-값 저장소 소프트웨어의 기능을 저장장치로 이식한 장치이다. 때문에 기존 키-값 저장소가 주로 사용되는 빅데이터 및 인공지능 넓게는 클라우드 시스템까지 사용이 가능하다.

Q. 실용화까지 필요한 시간과 과제는?

본 연구를 통해 제시된 새로운 알고리즘은 기존의 키-값 저장장치의 알고리즘을 대체하는 것이다. 때문에 해당 알고리즘의 아이디어로 소프트웨어를 변경하는 것으로 기존 키-값 저장장치에 적용될 수 있다. 다만, 제품 수준의 신뢰성을 보장하기 위해선 추가적인 연구가 필요할 것으로 예상된다.

Q. 연구를 시작한 계기는?

키-값 저장소가 다양한 응용에서 활용되기 때문에 많은 연구가 있어왔고 키-값 저장소를 대체할 수 있는 저장장치까지 제시되었다. 하지만 이 키-값 저장장치는 최근에 제시된 개념이며 아직까지 산업계 및 학계에서 장치의 활용 가능성에 대한 논의가 필요한 단계이다. 연구 과제를 통해 키-값 저장장치의 프로토타입에 대한 성능평가를 해볼 기회를 얻었고 그 과정에서 문제점을 발견할 수 있었다. 

Q. 어떤 의미가 있는가?

획기적인 응답 시간 개선으로 응답 시간이 중요한 클라우드 시스템 및 빅데이터 분야에 제안한 알고리즘을 사용한 키-값 저장장치가 사용될 수 있을 것이라 예상한다. 또한 새로이 제시된 키-값 저장장치 분야의 앞으로 설계의 방향성에 대한 영감을 줄 수 있을 것이라 기대한다.

Q. 꼭 이루고 싶은 목표는?

키-값 저장장치를 활용하는 응용에 대한 최적화 연구를 진행해 키-값 저장장치에 대한 수요를 높이고 싶다.

 

 

   그림 설명 

 

[그림 1] 키-값 저장장치 프로토타입

 

(그림설명) 제안한 알고리즘을 실제 임베디드 장치에 구현해(노란색 네모) 키-값 저장장치 프로토타입을 제작한 모습
 

 

[그림 2] 키-값 저장장치 알고리즘 모식도
 

(그림설명) 사용된 알고리즘의 모식도. DRAM에 유지되는 구조와 Flash 내부의 구조를 대략적으로 보여준다.
 

 

 

 

콘텐츠 담당 담당부서  :   홍보팀 ㅣ 053-785-1135