'뇌' 닮은 상변화메모리 실용화 큰 진전
상태바
'뇌' 닮은 상변화메모리 실용화 큰 진전
  • 입력 2020-05-28 17:50
  • 댓글 0
이 기사를 공유합니다

IBM 연구진, 네이처 및 프론티어스 인 뉴로사이언스 5월호에 발표
심층신경망 훈련 적용···컴퓨팅 정확도 손실 거의 없고
인간 뇌처럼 별도의 데이터 저장 계산 구획 두지 않아
상변화메모리의 실용화 가능성을 앞당긴 마누엘 드 갈로 IBM연구원. 사진=IBM
상변화메모리의 실용화 가능성을 앞당긴 마누엘 드 갈로 IBM연구원. 사진=IBM

IBM 연구진이 멤리스터 상변화메모리(PCM) 소자에 기반한 인메모리 컴퓨팅 실현에 또다른 발걸음을 내디뎠다.

연구진은 이 메모리를 기계학습(머신러닝)에 적용해 정확도를 확인한 결과 지금까지 나온 것 가운데 가장 높았다고 밝혔다. 멤리스터 PCM은 두 전극 사이에 끼워진 위상이 변화하는 나노(1나노=10억분의 1)급 초미세 입방체 물질에 데이터를 기록하는 메모리 기술이다. 멤리스터(Memristor)는 메모리(memory)와 저항기(resistor)의 합성어로 뇌에 있는 신경세포와 시냅스처럼 빠르고 효율적으로 정보를 처리하기 위해 연구되고 있는 차세대 메모리 소자 가운데 하나다. 

과학자들은 인간의 뇌처럼 별도의 데이터저장 계산 구획을 두지 않는 상변화 메모리 아키텍처를  사용한 정밀 심층 신경망(DNN) 추론을 통해 레스넷(ResNet)형 네트워크를 교육한 결과 우려할 만한 정확도 손실이 발생하지 않았다는 것을 확인했다.

예를 들어 CIFAR-10(Canadian Institute For Advanced Research-10) 데이터세트에서는 93.7%의 기계학습 정확도를 보여주었다. (CIFAR-10데이터 세트는 일반적으로 기계학습 및 컴퓨터비전 알고리즘을 훈련시키는데 사용되는 이미지 모음으로서 기계학습 연구에 가정 널리 사용되는 데이터 세트 가운데 하나다.)

이는 지금까지 모든 아날로그 저항 메모리 하드웨어가 CIFAR-10 데이터세트 실험을 통해 보여준 것 가운데 가장 높은 정확도를 기록한 것이다.

HPC와이어는 27일(현지시각) 네이처와 프론티어스 인 뉴로사이언스 5월호에 PCM소자와 혼합신호 아키텍처를 사용해 심층 신경망(DNN)을 높은 정확도로 작동시키는 데 성공한 IBM연구진의 연구 성과를 발표했다고 전했다. 네이처 논문 제목은 ‘컴퓨팅 상 변화 메모리를 사용한 정밀 심층 신경망 추론(Accurate deep neural network inference using computational phase-change memory)’이다.

 IBM연구진은 ‘신경구조와 유사한(neuromorphic·뉴로모픽)’ 처리방식 접근법을 통해 생체 시스템에서 사용하는 저전력 처리 기법을 흉내내고 기존 컴퓨터 아키텍처에서 요구하는 데이터 이동의 일부를 제거함으로써 상변화 메모리의 실제적 적용 가능성을 확인시켜 주었다.

이에 따르면 르 갈로 IBM연구원은 “심층신경망(DNN) 추론 모델을 효율적으로 지원할 수 있는 하드웨어 개발을 위해 멤리스터 기반 스토리지 장치를 이용한 인메모리 컴퓨팅 방식을 활용한 결과” 이같은 내용을 확인했다고 설명했다. 

IBM연구진은 특히 “PCM 소자 사용시 최대 어려움이었던 우려할 만한 컴퓨팅 정확도 손실이 신경망 훈련 과정에서 나타나지 않았다”고 밝혀 이목을 집중시키고 있다.

상변화 물질은 도핑된 Ge₂Sb₂C⁵였다. 하단 전극의 반지름은 최고 20나노미터(1나노미터=10억분의1 미터), 높이는 최고50나노미터, 상변화물질 두께는 100나노미터이며, 상단 전극까지 확장되며, 반지름은 100나노미터다. 이 연구에서 수행되는 모든 실험은 트랜지스터를 통해 접속된 100만 개의 소자가 들어간 어레이로 수행됐다.
  
◆IBM연구진, 기존 방식에서 벗어나면서 PMC 성능 진일보 개가 

IBM은 노이즈를 수용하는 모델을 교육함으로써 정확성을 향상시키기 위해 멤리스터 상변화메모리(PCM)에 존재하는 자연적 변화(variations)에 대응하는 새로운 접근 방식을 시연했다.

이 광범위한 ‘신경구조와 유사한(neuromorphic 뉴로모픽)’ 처리방식 접근법은 생체 시스템에서 사용하는 저전력 처리 기법을 흉내내고 기존 컴퓨터 아키텍처에서 요구하는 데이터 이동의 일부를 제거하는 것이다.

IBM의 연구원 마누엘 르 갈로는 지난 주 한 블로그에서 이 성과에 대해 다음과 같이 설명했다.

IBM연구진이 사용한 상변화 메모리 어레이. 이 전전력 고효율 메모리 소자 어레이를 이용해 기계학습 추론 결과에서 높은 성과를 확인할 수 있었다. 사진=IBM
IBM연구진이 사용한 상변화 메모리 어레이. 이 저전력 고효율 메모리 소자 어레이를 이용해 기계학습 추론 결과에서 높은 성과를 확인할 수 있었다. 사진=IBM

그는 우선 기존 방식의 문제점에 대해 “추론을 위한 하드웨어 가속기 아키텍처의 개발에는 상당한 진전이 있었지만, 기존의 많은 설정 방식은 물리적으로 메모리와 처리 유닛을 쪼갰다. 이는 심층신경망(DNN) 모델이 일반적으로 오프-칩(off-chip) 메모리에 저장된다는 것을 의미하며, 컴퓨팅 작업에는  메모리와 컴퓨팅 유닛 사이에 연산 속도를 늦추고 달성할 수 있는 최대 에너지 효율을 제한하는 프로세스인 지속적인 데이터 섞기(a constant shuffling of data)가 필요하다는 것을 의미한다”고 지적했다.

◆ “인간의 뇌처럼 별도의 데이터 저장 및 계산 구역 두지 않았다”

갈로는 이어 자신이 택한 방식에 대해 “네이처에 실린 우리의 연구는 DNN 추론 모델을 효율적으로 지원할 수 있는 하드웨어 개발을 위해 유망한 비(non)-폰 노이만 접근 방식으로 멤리스터 기반 스토리지 장치를 이용한 인메모리 컴퓨팅 방식을 활용했다. 구체적으로는 인간의 뇌처럼 별도의 데이터를 저장하고 계산하는 구획을 두지 않아 에너지 소비량이 현저히 적은 상변화메모리(PCM)에 기반한 아키텍처를 제안했다”고 설명했다.

또 “PCM 소자 사용시 최대 어려움은 컴퓨팅 정확도를 달성하고 유지하는 것이다. PCM 기술은 본질적으로 아날로그적이어서 읽기·쓰기 전도성 노이즈뿐 아니라 소자의 가변성으로 인해 연산 정밀도가 제한된다. IBM은 디지털으로  훈련된 가중치를 아날로그 저항성 메모리 장치로 전송해도 우려할 만한 정확도 손실을 초래하지 않도록 신경 네트워크를 훈련시키는 방법을 찾고 있었다”고 설명했다.

르 갈로는 “우리의 접근 방식은 아날로그 메모리 내의 비 이상적인 컴퓨팅 하드웨어에 대응한  일반적 네트워크 복원력 향상 방법을 사용, 소프트웨어 DNN의 훈련 중 시냅스 가중치에 노이즈를 주입하는 방법을 찾는 것이었다”며 “우리는 DNN 교육 중에 소자 노이즈에 필적하는 노이즈를 주입하면 모델을 더 활성화시키게 될 것이라고 가정했다”고 썼다. 

그리고 그의 방법은 옳은 것이었다. 갈로는 “이런 방식으로 레스넷(ResNet)형 네트워크를 교육한 결과 상변화메모리 소자로 가중치를 전송했을 때 우려할 만한 정확도 손실이 발생하지 않았다. 우리는 훈련된 가중치를 아날로그 PCM 시냅스에 매핑한 후 살펴본 결과 CIFAR-10 데이터셋에서는 93.7%의 정확도를, 이미지넷(ImageNet) 벤치마크를 통해서는 71.6%의 정확도를 달성했다. 그리고 72만3444개 시제품 PCM칩에 레스넷(ResNet)의 훈련된 가중치를 프로그래밍한 후 측정된 하드웨어로부터 계산된 정확도는 1일 동안 92.6% 이상을 유지했다. 우리가 아는 한 이는 지금까지 모든 아날로그 저항 메모리 하드웨어가 CIFAR-10 데이터셋 실험을 통해 보여준 가장 높은 정확도다”라고 밝혔다.

◆IBM, 상변화 메모리 실용화에 한걸음 더

IBM은 오랫 동안 상변화메모리(PCM) 기술을 인메모리 컴퓨팅에 사용하는 생산적인 연구를 수행해 왔다.

상 변화 물질은 거의 조립된 것과 마찬가지인 소자의 저 저항 결정(crystalline) 단계에 있다. (일반적으로 리셋 펄스로 불리는)충분한 진폭의 전류 펄스를 적용함으로써 좁은 하단 전극 주위의 비정질(非晶質·amorphous) 영역이 용융-수축 과정을 거쳐 생성된다.

이 소자는 높은 저항성 비정질 영역이 두 전극 사이의 전류 경로를 차단할 경우 낮은 전도성 상태에 있게 된다.

적절한 전기 펄스를 적용해 거의 완전히 아날로그 방식으로 비정질 영역의 크기를 변조할 수 있다.

◆네이처 논문의 공식 테스트 시스템 설명은?
 
네이처 논문에서 사용된 테스트 시스템에 대한 공식 설명은 다음과 같다.

실험플랫폼 등에 대해서는 “실험 플랫폼은 300만개의 PCM 소자로 구성된 PCM 시제품 칩을 중심으로 구축됐다. PCM어레이는 워드 라인(WL)과 비트 라인(BL)의 매트릭스로 구성됐다. PCM 소자 외에도 프로토타입 칩은 소자 주소 지정과 쓰기 및 읽기 작업을 위한 회로를 통합한다. PCM 칩은 현장 프로그래머블 게이트 어레이(FPGA) 보드와 아날로그 프론트 엔드(AFE) 보드로 구성된 하드웨어 플랫폼에 연결된다. AFE 보드는 디지털-아날로그 컨버터를 포함하고 있으며, PCM 칩에 전압 및 전류 레퍼런스 소스를 제공한다. FPGA 보드는 데이터 수집과 디지털 로직을 구현해 테스트 중인 PCM 소자 및 AFE 보드의 모든 전자 기기와 인터페이스 한다”고 설명하고 있다.
 

IBM연구진이 상변화메모리 실용화를 위한 인메모리 컴퓨팅에서 진일보한 연구성과를 내놓았다. 사진=네이처
IBM연구진이 상변화메모리 실용화를 위한 인메모리 컴퓨팅에서 진일보한 연구성과를 내놓았다. 사진=네이처

소자 재질과 생성에 대해서는 “PCM 소자는 참조 52에 설명된 키홀 프로세스를 사용한 90나노미터 상보성금속산화물반도체(CMOS) 기술로 칩에 통합된다. 상변화 물질은 도핑된 Ge₂Sb₂C⁵였다. 하단 전극의 반지름은 최고 20나노미터(1나노미터=10억분의1 미터), 높이는 최고50나노미터, 상변화물질 두께는 100나노미터이며, 상단 전극까지 확장되며, 반지름은 100나노미터다. 이 연구에서 수행되는 모든 실험은 트랜지스터를 통해 접속된 100만 개의 소자가 들어간 어레이에서 수행됐으며 512워드라인(WL)과 2048개의 비트라인(BL)의 매트릭스로 구성됐다”고 소개하고 있다.

◆개발자 르갈로, “노이즈 수용위한 모델 훈련은 중요한 성과”

노이즈를 수용하기 위한 모델 훈련은 중요한 성과로 꼽혔다.

르 갈로는 “점점더 사물인터넷(Internet-of-Things) 배터리로 구동되는 기기와 자율주행차를 포함한 등 인공지능(AI) 기반 기술로 점점 더 발전하는 시대에 이 기술은 고속, 저전력, 신뢰할 만한 정확도의 DNN 추론 엔진의 이점을 크게 얻을 수 있을 것”이라고 말했다. 또 “이 연구에서 개발된 전략은 DNN 교육과 회의를 에너지 효율적인 방식으로 지원하기 위해 정확한 AI 하드웨어 가속기 아키텍처를 실현하기 위한 큰 잠재력을 보여주고 있다”고 평가했다.

그는 또 “런던 킹스칼리지, 스위스 취리히 연방공대(ETH Zürich), 로잔공대(EPFL) 연구원들도 이 연구에 기여했다. 우리의 연구는 1년 전에 출범한 IBM AI 하드웨어 센터(IBM AI Hardware Center)연구의 일부다.

갈로는 “이 센터는 AI의 잠재력을 최대한 실현하기 위해 필요로 하는 엄청난 컴퓨팅처리 능력과 전례 없는 속도를 지원하는 차세대 칩과 시스템을 실현하는데 초점을 맞추고 있다”고 썼다.

이 성과는 아직 해야할 일이 많지만 PCM 기반의 학습 기법을 발전시킬 것으로 보인다. 

 

[관련기사] AI 연산능력 더 높아진다...KIST, 뉴포모픽 컴퓨팅 소자 개발

[관련기사] 인간 두뇌 닮은 반도체 나온다

기자 프로필

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사
유용한 리스티클
  • AI를 활용한 10가지 좋은 예
  • MIT 테크리뷰가 선정한 젊은 AI혁신가 7인
  • 포스트코로나 이끌 AI 스타트업 'TOP 10'
  • 주목할 중국·일본 로봇 스타트업 '베스트 10'
  • 포브스 선정 유망 AI기업 베스트 50
  • 코로나19와 싸우는 테크기업 '베스트 15'