이미지의 왜곡 없이 물속과 물 밖에서 360도 전방위로 사진과 영상 촬영이 가능한 초소형 수륙양용 카메라가 개발됐다. 송영민 광주과학기술원(지스트·GIST) 전기전자컴퓨터공학부 교수·김대형 서울대학교 화공생명공학부 교수 공동 연구팀이 조간대에 사는 농게의 겹눈 구조를 생체모방해 얻은 연구 결과다. 이번 성과는 실제 물에 담근 채 영상 테스트를 성공리에 마쳐 기존 360도 카메라의 한계를 보완하고 가상현실(VR) 기기 등 다양한 영상 장비에 적용 가능할 것으로 보인다.
※ 조간대 : 조석 변화에 따라 해수면이 가장 낮은 간조 시에는 수면 위로 노출되고 해수면이 가장 높은 만조 시에는 수면 아래에 잠기는 연안 지역
이번 연구의 결과는 네이처 일렉트로닉스(Nature Electronics)에 12일 0시(한국시각) 온라인에 발표됐다. 현재 360도 카메라 제작을 위해 페이스북을 운영하는 '메타(Meta Platforms)'와 열화상 카메라·센서 설계 전문기업 '텔레다인 플리어(Teledyne FLIR)' 등 글로벌 기업들이 연구·개발을 진행하고 있다. 하지만 기존 제품들의 경우 이미지 왜곡에 대한 하드웨어의 한계를 극복하기 어렵고 각 카메라의 센서 정보를 연결하는 후처리가 필요하다는 단점이 있다.
통상 카메라에는 표면이 곡면인 렌즈가 사용된다. 그런데 광(光) 굴절 현상으로 인해 하나의 광학시스템에서는 물속과 물 밖에서 동시에 영상을 처리하는 데 한계가 있다. 광 굴절은 외부 물체의 이미지가 렌즈에서 굴절하는 정도(굴절률)에 따라 빛의 경로가 바뀌어 이미지 센서에 형상이 맺히는 위치가 바뀐다.
또 넓은 화각(field of view)을 갖는 광각 카메라의 경우 이미지 센서에 최대한 넓은 범위의 피사체 상(像)이 맺히도록 하기 위해 렌즈 표면이 휘어진 정도가 심한(곡률이 큰) 고굴절 렌즈가 많이 사용된다. 그런데 이러한 렌즈 구성 때문에 렌즈의 중앙과 외각에서의 굴절 차이가 생겨 이미지 센서에 왜곡된 이미지가 투영된다.
이에 공동 연구팀은 편평형 마이크로렌즈를 이미지 센서와 결합하고 1개의 마이크로렌즈와 1개의 포토다이오드로 구성된 광학시스템을 지름 약 2㎝인 공 모양의 구형(球形) 구조물 안에 200여 개를 집적해 왜곡이 없는 광각 카메라를 개발했다.
특히 연구팀이 아이디어를 얻은 농게는 조간대에 서식하는 종으로 물속과 물 밖 환경에서 모두 시야를 확보할 수 있어야 한다. 이를 위해 농게의 렌즈(눈)는 표면이 편평하며 그 아래로 점진적인 굴절률의 변화를 갖는 형태로 돼 있다. 아울러 평평한 갯벌 지대에서 포식자를 효과적으로 식별하기 위해 농게의 눈은 전(全) 방향으로 렌즈가 형성돼 있다.
연구팀은 200여 개의 포토다이오드를 구형으로 배치하고, 각 포토다이오드에 편평형 마이크로렌즈를 배치해 각각의 센서 정보를 연결하는 후처리 및 광학 렌즈에서 발생하는 왜곡의 문제를 해결했다. 또 편평형 마이크로렌즈를 배치할 경우 낮아지는 굴절력(focusing power)을 향상시키고 수차를 보정하기 위해 굴절률이 연속적으로 변하는 4개의 렌즈로 구성된 구배형(graded-index) 마이크로렌즈를 제작했다.
그 결과 외부 환경과 무관하게 물속과 물 밖에서 영상의 화질이 동일하게 유지되고 기존 광각 카메라보다 이미지 왜곡이 감소함을 이론적·실험적으로 규명했다. 이번 연구는 한국연구재단이 추진하는 미래소재디스커버리사업과 이공분야 학문후속세대지원사업, 기초과학연구원(IBS)의 기초과학연구원외부연구단 및 GIST-MIT 공동연구사업의 지원으로 수행됐다.
송영민 지스트 전기전자컴퓨터공학부 교수팀(제1저자 장혁재 지스트 통합과정생, 제1저자 이길주 부산대학교 교수), 김대형 서울대학교 화공생명공학부 교수팀(제1저자 이민철 박사)이 이번 연구를 공동 진행했다. MIT의 Frédo Durand 교수와 텍사스 주립대의 Nanshu Lu 교수 등이 공동저자로 연구에 참여했다.
송영민 교수는 "이번에 개발한 360도 카메라는 기존 한계를 보완하는 새로운 콘셉트를 제시하는 동시에 마이크로렌즈와 포토다이오드를 공 모양의 디바이스에 모아 실제 영상 테스트를 성공적으로 진행했다는 점에서 의미가 크다"고 강조했다. 이어 그는 "연구실 단계에서 제작할 수 있는 포토다이오드와 마이크로렌즈의 크기 제한과 렌즈 정렬의 한계를 개선하면 보다 높은 해상도와 성능을 가진 360도 카메라를 자율주행 자동차의 비전시스템이나 기존 360도 카메라에 적용할 수 있을 것"이라고 기대했다.
자율주행 물체 인식에 응용되거나 VR·AR 등 메타버스 관련 기술의
영상 기반 디바이스에도 다양한 형태로 접목 가능…
향후 신개념 이미지 센서 및 카메라 개발 통해
국내에서 상대적으로 취약한 시스템 반도체 분야 연구 주도할 것
Q. 연구를 시작하게 된 계기나 배경은 무엇인가?
시스템 반도체의 한 축을 이루고 있는 이미지 센서는 스마트폰·자동차·감시 카메라 등에 활용된다. 관련 시장은 올해 26조 원 수준으로 매년 7% 이상 성장하고 있다. 이미지 센서 시장은 소니·삼성·옴니비전 등 대기업이 77% 점령해 치열한 성능 경쟁을 벌이고 있다. 크기나 해상도 등 획일화된 성능 경쟁으로는 앞으로 다가올 미래의 신개념 카메라 경쟁에서 뒤쳐질 수 밖에 없는 것이 현실이다.
본 연구실에서는 동물의 다채로운 눈 구조에서 착안한 다양한 형태의 생체모방 카메라를 개발해온 바 있다. 지난 2013년에는 곤충의 겹눈을 모방한 초광각 카메라를 네이처(Nature)지에, 2020년에는 물고기 눈을 모방한 초소형 카메라를 네이처 일렉트로닉스(Nature Electronics)지에 각각 보고한 바 있다. 동물 눈을 모방한 카메라 연구는 자연을 보다 깊이 이해할 수 있게 하고 구조적·기능적으로 훨씬 효과적이면서도 기존에 존재하지 않던 카메라 또는 이미징 장치를 개발할 수 있다는 점에서 의미가 있다.
기존에 연구돼 온 광각 카메라는 넓은 영역을 한 번에 포착할 수 있다는 장점이 있지만 몇 가지 치명적인 단점이 있다. 첫째 화각을 아무리 넓게 하더라도 180도를 넘기는 어렵다는 점이다. 최근에는 화각이 360도인 제품도 나오고 있지만 보통 두 개 이상의 카메라에서 얻어진 영상을 합치는 방식이다. 둘째로는 화각을 넓게 하려면 복잡한 구조의 렌즈를 이용해야 하는데 이 과정에서 필연적으로 영상의 왜곡이 생기게 된다. 마지막으로 렌즈에 물이 묻거나 물속에서 촬영을 하는 등 주변 환경이 바뀌면 촬영이 어렵다는 점이다. 이 부분은 사실 모든 카메라가 갖는 단점이다. 렌즈의 초점거리가 바뀌기 때문이다.
한 번에 아주 넓은 곳을 바라볼 수 있는 동물이 뭐가 있을까 고민하다가 우연히 떠올린 동물이 바로 갯벌에 사는 '농게(fiddler crab)'였다. 농게는 툭 튀어나온 눈이 매우 인상적인데 우리의 옛 속담인 '게 눈 감추는 먹는다'고 할 때의 바로 그 눈이다. 툭 튀어나온 눈의 모든 면이 아주 작은 홑눈들로 뒤덥혀 있어서 한 번에 사방을 모두 볼 수 있도록 돼 있다. 넓게 펼쳐진 갯벌에서 도요새나 물떼새의 공격을 피해야 하고 동료들과의 커뮤니케이션, 짝짓기 상대와의 교감 등을 위해 한 번에 거의 모든 것을 바라보도록 진화한 것으로 알려져 있다.
게다가 갯벌은 시간에 따라 물에 잠기기도 하고 수면위로 노출되기도 하기 때문에 이런 곳에 사는 생물들은 물속과 물 밖에서 모두 물체를 정확히 볼 수 있어야 한다. 즉 초점거리가 늘 같아야 한다는 말이다. 그래서 농게의 눈에 있는 렌즈는 특이하게도 표면이 편평하다. 표면이 편평하면 빛을 모을 수가 없기 때문에 이를 보상하기 위해 표면 내부에 곡률과 굴절률이 서서히 바뀌는 구배형 렌즈의 형태로 구성돼 있다. 이에 농게를 모방한 카메라를 만들 수 있다면 기존 광대역 카메라의 단점을 극복할 수 있는 신개념 카메라를 만들 수 있으리라는 생각을 가지고 연구를 시작하게 됐다.
Q. 연구 수행 과정에서 어려웠던 점은 없었나?
연구를 성공적으로 수행하기 위해서는 크게 두 가지 기술이 필요하다. 우선 농게의 눈과 유사하게 표면이 편평하면서 굴절률이 서서히 변하는 렌즈를 만드는 것이다. 기존 렌즈 제품 군에는 전혀 존재하지 않는 형태이기 때문에 연구팀이 직접 만들어야 했다. 하나의 완성된 렌즈 위에 서로 다른 굴절률을 갖는 고분자를 여러번 코팅하는 다중 코팅방식을 도입함으로써 이 문제를 해결할 수 있었다.
두 번째 기술은 구형 기구물의 모든 표면에 이미지 센서와 렌즈가 결합된 광학시스템(농게의 눈으로 치자면 홑눈에 해당함)을 집적하는 것이다. 기존 플렉서블 소자기술로는 다소 휘어지는 형태의 소자 제작은 가능했지만 구 전체를 덮을 수는 없기 때문에 꽤 오랜 시간 제작에 어려움을 겪었다. 그러나 이를 해결하기 위해 종이 오리기(kirigami) 방식을 도입했고, 이를 통해 구형 기구물을 감싸는 형태의 제작이 가능했다.
실제 제작된 카메라로 영상을 측정하는 과정에서 물 속에 넣어서 실험을 해야하는 부분이 있었다. 반도체 소자에 물이 닿으면 과전류로 소자가 망가질 수 있기 때문에 보호막을 더욱 철저히 감싸는 과정이 필요했다. 다른 사람들이 전혀 하지 않았던 실험을 수행하다보니 기존 문헌에서 자료를 찾기가 어렵고 매번 예기치 않은 문제들이 발생해 연구를 완료하는 데 꽤 오랜 시간이 걸렸다.
생체 모방 카메라 연구는 자연에 대한 폭넓은 이해에서부터 연구가 시작됐다. 하지만 더불어 ▲물리·광학에 대한 이해 ▲광학 설계 및 제작 ▲반도체 설계 및 제작 ▲집적시스템 개발 및 측정 ▲영상처리 등을 모두 수행해야 한다. 물리·전자공학·재료공학·컴퓨터공학이 모두 포함된 연구라서 어느 한 부분이라도 놓치게 되면 성공적인 결과를 얻기 어렵다. 이번 연구에서는 물리·전자공학 부분은 GIST에서 담당하고, 화학·재료 부분은 서울대에서 주로 담당해 연구를 수행했다. 기계공학적 설계는 텍사스 주립대, 컴퓨터 공학 분야는 MIT의 도움을 받아 연구를 성공적으로 마무리할 수 있었다.
Q. 이번 연구 성과가 기존 연구와 다른 점은?
이번 성과는 하나의 소형 카메라로 360도 전방위 촬영이 가능하도록 했다는 점에서 큰 의미가 있다. 또 물 속과 물 밖에서 늘 초점이 맞는 수륙양용 카메라의 개발을 위해 농게의 편평한 렌즈를 세계 최초로 도입했다는 점이 기존 연구와는 다르다. 일반적으로 렌즈는 곡면이어야 한다는 시각이 주를 이루는데, 본 연구를 통해 앞으로 편평한 렌즈의 개발도 활발히 이루어지리라 기대한다.
Q. 실용화된다면 어떻게 활용될 수 있나? 실용화를 위한 과제는?
현재는 연구실 수준에서 반도체 광소자를 제작하기 때문에 그 크기를 줄이기가 어렵다. 그러나 삼성이나 SK하이닉스 등 이미지 센서 제작업체의 기술을 활용하게 되면 현재 제작된 것보다 훨씬 작고 우수한 성능의 카메라 개발이 가능하리라 생각한다.
또 이러한 신개념 이미지 센서의 제작을 통해 국내 시스템 반도체 기술 수준이 진일보할 수 있으리라 기대한다. 360도 전방위 카메라는 가상현실(VR)·증강현실(AR)과 같은 메타버스나 자율주행차의 비전 시스템에 적용하는 등 여러 영상 분야에 활용될 수 있다.
Q. 앞으로의 목표나 후속 연구 계획은?
앞으로도 지속적으로 신개념 카메라 연구에 몰두할 계획이다. 아직 밝혀지지 않은 자연계의 많은 시각 시스템이 존재한다. 또 시각 시스템은 그 자체로만 동작하는 것이 아니라 뇌의 시각피질과 연결돼 영상 처리가 이루어지기 때문에 향후 신경 모사형 카메라 개발연구도 동시에 진행해 시각지능 반도체 분야를 선도할 수 있도록 노력할 것이다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
