한국광기술원 지능형광IoT연구센터의 박안진 연구팀이 야간 환경에서 자율 주행의 안정성 문제를 해결할 열쇠를 찾았다. 인공지능(AI)기술을 활용한 자율주행차용 야간 환경 저조도 영상 변환 기술개발에 성공해 라이다(LiDAR) 등 고가의 장비 없이, 카메라만으로 야간 자율주행의 안정성을 높일 수 있게 된 것.
자율주행 차량이 최근 심야에 잇따라 사고를 내면서 안정성 문제가 화두가 됐다. 미 도로교통안전국(NHTSA)에 따르면 2018년부터 테슬라의 자율주행 차량은 11건의 사고를 냈으며, 대부분 밤에 사고가 발생했고, 차량 경고등, 야간 조명 등을 인식하기 못해 사고가 일어났다. 이에 1명이 숨지고 16명이 다쳤다.
2018년 3월 미국 애리조나주 피닉스 인근 도시 템페에서 테스트 중이던 우버 자율주행차가 야간에 자전거를 끌고 길을 건너던 보행사를 들이받아 사망하는 사고가 발생했다. 사고 원인은 인식오류, 운전자의 부주의로 꼽혔다. 이러한 자율주행차의 인식 오류는 고도의 자율주행차 상용화의 걸림돌이 되고 있다.
이러한 상황에서 연구팀은 "만약 야간에 카메라로 촬영한 영상을 주간에 촬영한 영상처럼 변환할 수 있다면, 라이다 센서 없이도 안전한 자율주행이 가능하지 않을까?"라는 질문을 던지며, 연구를 시작했다. 시행착오 끝에 연구팀은 인공지능 기술의 한 분야인 ‘CycleGAN’에 독창적인 매칭 레이어 네트워크를 도입, 저가 일반 카메라의 영상을 선명하게 바꿔 차량 주변 객체 인식 성능을 높이는 기술을 개발했다.
이 기술은 주·야간 모든 환경에서 선명한 영상을 제공할 수 있기 때문에 부가적인 야간환경의 데이터 수집이나 추가적인 인공지능 학습이 필요하지 않다. 야간 환경에서 보행자 차량 인식, 경로 예측, 도로표지판 같은 고정 객체 인식, 도로 상황 인식 등을 개선할 수 있다.
☞ CycleGAN : Cycle Generative Adversarial Networks (Cycle 생성적 적대 신경망), 한 이미지를 다른 이미지의 스타일로 바꾸는 모델.
자율주행차는 주로 라이다, 레이더, 카메라 센서를 이용한다. 자동차 업계는 주로 이 세 가지의 센서를 상호보완해 적용하고 있지만 테슬라는 최근 레이더를 버리고 카메라 8개로만 카메라만으로 자율주행을 구현한다고 발표했다. 테슬라는 이미 고가의 라이다도 배제했다.
카메라는 사람의 눈처럼 가시광선 영역을 인식해 어둠에 취약하다. 적외선 카메라는 높은 가격에도 불구하고 흑백 영상 위주의 낮은 객체 인식 성능을 보이는 제약이 있다. 이에 대안으로 꼽히는 라이다는 정밀도가 높고 야간에도 물체를 분석할 수 있으나 고가이면서 광학적 시야 확보가 어렵다. 레이더는 악천후에 강하지만 정밀도가 떨어진다.
연구팀은 "밤 중 자율주행차 카메라로 들어오는 영상을 선명하게 변환해 안전성을 높일 수 있는 기술"이라며 "자율주행 상용화 시점을 앞당길 수 있을 것으로 기대하고 있다"고 말했다.
다음은 일문일답.
테슬라는 카메라만으로 자율주행이 가능하다며, 올해 6월과 8월 테슬라의 자율주행기술을 소개했다. 라이다(LiDAR), 레이더(Radar) 없이 카메라 8대만으로 자율주행을 가능하게 하는 기술이다. 테슬라를 제외한 자율주행차 개발업체(구글 웨이모, 인텔 모빌아이, 우버 등)는 라이다 없이는 안정한 자율주행이 불가능하다고 말한다. 특히 야간에 카메라를 통해 입력된 영상만으로 주변환경(사람, 자동차 등)을 인지하지 못한다는 게 그 이유다.
"만약 야간에 카메라 만으로 촬영한 영상을 주간에 촬영한 영상처럼 변환할 수 있다면, 라이다 센서 없이도 안전한 자율주행이 가능하지 않을까?"라는 질문이 실현가능한지 그 해답을 찾기 위해 연구를 시작했다.
최근 적대적 생성 신경망(GAN, generative adversarial networks)을 적용해 흑백영상을 칼라영상으로 변환하는 기술이 소개됐다. 처음에는 이 기술을 이용하면 야간영상(흑백)을 주간영상(칼라)으로 변환할 수 있겠다고 추측했다. GAN은 일대일로 매칭되는 학습데이터가 주어져야 학습을 할 수 있다. 포토샵 등 프로그램에서 칼라영상을 흑백영상으로 바꾸면 이것이 일대일 매칭된 학습데이터다.
☞ 적대적 생성 신경망(GAN, generative adversarial networks)이란? 실제와 가까운 거짓 데이터를 생성하는 머닝러닝 기술로, 두 가지 모델(생성 모델, 판별 모델)의 경쟁을 통해 끊임없이 학습하고 결과물을 만들어 낸다. 딥러닝 과정을 통해 실제와 가까운 거짓 데이터를 생성해낼 수 있다.
하지만 주야간 영상의 경우 일대일 매칭된 학습데이터를 구할 수 없다는 문제가 발생했다. 그 이유는같은 장소에서 찍더라도 낮에 찍고 밤에 찍어야 되기 때문에 그 사이 지나가는 사람 등 주변환경이 달라지기 때문이다. 지나가는 사람들이 다르기 때문이다. 물론 촬영하는 위치와 카메라가 바라보는 방향도 같아야 한다. 자동차가 조금이라도 움직이면 위치와 방향도 바뀌게 된다.
이에 대안적인 방법으로 CycleGAN를 적용했다. 주간영상, 야간영상이 일대일 매칭되지 않아도 변환을 학습할 수 있다. 연구팀은 CycleGAN을 기반으로 연구를 진행했다. 연구 과정에서 한 가지 문제점이 발겼됐다. 학습데이터가 일대일 매칭이 아니기 때문에 사람 또는 자동차가 사라지는 결과를 보인 것.
건물 도로의 경우 정상적인 변환가 이뤄지는 데 가장 중요한 대상물이 사라진 결과물이 보여졌다. 이유는 검출 대상물, 특히 사람이 영상의 작은 부분을 차지하기 때문에 건물이나 도로로 영상을 변환하는 경향을 보였다. 연구팀은 CycleGAN 구조에 자체적인 일대일 매칭 네트워크(레이어)를 추가해 이 문제를 해결했다.
이번에 소개된 기술은 인공지능 기술의 한 분야인 ‘CycleGAN’에 독창적인 매칭 레이어 네트워크를 도입했다. 이를 사용하면 야간영상에 대한 추가적인 데이터 수집, 추가적인 인공지능 학습없이도 주야간 모든환경에서 검출이 가능하다. 이제까지는 야간영상에서 검출 대상물들이 잘 안보이기 때문에 야간영상에서 검출을 위한 학습데이터 제작이 어려웠다.
현재 주간영상의 경우 사람, 자동차, 표치판 검출을 위한 다양한 데이터들이 확보돼 있다. 일반적으로는 야간영상에 대해서도 데이터도 따로 확보를 해야 한다.
테슬라에서 최근 발표한 내용과 라이다 센서를 주로 사용하는 구글 웨이모, 인텔 모빌아이에서 발표한 내용을 비교해 보면 두 기술은 모두 제한된 도로환경에서 크게 차이가 없어 보인다. 발표한 내용만으로 어느 기술이 앞선다고 평가하기는 어렵지만 최소한 카메라만으로 충분히 2.5레벨 수준의 자율주행 가능성을 테슬라가 보였다. 라이다 센서나 적외선 카메라 없이 충분히 가능하다고 생각한다.
테슬라는 이미 라이다 센서가 장착되지 않은 차량을 출시했다. 현재는 운전자 개입이 필요한 2.5레벨 수준의 자율주행 기술이지만, 4레벨 이상의 자율주행기술 개발을 목표로 하고 있다.
테슬라는 테슬라 비전 소프트웨어 업데이트를 통해 2021년 4레벨 자율주행기술을 출시하겠다고 발표했지만 안정성에 우려를 표하는 전문가들이 대부분이다. 이번에 소개한 기술은 야간에 발생할 수 있는 사고를 방지하여 안정성을 높이는 기술이기 때문에 더 높은 레벨의 자율주행 기술개발에 도움이 될 것이라 기대하고 있다.
현재 안정성 평가를 진행하고 있다. '실제 촬영한 야간영상'에서 얼마나 정확하게 사람 또는 장애물(자동차)를 검출(object detection)할 수 있는지를 나타내는 검출정확도로 평가할 예정이다. 어떤 검출 알고리즘을 사용할 지, 검출 알고리즘 학습을 위한 어떤 데이터를 사용할 지에 대해 검증 중이다. 한달 이내 결과를 확인할 수 있을 것으로 기대하고 있다.
모든 AI를 이용하는 연구는 '데이터 확보'가 가장 큰 어려움이 아닐까 생각한다. 실제 환경에서 데이터를 충분히 수집(확보)하지 못해 인터넷을 통해 Oxford 대학교에서 제공하는 관련 데이터를 찾았다. 이번에 소개한 결과는 모두 Oxford 데이터 셋을 이용하여 학습, 평가를 수행했다. 향후 광주 지역과 주변을 다니며 데이터를 수집하고, 개발한 기술을 적용해 볼 예정이다.
카메라 영상 분석 기술을 연구하고 있다. 한국광기술원은 광전문기술연구소이기 때문에 눈 역할을 하는 카메라, 조명등의 하드웨어 기술은 국내 최고라고 자부한다. 그럼 남은 건 눈으로 입력된 신호(영상)을 분석하는 '뇌'에 해당하는 기술(소프트웨어)이다.
연구팀은 CCTV, 드론, 자율주행차 등 4차산업혁명의 핵심이 되는 분야에 필요한 영상분석 기술들을 연구하고 있다.
CCTV는 미아, 범죄자 등을 자동 인지하는 기술, 드론은 재난상황에서 불, 조난자 등을 자동으로 인지할 수 있는 기술, 자율주행차는 위험요소(사람, 자동차 등)를 인지하는 기술. 이런 기술을 객체 검출(object detection)이라 부르며, 현재는 3가지 분야에 집중하고 있지만, 향후 카메라가 들어간 모든 사업 분야에 객체 검출 기술이 적용될 것이라 생각한다.
이번에 소개한 기술은 자율주행차에 국한된 기술은 아니다. CCTV도 야간 방범을 위해 사용할 수 있고, 드론도 야간 수색작업에 투입될 수 있다. 두 분야에도 충분히 적용될 수 있는 기술이라고 생각한다.
전문가들은 현재 자율주행 기술이 2.5레벨 수준이라고 평가한다. 2레벨 보다는 높고, 3레벨이라고 하기에는 아직 안정성이 부족하다고 판단하고 있다.
이번 AI기술을 활용한 자율주행차용 야간 환경 저조도 영상 변환 기술은 3레벨 또는 그 이상의 레벨의 안정성을 높일 수 있는 기술이다. 조사기관에 따라 약간은 상이하지만 2030~35년에 4레벨 수준의 자율주행차가 출시된 전망이다. 이번 기술 개발이 그 시기를 앞당길 수 있지 않을까 기대하고 있다.
한국광기술원 지능형광IoT연구센터는 산업용 결함 검출, 변위 측정 등 다양한 센서를 개발하고 있다. 사용자에게 수집된 데이터의 영상화를 통해 시각적으로 빠른 판단이 가능하도록 기술 개발을 진행할 계획이다.
첫번째 계획은 양질의 데이터 확보다. 광주가 자율주행차 시범운행지구로 지정돼 있다. 이를 활용해 데이터를 확보할 예정이다. 충분한 양의 데이터 확보가 완료되면, 안정성 평가를 진행할 계획이다.
앞서 언급한 두 가지 계획이 완료되면 자율주행차 계발업체와의 협업을 통해 개발한 기술이 실제 적용가능한지에 대한 검증을 실시할 것이다. 이 기술을 적용할 수 있는 다양한 업체들과의 협업을 기대하고 있다.
[관련기사] '밤에도 선명하게'…자율주행차 야간 운행 안정성 높일 방법 찾았다
[관련기사] "철거·노후 건물 붕괴 AI 센서로 막을 수 있다"
