국내 연구진이 인공지능(AI) 에이전트를 활용하면 최대 95.9% 정확도로 개인정보 수집하고 피싱 이메일 클릭률 또한 46.67%까지 증가한다는 것을 실험으로 규명했다.
한국과학기술원(KAIST, 총장 이광형)은 전기 및 전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 실제 환경에서 대형언어모델(LLM)이 사이버 공격에 악용될 가능성을 밝혔다고 24일 밝혔다.
현재 오픈AI나 구글 등 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다. 그러나 연구팀의 실험 결과, 이러한 방어 기법이 존재함에도 불구하고 쉽게 우회해 악의적인 사이버 공격을 수행할 수 있음이 확인됐다.
기존의 공격자들이 시간과 노력이 많이 필요한 공격을 수행했던 것과는 달리, LLM 에이전트는 이를 평균 5~20초 내에30~60원(2~4센트) 수준의 비용으로 개인정보 탈취 등이 자동으로 가능하다는 점에서 새로운 위협 요소로 부각되고있다.
연구팀은 LLM 에이전트의 프라이버시 공격에서의 악용 가능성을 분석하기 위해 세가지 대표적인 사이버 공격 시나리오를 설정하고 이에 대한 실험을 수행했다.
첫째, 개인식별정보(PII) 수집 실험에서는 '챗GPT'와 '클로드', '제미나이' 등 모델을 사용해 주요 대학의 컴퓨터 과학 교수들의 개인 정보를 자동으로 수집하는 테스트를 진행했다. 실험 결과, LLM 에이전트는 최대 535.6개의 PII 항목을 추출할 수 있었으며, 특히 웹 검색과 내비게이션 기능을 활용한 모델이 기존 LLM보다 높은 성능을 보였다.
둘째, 특정 인물을 사칭하는 게시물 생성 실험에서는 LLM 에이전트가 저명한 교수를 사칭해 소셜미디어 게시물을 작성했으며, 그 결과 생성된 게시물의 93.9%가 진짜같다는 평가를 받았다.
셋째, 스피어피싱 이메일 제작 실험에서는 LLM 에이전트가 대상자의 이메일 주소만을 입력받고도 맞춤형 피싱 이메일을 생성하도록 했으며, 이에 대한 사용자 실험을 통해 이메일 내의 피싱 링크 클릭율을 분석했다. 실험 결과, LLM 에이전트가 생성한 피싱 이메일의 링크 클릭률은 최대 46.67%까지 증가했으며, 이는 기존 피싱 공격 대비 상당히 높은 수치로 나타났다.
특히 웹 기반 기능이 추가될 경우 공격 수행 능력이 더욱 향상되었으며, 기존 LLM 서비스의 보안 기능이 특정 상황에서는 제대로 작동하지 않는다는 점도 확인됐다.
제1 저자인 김한나 연구원은 "LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”라며 "LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”라고 말했다.
신승원 교수는 “ 이번 연구는 정보 보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며, 연구팀은 LLM 서비스 제공업체 및 연구기관과 협력하여 보안 대책을 논의할 계획”이라고 밝혔다.
KAIST 전기및전자공학부 김한나 박사과정이 제1 저자로 참여한 이번 연구는 컴퓨터 보안 분야의 최고 학회 중 하나인 국제 학술대회 USENIX 시큐리티 심포지엄 2025에 게재될 예정이다.
한편 이번 연구는 정보통신기획평가원, 과학기술정보통신부 및 광주광역시의 지원을 받아 수행됐다.
박수빈 기자 sbin08@aitimes.com
