[편집자 주] [김동원의 Eye-T]는 IT 소식을 직접 눈(Eye)으로 보는 것처럼 생생하게 전달하는 것을 목적으로 합니다. 다양하고 재미있는 IT 기술과 솔루션을 쉽고 자세하게 보여드리겠습니다.
채용 과정에 AI 면접이 도입되고 있습니다. 그런데 AI가 날 제대로 평가할 수 있을까요? 그 근거는 무엇일까요? 우리는 AI가 평가한 결과를 온전히 받아들여야 할까요? 최근 AI 편향성 문제가 화두인데 면접에는 이러한 편향성 문제가 없을까요? AI 면접에 대한 수많은 생각이 들었는데요. 이 질문을 해결하기 위해 AI 면접 공급사인 '무하유'를 찾아갔습니다. AI 면접이 어떻게 이뤄지고 있는지, 문제점은 없는지 AI 면접 담당자로부터 직접 들어봤습니다.
[김동원의 Eye-T] "AI 면접, 설명 가능할까?"...공급사에 직접 물어봤습니다. (기획·제작=김동원 기자 / 촬영=김미정 기자)
김동원 : 안녕하세요? AI타임스 김동원 기자입니다. 요즘 채용시장에 가장 뜨거운 관심사죠. AI 면접입니다. 오늘 AI 면접 공급사 중 한 곳인 무하유를 방문했는데요. 전여진 프로님 모시고 AI 면접에 대해서 알아보겠습니다. 프로님 안녕하세요?
전여진 : 안녕하세요. 저는 무하유에서 AI 채용 플랫폼 서비스 영업을 담당하고 있는 전여진 프로입니다.
김동원 : 네. 무하유가 AI 면접 서비스인 몬스터를 공급하고 있는 것으로 알고 있는데요. 이 몬스터는 어떻게 작동하는 걸까요?
전여진 : 저희 몬스터는 실제 면접 상황을 온라인상으로 그대로 옮겼다고 생각하시면 되시는데요. 대화용 면접 서비스라고 생각하시면 조금 더 편하실 것 같습니다. 이제 면접에서 사실 가장 중요한 것은 답변 내용이거든요. 묻는 질문에 적합한 답변을 했는지, 지원자의 가치관이나 직무 관련 역량이나 경험이 잘 드러나는지, 그것에 대한 평가가 가능한지가 가장 중요한데요. 저희는 면접 답변을 STT라는 기술로 스피치 투 텍스트(Speech to Text)죠. 이제 글로 옮겨 적은 뒤에 이제 텍스트화된 뒤에 그것의 내용에 대한 분석을 저희가 진행을 해드리고 있는데요. 이제 잘 훈련된 면접관 수준으로 면접 내용에서 지원자의 경험이나 핵심 역량을 파악하거나 평가가 가능한 그런 서비스입니다.
김동원 : 몬스터는 현재 어디에서 사용을 하고 있을까요?
전여진 : 현재 저희 고객사의 요청으로 사용 기관을 오픈하는 것은 조금 어려움이 있는데요. 저희가 지금 다년간 AI 채용 서류 분석 서비스인 '프리즘' 서비스를 운영을 하고 있는데 현재 저희가 서비스하고 있는 많은 기업에서 "이런 대화형 면접 서비스가 나왔으면 좋겠다"라는 니즈들이 정말 많아서 그런 요구들을 받아서 저희가 요청사항에 맞춰서 서비스를 만든 게 몬스터고요. 그런 많은 기업이나 기관들에서 이제 저희 서비스를 검토 중에 있으시고 이제 하반기나 (내년) 상반기 채용에 도입 예정이신 기관이 많습니다.
작년 같은 경우는 이제 대입 면접을 위해서 수험생들의 학생생활기록부나 자기소개서를 활용해서 면접을 준비할 수 있도록 배타형 서비스로 작년에 오픈을 했었고요. 약 5천 명의 학생들이 서비스를 사용을 해서 현재는 올해 결제 가능한 B2C(기업과 소비자 간 거래) 서비스를 출시할 예정입니다.
김동원 : 작년에 인크루트가 197개 업체를 대상으로 조사한 결과에 따르면 AI 면접을 도입한 기업이 절반 이상이 넘었고요. 또 AI 면접을 앞으로 도입을 하려고 하는 기업이 또 많은 것으로 조사가 되었습니다. 이것은 이제 AI 면접을 더 긍정적으로, 좋게 보는 것으로 보이는데 AI 면접의 장점은 무엇이라고 생각하실까요?
전여진 : 인사 담당자의 업무를 생각해 보신다면 사람이 굳이 하지 않아도 되는 일을 대신해 주는 그런 서비스가 있다면 사용을 안 할 이유가 없거든요. 저는 크게 세 가지 관점에서 말씀드리고 싶은데요.
첫 번째로는 경제적이라는 점입니다. 기존에 대면 면접을 하는 상황에서는 인사 담당자 분이 장소를 대관해야 되고 면접관 섭외하고 면접관분들 교육을 시켜야 되고 이런 업무들에 굉장히 많은 시간과 비용이 들어가고 있었거든요. 또한 이제 구직자들이 오기로 한 구직자들이 오지 않는다거나 하는 노쇼(No Show) 비용들에서 이제 낭비되는 비용이 굉장히 많았고요. 구직자 입장에서는 면접 장소까지 시간 맞춰서 정장도 입고 메이크업도 하고 그렇게 오는 그런 모든 시간과 비용을 아낄 수 있다는 점이 있고, 이제 기업 입장에서는 이제 온라인으로 저렴한 비용으로 보다 많은 구직자들에게 면접 기회를 줄 수 있다는 장점이 있는데요. 한 기관에서는 대면 면접을 3배 수로 진행을 하시다가 올해 저희 서비스 도입하시면서 6배 수에서 8배 수까지 늘리고 계신 상황입니다.
두 번째로는 정확성을 들 수 있겠는데요. 이런 말씀 많이 들어보셨을 것 같아요. "점심시간 이후 오후 2시에서 3시에서는 합격자가 많이 안 나오더라" 혹은 "면접 보기, 면접 끝나기 1시간 전부터는 면접관들이 질문을 잘 안 하더라" 면접관분들도 사실 집중도가 많이 떨어지시거든요. 이런 모든 것을 휴먼 에러들이라고 하죠. 굉장히 많은 오류가 포함될 수 있다는 대면 면접의 단점에서 이제 이미 구직자들도 그 것에 대한 어려움을 다 알고 있으시고, 면접관분들도 사실 하루 종일 면접하시는 거 굉장히 힘드시고 인사 담당자분들도 '그렇다면 과연 대면 면접이 정말 공정한가', '정말 정확하게 평가가 될 수 있는가'에 대해서 퀘스천이 있는 상황이시거든요. 반면 AI는 언제보든 어디서보든 환경과 관계없이 숙련된 면접관이 동일한 기준으로 평가를 할 수 있다는 그런 큰 장점이 있고요.
세 번째로는 자동화인데요. 아무래도 구조화된 면접을 요즘 많이 하고 계신데 면접관 입장에서는 이제 동일한 질문을 계속 계속 똑같이 하셔야 되는 그런 불편함이 있으시고 그래서 만약에 저희한테 하시면은 그 것을 안 하셔도 되고, 자기소개서를 저희한테 사전에 주시면 저희가 자기소개서 기반의 면접 지문 생성 서비스까지 자동으로 해드리고 있어요. 실제 면접관분들이 (지원자들의) 자기소개서를 미리 읽으시고 '이렇게 질문해야지'라고 해 오시는 면접관 분들은 사실 많이 없으시고 이제 면접하시다 보면 시간이 한정적이다보니깐 자기소개서를 읽으면서 질문하실 것을 찾으시느라고 지원자분들이 답변한 내용을 놓치시는 경우도 상당히 많으시거든요. 이런 모든 과정이 자동화한다고 하면은 굉장히 편하고 정확하고 효율을 정말 많이 가져가실 수 있다라는 게 아주 큰 장점입니다.
김동원 : 저도 면접을 볼 때 면접관님이 제가 답변을 하는데 딴 짓을 많이 하시더라고요. 그 것이 준비를 안 해오셔서 그랬을 수도 있었겠네요. 그런데 AI 면접이 이런 많은 장점들이 있는데 많이 논란이 되기도 했어요. 왜냐하면 기계가 사람을 평가하기 때문인 것 같은데요. 그런데 제 생각에는 이런 어쨌든 AI가 데이터를 기반으로 하는 거고 그렇게 되면 수많은 면접관의 데이터가 AI 면접 프로그램에 탑재가 돼서 객관적인 평가가 더 가능할 것으로 보이는데 혹시 맞나요?
전여진 : 네. 정말 잘 말씀해주셨는데요. 저희는 인지 편향없는 데이터 기반의 신뢰도 높은 그런 검사 결과 평가를 제공하고 있다고 자신있게 말씀드릴 수 있고, 현재까지 약 350만 건 정도 이제 채용에 특화된 데이터를 학습한 모델이기 때문에 사람 평가보다 훨씬 더 정확하게 평가할 수밖에 없습니다.
김동원 : 그런데 이런 정말 많은 장점이 있음에도 불구하고 AI 면접의 단점으로 꼽히는 것 중 하나가 이제 편향성입니다. AI가 이 편향적인 결과를 낼 수 있다는 건데요. 사실 제 생각은 과거에 모 기업은 '면접관 중에 관상가를 모셔와서 면접을 했다'는 경우도 있었는데 사실 AI한테만 너무 냉정한 거 아닌가 사실 이런 생각도 들어요. 그래도 안 그래도 좀 여쭤봐야 되니까 무하유는 이런 편향성 문제에 대해서 좀 어떻게 극복하고 계실까요?
전여진 : 사실 AI 편향성은 AI 채용에서 가장 많은 논란을 일으키고 있는 문제 중에 하나예요. 저희는 그 점에 주목을 했고 정말 많은 노력을 투입을 해서 기술로 완전히 극복을 했다라고 말씀을 드릴 수 있겠는데요. 공공기관 채용에서는 요즘 블라인드 채용이라고 해서 인적 사항 기재를 아예 안 하게끔 하고 있어요. 그런데 자기소개서 안에 '나는 사실 삼성증권 임직원의 아들이다' 혹은 '내가 서울대학교 무슨 동아리에서...' 이렇게 간접적으로 표현하시는 지원자분들이 있으시거든요. 그럴 경우에 이제 탈락시키거나 마스킹 처리가 필수적으로 되어야 되는데 이걸 사람이 하나하나 다 읽고 평가하기가 상당히 어렵거든요. 그러다보니까 저희 이제 AI 채용 서류 분석 서비스인 '카피킬러', '프리즘'에서는 블라인드 기능이라고 해서 지원자의 편견을 유발할 수 있는 인적 사항, 출신 대학이나 성별, 가족, 직업 표현이나 연령, 혼인 여부 이런 특정 정보들을 블라인드 처리하는 기술을 가지고 있고 저희 특허도 같이 보유를 하고 있거든요.
최근 4년 동안 저희는 이제 모든 입사 지원서에 있는 인적 사항을 다 블라인드 처리하는 기술을 지금 저희가 실제적으로 서비스를 하고 있었고, 해당 기술은 저희 대입에서도 전국에 있는 대학교 94개 대학에서 이제 입학 서류 안에 있는 인적 사항을 마스킹 처리하는 데도 이용을 하고 계세요. 그러다 보니까 저희가 학습시키는 모든 과정에서부터 편향성을 발생할 수 있는 문구는 전부 다 제외하고 학습 데이터로 활용하고 있거든요. 저희가 텍스트를 기반으로 하고 있는 자연어를 이해하는 AI 기술 기업이다보니까 사실 편향성이 비집고 들어갈 틈이 없어요. 이렇게 하다 보면은. 그래서 저희는 다년 간의 채용 서류 분석을 통해서 수천 만 개의 지원자의 역량이나 경험, 가치관, 태도, 문장을 정말 많이 학습을 했다고 말씀드리고 싶습니다.
김동원 : 아무래도 무하유가 AI 면접 서비스인 '몬스터'도 공급하고 있지만 카피 킬러도 공급을 하고 있기 때문에 이런 경험을 토대로 이런 점이 강점이 있는 것 같다는 생각이 듭니다. 또 다른 문제가 있죠. 이제 설명 가능성이에요. 작년에 이제 한 국회의원분이 'AI 면접 결과를 설명하지 못한다'라고 공론화해서 이게 또 이슈가 됐었던 적이 있는데 몬스터는 어떻게 AI 면접을 채점을 하고 있을까요.
전여진 : 사실 AI라는 게 이건 자전거고 이건 차야. 이런 수만 건의 데이터 라벨링을 통해서 학습시키는 거다 보니까 이제 왜 이게 자전거고 왜 이게 차인지에 대한 설명이 블랙박스 식이라서 사실 그 설명 가능한 AI라는 게 사실은 굉장히 어려운 작업입니다. 하지만 저희는 텍스트 기반으로 하고 있다보니까 텍스트는 누가 봐도 명확하거든요. 근데 저희는 이제 면접에서 가장 중요시하는 답변 내용을 텍스트화한 다음에 그거를 저희가 평가를 해드리고 있다보니까 하이라이팅을 저희가 중요한 문장에 해드리고 그걸 위주로 저희가 평가를 많이 해드리고 있어요. 그러다보니까 하이라이팅 된 것만 봐도 이 사람이 왜 A인지 이 사람이 왜 C등급을 받았는지 정말 명확하게 알 수 있다는 것이 저희 면접의 가장 큰 장점이라고 말씀드리고 싶어요.
사실 모든 면접의 과정을 상사의 지시를 잘 이해하고 그에 맞는 업무를 수행해서 결과물을 가져오는지, 이 것을 파악할 수 있어야 하는 것인데 저희는 이제 답변 내용을 토대로 이제 직무에 적합한 사람인지를 평가를 해드리고 있다보니까 그게 정말 눈에 명확하게 잘 보인다라는 것이 큰 장점이고, 대면 면접 상황에서도 이제 면접관분들이 채점을 잘 하시지만 그게 사실 흘러가고 나면은 그게 증빙 자료가 되기에도 사실 굉장히 좀 난감할 때가 많으실 것 같아요. 인사 담당자분들이. 그러다 보니까 저희는 이제 영상 녹화된 것도 남아 있고 텍스트로도 이제 증거가 다 남아 있다보니까 사실 정말 명확하고 이제 설명 가능 하다라고 저는 말씀드릴 수 있을 것 같습니다.
김동원 : 제가 오늘 무하유에서 말씀드리기 뭐하지만, 저도 AI 면접을 봤었어요. 무하유 것은 아니었고요. 그런데 면접을 봐보니까 2시간 가까이 제가 화면을 보면서 자기소개도 하고 적성평가도 보고 게임도 하고 굉장히 열심히 했었었는데요. 이게 말하는 것보다 시선처리, 제가 저를 보고 얘기하는 게 더 중요하다고 하더라고요. 혹시 무하유 면접 프로그램도 그런가요?
전여진 : 전혀 아니라고 말씀드리고 싶고요. 아까 말씀드렸다시피 몬스터는 답변 내용을 최고로 많이 평가하는 유일한 면접 서비스에요. 정확한 시선처리도 물론 중요하지만, 긴장하다보면 사람이 시선이 조금 다른 데로 갈 수도 있고, 조금 시선이 떨어질 수도 있고 그런데 그런 외형적인 모습에 집중하기 보다는 정말 중요한 본질 '답변 내용'에 가장 큰 중점을 두고 있거든요. 가장 중요한 건 지원자가 듣고 말하기 능력을 갖췄는지를 파악하는 거거든요. 그래서 부정행위 의심 정도만 보고 있고 시선처리를 열심히해야 된다 그런 것은 저희 평가 요소에 크게 반영되지 않고 있습니다.
김동원 : 그런데 담당자님 모시고 이런 질문을 하기가 좀 그렇지만, AI 면접을 보는 입장에서는 이제 개인 정보 보호가 되는지 좀 궁금할 것 같아요. 이 부분에 대해서는 좀 어떤 장치를 마련하셨을까요?
전여진 : 네 정말 잘 하고 있고요. 저희는 개인정보보호법에 의거해서 시스템을 설계부터 했고, 운영도 개인정보보호법에 의해서 운영되고 있고, 개인정보 담당자가 현재 상주하고 있습니다. 기술적으로는 보안이 강화된 서버를 활용하고 있고, 또한 저희는 고객사랑 계약할 때 평가용으로만 데이터를 활용하고 이후 폐기하는 것을 원칙으로 한다는 계약서 조항을 원칙으로 넣고 있고요. 개인정보 보호에 관련된 계약서도 저희 계약서랑 다르게 같이 계약을 하고 있고, 저희가 다년간 채용 서류 분석이나 면접 분석을 위탁받아서 하고 있다보니까 저희도 예민하고 까다롭게 관리를 하고 있는데요.
저희 고객사 분들은 정부 부처도 있을 수 있겠고, 공공기관이나 롯데, LG, GS, 한화그룹, 금융기관에서도 저희 서비스를 이용하고 계신데, 개인정보에 굉장히 민감하게 반응하세요. 그러다보니까 저희가 수탁사 점검도 매년 성실하고 문제없이 잘 받고 있어서 그런 부분은 구직자 분들도 인사 담당자 분들도 크게 걱정 안 하셔도 될 것 같습니다.
김동원 : 네. 얘기를 들어보면 정말 믿을 수 있겠다라는 생각이 드는데, 이게 어떻게 보면 무하유가 AI 면접 시장에 뛰어든 것은 후발 주자란 말이에요. 그래서 이미 경쟁업체들도 있을 것 같은데 이런 경쟁사와 차별된 장점은 무엇이 있을까요?
전여진 : 아무래도 실제 면접 상황과 가장 밀접한 지원자 맞춤형, 대화형 분석 서비스라는 게 가장 이제 저희가 내세우고 있는 저희만의 무기인데요. 아무래도 기존에 있는 다른 면접 서비스들은 답변에 대한 내용을 평가하지는 않고 있으세요. 그러다보니까 이제 저희 서비스는 답변에 대한 내용, 지원자의 역량이나 경험, 가치관 표현 같은 거 위주로 저희가 평가를 해드리고 있다보니까. 이제 정말 채용의 실제 채용에 정말로 도움이 되는 서비스를 고객분들이 많이 원하셨고 저희는 저희 서비스를 만들 때 어떤 게 정말 많이 필요하신지를 다 이제 요청사항을 받아서 만든 서비스다 보니까, 이제 서비스 만족도도 굉장히 높으신 게 큰 장점인 것 같습니다.
김동원 : 그러면 사실 저희가 중간중간 얘기가 많이 나오긴 했지만 이제 카피킬러 얘기가 많이 나왔어요. 무하유가 사실은 몬스터보다 이제 카피 킬러로 더 유명한 기업이기 때문일 것 같은데요. 이 카피킬러는 무엇인지 한번 설명 부탁드리겠습니다.
전여진 : 네 저희 카피킬러는 국내 유일한 표절검사 서비스고요. 하계 논문이나 과제물, 연구 보고서 등의 문서에 표절 여부를 검증하고 작성자가 스스로 예방하기 위해서 사용하기도 하는데요. 전국에 있는 4년제 93%가 사용 중일 만큼, 학생들, 논문 쓰는 교수님들, 대학원생들 사이에서는 모르는 사람이 없고 아마 기자님도 한 번쯤 돌려봤을 것 같고요. 저희는 정치인들, 요즘은 연예인 분들 표절 이슈 때문에 뉴스 기사에 같이 나오고 있는 상황입니다.
김동원 : 그런데 제가 걱정이 되는 것은 과거 아마존에서는 이런 채용 서류 검토를 할 때 편향성 문제가 나타났었어요. 여대생이나 여학교 같은 여성 관련된 단어가 나오면 점수를 좀 낮게 평가하는 경우가 있었단 말이죠. 이런 문제점은 없을까요?
전여진 : 실제로 아마존에서 몇 억을 들여서 투자한 AI였는데요. 편향적인 결과를 학습한 결과 그런 편향적인 평가를 낼 수밖에 없는 구조였었거든요. 그런데 저희는 학습할 단계부터 앞서 말씀드렸던 이제 블라인드 기술을 적용을 해서 이제 편향 없는, 인지 편향 없는 편견 유발 요소를 완전히 제외하고 학습을 시켰기 때문에 그런 부분은 전혀 이제 나타나지 않는다고 자신 있게 말씀드릴 수 있겠습니다.
김동원 : 알겠습니다. 오늘도 좋은 설명 감사드립니다. 오늘은 AI 면접에 대해서 알아봤는데요. 사실 AI 면접이 기계가 사람을 평가하는 거다보니까 수용자 입장에서는 걱정되는 부분도 많았고 개인 정보가 보호되는지에 대한 염려도 있었습니다. 그런데 이런 부분을 공급업체가, 무하유가가 선제적인 조치를 하고 있다는 것을 확인했습니다. 오늘 시간 내주셔서 감사드리고 좋은 말씀 감사드립니다.
전여진 : 감사합니다.
AI타임스 김동원 기자 goodtuna@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com