#case 1. 미국 위스콘신에서 있었던 일이다. 한 피고인이 경찰 수사를 거부한 죄로 6년형을 선고받았다. 알고리즘이 가석방과 양형에 사용되고 있었다. 그 피고인은 판결이 어떻게 결정됐는지 알고 싶었다. 시스템 개발사는 공개하기를 꺼렸다.

그러자 비영리 조사단체 프로퍼블리카(ProPublica)가 각종 데이터로 그 알고리즘을 확인하는 작업을 추진했다. 그 결과, 그 알고리즘의 예측 성능이 우연과 별 차이가 나지 않으며, 흑인 피고인을 잠재적 범죄자로 낙인찍는 확률이 백인 피고인에 비해 두 배나 높다는 사실이 밝혀졌다.

#case 2. 플로리다 브로워드 카운티에서 있었던 일이다. 학교를 나와 교회로 동생을 데리러 가던 브리샤 보덴은 친구와 함께 뛰어가고 있었다. 가던 도중에 어떤 집 현관에 있던 자전거와 스쿠터를 보고 엉겁결에 올라타 버렸다. 주인이 그 장면을 보고는 소리를 질렀다. 둘은 자전거를 버리고 걸어서 달아났지만, 바로 체포되었다. 18살의 흑인인 그녀는 경범죄 전과가 몇 건 있었다.

반면에 버논 프래터는 마트에서 85달러어치 좀도둑질을 하다가 체포되었다. 백인인 그는 무장 강도 전과 2범이었다. 그런데 알고리즘은 프래터가 아니라 보덴을 고위험군으로 분류했다. 프로퍼블리카가 2년 후에 조사를 해보니 보덴은 더 이상 범죄를 저지르지 않았지만, 프래터는 다시 범죄를 저질러 8년을 선고받고 현재 복역 중이다.

기술사회학자 제이넵 투펙치가 테드(TED) 강연에서 알고리즘의 편향에 대해 제기한 대표적인 사례 2가지다. 알고리즘은 긍정오류와 부정오류라는 실수에서 완전히 자유로울 수가 없다. 긍정오류는 좋은 사람을 못 찾아내는 것이고, 부정오류는 범법자를 못 알아보는 것이다. 미국에서 진행된 사법체계에 적용된 시스템 사례들을 검토해보면 알고리즘의 예측이 어느 정도 맞았는지, 판사보다 확실히 우월한 지에 대해서는 엇갈린 결과들이 나오고 있는 상황이다. 위에서 밝힌 프로퍼블리카의 사례는 컴파스(COMPAS)라는 위험평가 알고리즘을 비판한 것이다. 컴파스는 흑인에게 치우쳐진 긍정오류와 백인에게 치우쳐진 부정오류를 가진 불완전 알고리즘이었다.

물론, 알고리즘은 인간이 하기 힘든 의료 진단 영역을 개척하는 데 큰 도움을 주고 있다. 구글 브레인팀의 당뇨망막변증 알고리즘은 그 대표적 사례다. 안과전문의를 만나기 힘든 인도에서 환자의 45%가 이 병이 있는 줄 알지도 못한 채 시력을 상실한다. 인도 의사들과 협업해서 구글이 만든 이 알고리즘은 안과 의사만큼 정확하게 진단한다. 더 나아가, 과거 데이터로부터 치매발병 가능성을 찾아내거나 종양 치료와 향후 암 환자의 생존율을 더 정확히 예측하게 된 것은 순전히 딥러닝 알고리즘 덕분이다.

인간과 사회가 가진 문제를 해결하고자 널리 이용되는 알고리즘은 거의 대부분이 수학이 기반이 되고 있고, 이를 바탕으로 데이터를 활용하여 컴퓨터를 통해 놀라운 성과를 내왔다. 우리가 현재 이용하고 있는 거의 대부분의 시스템과 서비스가 이러한 기반 위에서 돌아간다고 해도 과언이 아닌 세상이다. 알고리즘이 대중화된 지금 다시 알고리즘의 문제가 심각하게 제기되는 것도 머신러닝 때문이다. 기계가 스스로 해법을 찾아가는 과정을 알기가 더욱 어려워졌다. 위와 같은 문제가 계속 생긴다면 과연 그 알고리즘으로 구성된 시스템과 서비스를 얼마나 신뢰할 수 있을까.

우리는, 사람은 편견을 가지고 있지만 기계는 편견이 없을 것이라고 막연하게 생각한다. 그래서인지 그 결과를 여과 없이 받아들이는 경향이 강하다. 그러나 전문가들의 설명을 듣다 보면, AI시스템도 인간의 편견에서 자유로울 수가 없다. 아니 편견을 더욱더 정교하게 학습하는 것일지도 모른다. 그래서 투펙치 교수는 회계 감사를 하는 것과 같은 알고리즘 투명성 제고 방안의 필요성을 강조한다. 알고리즘을 의심하고 검수해야 한다는 것이다. 요컨대, 기계에게 책임을 넘기면 안 된다는 점을 명확하게 제시한다.

그래서 알고리즘의 악의적 조작에 대해 사후적 개입을 하자는 것이 설명 가능한 인공지능(XAI)이다. 알고리즘을 또 다른 권력의 하나로 인식해야 하고, 자칫하면 전체주의적 통제 사회의 도구가 될 가능성도 배제해선 안 된다. 기술적 규제와 법적 규제, 윤리적 감시가 균형을 맞추는 지점을 우선 찾아야 한다.

세계적인 인공지능 전문가 해나 프라이는 자신의 저서 ‘안녕 인간“에서, 가장 뛰어난 알고리즘은 모든 단계마다 인간을 고려하는 알고리즘이라고 주장한다. 인간과 알고리즘이 서로의 강점은 활용하고 결점은 포용하는 창의적 협업을 해나가는 것이다. AI시대에도 인간이 중심에 있어야 한다는 점은 잊지 말아야 한다.

키워드 관련기사
  • [이정태의 뒤뚱뒤뚱] 로봇 자본주의와 기본소득