요즘 유행하는 AI 면접의 실체 (feat. 마이다스아이티)
이전에 ”채용 인적성 검사의 비밀”이라는 글을 쓴 적이 있다. 사실 이건 전통적인 인성검사에 대한 이야기다.
이제 채용 시장에서는 AI 면접이 인기다. 그런데 사람들이 이 ✌AI 면접✌라는 단어를 사용하는 걸 보면 애초에 개념에 대한 오해가 좀 있는 것 같기도 하고, 정작 그 원리를 모른 채 용어만 남발하는 경우가 많은 것 같다.
유튜브에는 “AI 면접 완벽 분석!”이라면서 말도 안 되는 얘기들이 넘쳐나고 있고, AI면접이라는 용어나 기술만 앞세워 어이없는 채용 솔루션을 내놓는 회사들의 이야기도 들려오길래…
나도 (비록 그리 길지 않은 경력이지만) 채용 인성검사도 개발해보고, 머신러닝 알고리즘도 적용해 본 입장에서 대체 이 AI 면접이 무엇이고 어떤 원리인지, 어떤 문제점이나 한계가 있는지에 대한 주관적인 의견을 좀 남겨봐야겠다.
그리고 본 포스팅에서는 현재 AI 면접이라는 형태의 채용 솔루션 시장을 선도하고 있는 마이다스아이티의 솔루션을 중심으로 설명을 할 수밖에 없을 것 같다.
참고로 이 마이다스아이티 솔루션의 정식 명칭은 ‘AI 면접’이 아니라 ‘AI 역량 검사’다. 그거나 그거나. 본 포스팅에서는 그냥 AI 면접이라 부르겠다.
대체 AI 면접이 무엇인가
애초에 AI 면접이라는 단어에 합의된 정의 같은 건 없다. 인공지능 면접? 결국엔 사람(자연인)이 아닌 인공지능이 그동안 채용 장면에서 이루어진 면접을 대신 본다는 얘기인데… 이런 표현은 너무 광범위하니 사람들이 헷갈려하는 개념을 가지고 다시 설명할 필요가 있다.
개념 정리 1. 전통적인 인적성 검사 vs 게임 기반 인적성 검사
마이다스아이티 AI 면접 솔루션에 대한 설명을 보면 “게임”을 가지고 지원자의 무언가를 파악한다는 얘기가 나온다. 그런데 이렇게 게임으로 인적성검사를 보는 게 AI 면접일까? 아니다. 이건 그냥 게임일 뿐이다. Gamifiacion(게이미피케이션)은 일종의 과제를 게임의 형태로 만들어서 제시하는 것이기 때문에 인공지능은 Gamificition과 본질적으로 관계가 없다.
전통적인 설문지 방식의 인성 검사나 시험 문제 푸는 것 같은 적성 검사 방식을 탈피하기 위해 이런 전략을 사용하는 거다. 게임을 수행하는 장면에서 그 사람의 성격이나 능력이 드러난다는 가정, 그리고 이를 뒷받침하는 연구 결과가 있기 때문이다.
개인적으로 Gamification은 매우 훌륭한 시험 방식이고 마이다스아이티도 (일단 겉에서 보기에는) 정말 잘 구현했다고 생각한다. 개발하기 위해 얼마나 많은 땀과 눈물이 들어갔을지… 개발에 참여한 사람들에게 박수를 보내주고 싶다.
다만 개인적으로 좀 거슬리는(?) 부분이 있는데…
자꾸 “뇌신경과학”이라는 표현을 강조한다.
전전두엽(Prefrontal Cortex) 어쩌구 강조하는데… 아니 전전두엽이 인간의 인지 및 사고에 있어서 굉장히 고급의 역할을 담당하고 정보를 처리를 하는 역할을 하는 영역인 것은 알겠는데……
그게 검사, 게임이랑 무슨 상관인지 모르겠다. 좀 당황스럽다. 실제로 뇌를 스캔하는 것도 아니고. 차라리 AI면접 솔루션에 있는 게임보다 스타크래프트나 롤 같은 게임을 할 때 전전두엽은 오히려 더 활성화될 거다.
아무튼 뇌신경과학과 전전두엽이라는 표현을 자꾸 전면에 내세우는 건 그런 용어와 전문지식에 무지한 사람들에게 어필하기 위한 마케팅 용어에 지나지 않는다는 게 내 결론이다. 그리고 이건 AI와는 전혀 다른 얘기이니 이에 대한 오해도 없어야 하고.
개념 정리 2. AI 기술을 활용한다 vs AI로 지원자의 미래 성과를 예측한다
마이다스아이티의 채용 솔루션은 지원자의 성격이나 능력을 측정할 때 일부 AI 기술을 활용하기도 하지만, AI 알고리즘을 바탕으로 이 사람이 회사에 입사했을 때 고성과자일지 저성과자일지를 예측하기도 한다.
어디까지가 AI 면접이냐고 묻는다면 그건 나도 모르겠다. 그러니 일단 둘 다 살펴보자.
(1) AI 기술을 활용한다
뭐 예를 들면 마이크에 대고 지원자가 대답한 음성 정보를 텍스트로 바꿔주는 speech-to-text, 지원자의 표정을 보고 감정이나 정서를 예측하는 것도 대표적인 AI 기술이다. 아마존이나 구글 같은 곳에서 이미 API 형태로 다 제공하고 있는 서비스이고, 유명한 오픈소스도 많이 있다. 이제는 누구나 쉽게 가져다 쓸 수 있는 기술이라 마이다스아이티도 아마 이런 곳에서 제공하는 API를 사용하거나 그걸 자체적으로 고도화하지 않았을까 싶다.
어쨌든 이런 건 말 그대로 기술일 뿐이다.
그런데 표정을 가지고 감정, 정서를 예측하는 건 좀 논란의 여지가 있다. 애초에 연기를 하면 어쩔 셈인가. 예를 들어 fake smile과 genuine smile을 구분할 수 있을까? 아니면 만약 얼굴에 화상을 입었거나 신경적인 손상으로 인해 안면 근육이 제대로 움직이지 않는 사람이 지원한다면?
그리고 마이다스아이티에서는 얼굴 색상 변화를 통해서도 뭔가 정보를 추출한다고 하는데, 애초에 파운데이션 덕지덕지 바르고 하면 안 보이지 않을까? 이건 좀 억지인가? 아무튼.
그리고 음성 정보를 텍스트로 바꿔주는 기술에도 사실 논란의 여지가 있다. 물론 어떻게 활용하는지에 따라 다르긴 하겠으나…
할 말이 많지만 얘기가 너무 깊어질 수도 있으니 일단 넘어가자. 이것보다도 더 중요하게 생각해볼 문제가 있으니까.
(2) AI로 지원자의 미래 성과를 예측한다
마이다스아이티 채용 솔루션 홈페이지 FAQ에 보면 이런 내용이 있다.
- “AI 역량검사에 적용된 인공지능 데이터 학습 절차와 방법을 알고 싶습니다”
- “인공지능이 AI 역량검사를 통해 어떤 데이터를 학습하며, 이렇게 학습된 데이터는 실제로 지원자 분석에 어떻게 활용되는지 궁금합니다.”
- “AI 역량검사의 정확도와 타당도는 신뢰할 수 있는 수준인가요? 그리고 정확도 및 타당도 판단 기준과 이를 뒷받침할 실제 통계 수치가 궁금합니다”
6800명의 재직자 데이터를 통해 학습했다고 한다. 이 사람들은 고성과자, 혹은 저성과자로 이미 분류가 되어 있는 셈이다. 그리고 이 재직자들에게 실제 지원자들이 하게 될 AI 면접을 미리 시켜보는 거다. 그러면 AI 면접에서 수집된 데이터를 가지고 고성과자 혹은 저성과자로 분류하는 일종의 “분류기”를 생성할 수 있게 된다.
애초에 6800명이나 모았다는 것도 꽤 굉장한 인원수고, 어떻게 보면 꽤 그럴싸하지만… 난 이게 과연 합리적인지, 윤리적인지, 상식적인지에 대해 의문을 제기하고 싶다. 분류 알고리즘은 스팸 메일 필터링 할 때 쓰는 거 아닌가.
성과 평가의 객관성과 공정성, 머신러닝 알고리즘이 학습하는 인간의 편향(bias)
일단 AI가 성과를 잘 예측하려면 애초에 학습시킨 데이터, 즉 회사에서 이루어진 성과 평가가 얼마나 객관적이고 공정한가에 대한 근본적인 질문에 답을 할 수 있어야 한다. 그럴 수도 있고 아닐 수도 있다. 난 모르겠다.
그리고 머신러닝 알고리즘은 애초에 인간의 편향을 답습하는 게 본질이라 봐도 된다. 성과 평가에는 엄청나게 많은 인간의 편향이 들어가 있고, AI는 어떤 식으로든 그 편향을 찾아내서 학습한다.
- 세계적인 공룡 기업 아마존도 본인들의 실패를 깔끔하게 인정하고 공개했다.
성차별: 아마존, ‘여성차별’ 논란 인공지능 채용 프로그램 폐기 (BBC) - 물론 IBM 같은 경우는 해결한 것처럼 포장하고 있다.
IBM “AI 편향성, 이제 걱정 마세요”
이것도 사실 해결은 아니다. 편향된 결과가 어디서 나타났는지 발견하도록 더 디테일하게 모니터링하는 과정을 만든 것일 뿐.
어쨌든 머신러닝은 편향 학습이다. 마이다스아이티는 심지어 캠코더를 통해 녹화된 지원자의 외모와 목소리를 분석하기 위해 “국내 면접 전문가의 촉과 감”을 학습시켰다고 했다. 촉과 감?!
그리고 이건 마이다스아이티만의 이야기가 아니다. 어떤 국내 대기업 계열사에서도 이런 영상/음성 정보를 가지고 AI 기술을 적용하기 위해 나름 경력이 오래된 HR, 인사 분야 전문가에게 영상을 보여주고 이 사람이 우수한 사람인지 아닌지 평가를 하도록 해서 그 정보를 학습시켰다는 얘기를 들었다. 처음 듣고 사실 좀 놀랐다. 그냥 그 경력이 좀 오래된 꼰대의 감을 믿겠다는 게 아닐까.
“내가 사람 한 두 번 뽑나? 보면 알지. 사교성 좋아 보이네.”
오히려 이런 방식은 몇십 년 전에 이루어졌다고 말로만 듣던 “관상 면접”으로 역행하는 느낌이다.
좀 재밌고 우스운 사실은 이런 AI 면접 솔루션이 오히려 면접관의 편향을 방지하는 데에 효과적이라는 점을 강조하고 있다는 거다. 사람은 믿을 게 못 된다면서 사람의 편향을 답습한 AI를 믿는 꼴이 되어버리는 건 아닐까.
AI 면접이 지원자의 성과를 예측하는 합리적인 솔루션으로 인정을 받으려면
사실 마이다스아이티가 6000명 넘게 데이터를 모은 것도 대단한 거다. 애초에 공격적으로 마케팅을 하기도 했고, 서비스 초기에는 무료로 막 베타 서비스처럼 뿌려서 데이터를 수집했을 수도 있다.
앞으로 더 많은 데이터를 모으겠지만 데이터가 더 많아진다고 더 좋은 솔루션이 될 수 있을지는 잘 모르겠다.
AI 면접이 사회적으로 받아들여질 수 있으려면 아래의 근원적인 문제를 해결할 수 있어야 한다고 생각한다.
- 회사에서 이루어지는 성과 평가에 내재된 ‘편향’을 근본적으로 해결할 수 있어야 한다.
- AI 면접 전형에서 탈락한 사람에게 왜 탈락했는지 합리적인 근거를 가지고 설명할 수 있어야 한다.
- 회사 재직자들도 지원자처럼 직접 그 AI 면접을 경험 했을 때 나온 결과를 수긍할 수 있어야 한다.
물론 현재는 보조적인 도구로 사용하고 있고, 결국 다시 면접을 보고 최종 결정을 내리는 게 대세다. 그 결과를 가지고 곧바로 채용을 하겠다고 의사결정을 하진 않으니까. 게다가 많은 지원자들에게 기회를 더 제공한다는 점에 있어서 긍정적인 효과도 분명히 있다. 어쨌든 뭔가 더 해볼 수 있는 절차를 하나 더 마련해주는 거니까.
그런데 기업 입장에서는 AI 면접은 지원자가 많을 때 후보자 수를 줄이기 위해 사용하기에 너무나 편리한 도구다. 곧바로 탈락시키는 데에는 이만한 도구가 없다. 즉, 악용될 소지가 너무 많다. 왜 떨어뜨리는지 본인들도 잘 모르면서 “AI가 공정한 기준을 적용했다”는 변명을 앞세워 아무나 떨어뜨릴 수 있으니까. 이게 나의 가장 큰 우려다.
공정한 시스템이 있을 거라고 믿게 만드는 시스템
넷플릭스에서 〈오렌지 이즈 더 뉴 블랙〉이라는 시리즈를 보다가 채용 시스템의 허와 실을 적나라하게 보여주는 대화가 있어서 가져와 봤다. 이걸로 포스팅을 마쳐야겠다.
- A : 합격자 발표가 났다고 들었어요. 저도 시험지 봤는데, 그거 어떻게 생각해낸 거죠? 새로운 평가 기술인가요?
- B : 인터넷에서 찾은 건데 그냥 성격 파악하는 퀴즈 같은 거예요. 사실 저도 자세히는 몰라요. 그냥 40명을 무작위로 뽑아서 발표했는데, 그게 ‘합격자’처럼 됐죠.
- A : 무작위 선별이 그 쪽 체계인가요?
- B : 체계가 있다고 믿게 만드는 게 체계죠. 그래야 떨어져도 우리를 원망하지 않고 능력이 부족한 자신을 탓하죠. 이 방법 많이 썼는데 성공적이었어요.