다른 많은 의약품처럼 프로비질이라는 이름으로 팔리는 각성제 모다피닐 안에도 작게 접힌 설명서가 들어있습니다. 대부분의 내용은 흔한 진정제처럼 사용법과 주의점, 약의 분자구조에 관한 것입니다. 그러나 “작용 기전” 칸에는 잠이 확 달아나게 할 만한 문장이 한 문장이 들어 있습니다. 그것은 바로 “모다피닐이 어떻게 각성 작용을 하는지는 알려져 있지 않다”는 말입니다.
프로비질만 그런 것이 아닙니다. 허가를 받고 널리 사용되는 약들 중에도 그 약이 정확히 우리 몸 속에서 어떻게 작용하는지 우리가 알지 못하는 약들이 많이 있습니다. 이는 그 약들이 시행착오(trial-and-error)를 통해 주로 발견되기 때문입니다. 매년 새로운 약품이 임상시험을 거치고 그 중 가장 효과가 좋은 약이 선택됩니다. 때로는 새로 발견된 약이 새로운 연구분야를 만들어내고 자신의 작용기전이 이를 통해 밝혀지는 경우도 있습니다. 물론 늘 그런 것은 아니지요. 아스피린은 1897년에 발견되었지만, 1995년에야 우리는 아스피린이 어떻게 우리 몸 속에서 작동하는지를 이해하게 되었습니다. 의학에는 이런 예가 많습니다. 뇌심부자극술(DBS)은 전극을 뇌속에 삽입하는 기술로 파킨슨 병처럼 특정한 움직임에 장애가 있는 이들에게 20년 이상 사용되어 왔으며 어떤 이들은 이 시술이 인지능력 강화에도 유용하리라 생각합니다. 하지만 누구도 그 이유는 알지 못합니다.
지식에 대한 이러한 접근법, 곧 답을 먼저 찾고 설명은 나중에 찾는 방식을 나는 지적 부채(intellectual debt)라 부릅니다. 어떤 것이 왜 작동하는지 모르는 상태로 언젠가는 그 원리를 알 수 있을 것이라 생각하며 실제로 이를 사용하는 것도 물론 가능합니다. 때로 우리는 이 지적 부채를 쉽게 갚을 수 있습니다. 하지만 수십년 동안 이 기술에 의존하고 다른 분야에까지 적용하면서도 그 원리를 충분히 알지 못한 상태로 사용하는 경우도 있습니다.
—–
과거에는 이 지적 부채가 시행착오로 지식을 쌓는, 의학과 같은 몇몇 분야에만 존재했습니다. 하지만 인공지능, 특히 기계학습 분야의 부흥은 인류가 가진 지적부채의 양을 크게 늘이고 있습니다. 기계학습은 많은 양의 데이터 속에서 패턴을 찾는 방식으로 이루어집니다. 이러한 패턴을 통해 명확하지 않은 문제의 답을 찾습니다. 신경망에 고양이의 사진과 다른 여러 사진을 입력하고 고양이를 구별하게 만들 수 있습니다. 수많은 의료기록으로부터 새로 입원한 환자가 사망할 확률을 계산하게 만들 수 있습니다. 문제는, 이 대부분의 기계학습 시스템이 인과의 관점에서 미지에 쌓여있다는 것입니다. 이 기술은 통계적으로 상관관계를 찾을 뿐입니다. 이 시스템은 우리가 생각하는 방식으로 “생각”하지 못하며, 그래서 특정 환자가 왜 죽을 확률이 높은지에 대해서는 답하지 못합니다. 우리가 이 시스템을 우리 삶에서 활용할 때 우리는 지적 부채를 계속 쌓아가는 것입니다.
인류가 의약 분야에서 이론적 뒷받침 없이도 이룬 발전을 생각해보면, 이런 지적 부채는 어쩔 수 없는 것처럼 보이기도 합니다. 아직 이해하지 못하는 치료 방식을 적용하면서 우리는 수백만의 생명을 구할 수 있었습니다. 그 약이 어떻게 작동하는지 모른다는 이유로, 생명을 구할 수 있는 약 – 아니면 아스피린이라고 해도 – 을 거부할 이는 거의 없을 것입니다. 하지만 이런 지적 부채가 누적될 때 문제는 커집니다. 작용 기전을 알지 못하는 약이 늘어날수록 새로운 약이 기존의 약과 함께 사용될 때 어떤 부작용을 일으킬 수 있는지를 밝히기 위해 필요한 테스트의 수는 기하급수적으로 증가합니다. (만약 모든 약의 작용 방식이 알려져 있다면 두 약을 같이 쓸 때 어떤 일이 일어나는지를 우리는 이론적으로 예측할 수 있을 것입니다.) 때문에 현실에서는 새로운 약이 시장에 판매된 후에야 다른 약과 함께 쓰였을 때 부작용이 있다는 사실이 밝혀지며, 이렇게 새로운 약이 등장하고 집단소송이 발생하며 약이 취소되는 일이 흔하게 일어나게 됩니다. 곧, 하나하나의 약에 대해서는 지적 부채를 쌓는 일이 합리적인 판단일 수 있지만, 이 지적 부채가 독립적으로 작용하지 않는다는 뜻입니다. 이론이 없는 답이 여러 분야에서 적용될 때, 이들의 조합은 예상치 못한 결과를 낳을 수 있습니다.
기계 학습에 의한 지적 부채는 기존의 시행착오 방식에 의한 지적 부채보다 더 위험합니다. 이는 대부분의 기계 학습 모델이 그러한 판단결과에 대한 이유를 제시하지 않기 때문이며, 또 이 기술을 사용하지 않는 이가 다른 독립적인 판단 기준을 가지고 있지 않다면 그 기계 학습 모델이 잘못 작동하고 있다는 사실을 어떤 방식으로도 알 수 없기 때문입니다. 잘 훈련된 시스템이 잘못 작동할 가능성은 크지 않습니다. 하지만 그 시스템이 어떤 데이터를 바탕으로 훈련되었는지를 잘 아는 누군가가 이를 조작할 수 있습니다.
이미지 인식의 문제를 생각해봅시다. 10년 전, 컴퓨터는 사진 속의 물체를 쉽게 인식하지 못했습니다. 오늘날 우리는 일상에서 매우 뛰어난 기계학습모델 기반의 이미지 검색 엔진을 사용하고 있습니다. 구글의 이미지 검색은 인셉션(Inception)이라 불리는 신경망을 사용합니다. 2017년, MIT 의 학부생과 대학원생으로 이루어진 랩식스 팀은 고양이 사진의 픽셀 몇개를 바꾸어 사람 눈에는 여전히 고양이로 보이지만 인셉션은 99.99 퍼센트의 확률로 과카몰리 사진으로 판단하는 사진을 만들었습니다. (그 사진이 브로콜리, 모르타르일 확률도 아주 조금 있었습니다.) 물론 인셉션 신경망은 자신이 어떤 고양이 사진을 왜 고양이 사진으로 판단하는지 말할 수 없으며, 때문에 특정한 조작이 가해진 이미지에 대해 인셉션이 잘못된 판단을 내릴지를 예측하는 것도 불가능합니다. 곧 이런 시스템은 일반적으로 알려진 정확도에 비해 의도적인, 훈련된 공격자에 대해서는 매우 쉽게 뚫리는 단점을 가질 수 밖에 없습니다.
기계학습 시스템에 의해 만들어진 지식이 널리 사용될수록, 이런 종류의 단점은 필연적으로 발생하게 됩니다. 의료분야에서 사진 속 피부암이 악성인지 양성인지를 판단하는 인공지능은 매우 성공적인 기술입니다. 하지만 하버드 의대와 MIT 의 연구진이 올해 발표한 논문에서 이들은 앞서 고양이를 과카몰리로 판단하게 만든 것과 같은 방식으로 이 인공지능을 속일 수 있음을 보였습니다. (즉, 보험금을 노리는 이들이 이런 방식의 공격을 할 수 있습니다.) 기계학습이 보여주는 놀라운 정확도는 우리로 하여금 인간의 판단보다 이들을 더 믿음직스럽게 여기게 만듭니다. 하지만 이들은 이런 조작에 취약하며, 우리는 이 시스템의 실수를 확인할 수 있는 다른 쉬운 방법을 가질 수 없다는 문제가 있습니다.
이 지적 부채에 대해 대차대조표, 곧 우리가 어떤 영역에 이런 이론 없는 지식을 사용하는지를 추적하는 시스템을 만들 수 있을까요? 이 대차대조표에는 모든 지적 부채가 똑같은 수준의 문제가 아니라는 사실을 고려할 수 있을 것입니다. 어떤 인공지능이 만약 새로운 피자 레서피를 만든다면, 우리는 그냥 그 피자를 맛있게 먹으면 됩니다. 그러나 우리가 인공지능으로 하여금 건강에 관한 예측을 하거나 치료법을 추천하게 만들 경우, 우리는 이와 관련된 모든 정보를 알아야 합니다.
사회적 차원의 지적 부채 대차대조표를 만들고 유지하기 위해서는 기업비밀과 특허를 보다 정교하게 다룰 수 있어야 합니다. 도시의 경우 건축법은 건물주가 자신의 건물을 리노베이션 할 때 그 계획을 공개하도록 요구합니다. 같은 방식으로, 우리는 공적인 용도에 사용되는 데이터와 알고리즘을 도서관이나 학교와 같은 기관에 제3자 예탁 등의 방식으로 맡기게 만들 수 있습니다. 이를 통해 연구자들은 우리가 의존하는 모델과 데이터를 확인하고, 이론을 만들며, 그 지적 부채가 오류나 취약성으로 드러나기 전에 이를 해결하게 만들 수 있습니다.
기계 학습 모델이 사회 여러 분야에 널리 사용되면서, 또 누구나 이를 쉽게 만들 수 있게 되면서 이를 관리하는 것은 더욱 어려운 일이 되고 있습니다. 하지만 이는 꼭 필요한 일입니다. 기계 학습 모델은 하나씩만 사용될때는 정답을 알려주는 블랙박스처럼 매우 유용한 도구가 될 수 있습니다. 하지만 이들은 독립적으로 사용되지 않습니다. 인공지능이 세상의 데이터들을 알아서 수집할 때, 이들은 다른 인공지능이 만들어낸 데이터를 수집하게 됩니다. 이는 작용기전을 알지 못하는 약이 다른 약과 상호작용하면서 문제를 만드는 것과 같습니다.
아주 단순한 알고리즘 끼리의 상호작용도 문제가 될 수 있습니다. 2011년, 생물학자 마이클 아아젠은 자신의 학생들로부터 별로 중요하지 않은 중고 서적인 “파리의 탄생: 동물 설계의 유전학”이 아마존에서 가장 싼 책이 170만 달러(약 19억원)에 배송료 3.99달러를 붙여 판매되고 있다는 것을 들었습니다. 이 책을 두 번째로 싸게 판매하는 다른 판매상은 210만 달러(약 23억원)에 팔고 있었습니다. 이 판매상들은 수천 건의 좋은 평가를 가진 훌륭한 판매상이었습니다. 아이젠은 며칠 동안 이 책의 가격을 계속 추적하였고, 가격 변화의 패턴으로부터 이 책의 가격이 왜 이렇게 높아졌는 지를 알아냈습니다. 첫번째 판매상은 늘 두번째 판매상이 올리는 가격의 99.83%를 책의 가격으로 설정하고 있었습니다. 반면, 두번째 판매상은 매일 첫번째 판매상이 올리는 가격의 127.059%를 책의 가격으로 설정했습니다. 아이젠은 첫번째 판매상은 이 책을 실제로 가지고 있으며, 따라서 항상 가장 최저가를 유지하기 위해 이런 전략을 사용하는 것으로, 그리고 두 번째 판매상은 이 책을 가지고 있지 않기 때문에 주문이 들어올 경우 첫번째 판매상이 파는 책을 구입해 그 책을 보내주기 위해 이런 가격정책을 가지고 있는 것으로 추측했습니다.
두 판매상의 가격 정책은 합리적입니다. 문제는 그들의 알고리즘이 상호작용하면서 이런 황당한 일이 일어났다는 것입니다. 수천 종류의 기계 학습 모델이 이 세상에서 서로 상호작용할 경우 어떤 일이 벌어질 것인지를 예측하는 것은 매우 어려운 일일 것입니다. 최첨단 기계 학습 모델이 이미 사용되고 있는 금융 시장에서는 이미 그런 문제가 발생하고 있습니다. 2010년, 단 36분 동안 발생한 “플래쉬 크래쉬”는 알고리즘 투자의 결과였고 미국의 주요 지수에서 수조달러가 사라졌습니다. 지난해 가을, J.P. 모건의 애널리스트인 마르코 콜라노비치는 자동화된 트레이딩이 계속 증가하고 있으며 언제든지 이런 크래쉬가 다시 일어날 수 있다고 주장했습니다. 지적 부채는 시스템이 서로 엮이는 영역에서 문제가 될 수 있습니다. 특정한 지적 부채가 어떤 문제를 일으킬지를 전혀 예측할 수 없다는 것 또한 이 부채가 금융의 부채와 유사한 점입니다.
—–
지적 부채의 증가는 우리의 사고 방식에도 우리가 기초 과학보다 응용 기술에 더 관심을 가지게 하는 식으로 영향을 줍니다. 예를 들어 여러 선진국과 학계가 힘을 모아야 하는 입자 가속기와 달리, 기계 학습 도구는 민간 분야에서도 쉽게 사용할 수 있습니다. 사실 유용한 예측이 가능한 종류의 데이터에는 구글이나 페이스북이 학계보다 훨씬 쉽게 접근할 수 있습니다. 기업은 이런 설명이 불가능한 지식에 충분히 만족할 것이며, 지적 부채는 계속 쌓여가게 됩니다. 곧, 지적 부채를 갚는데 관심이 있을 학계에 비해 지적 부채를 쌓는 일이 훨씬 더 앞서나가게 됩니다.
이런 기계 학습 기반의 지식을 쓸 수 있느냐의 문제에 있어 고지식한 방법을 고집하는 학자들이 연구비를 얻기 어렵게 될 가능성은 쉽게 상상할 수 있습니다. 지난해 12월, 단백질 접힘 문제를 연구하는 모함메드 알쿠라이시는 최근 그의 분야가 이룬 발전에 대한 글을 한 편 썼습니다. 바로, 단백질 접힘 문제에 있어 기계 학습 모델이 인간 연구자보다 훨씬 더 정확하게 예측한다는 것입니다. 알큐라이시는 그런 현실을 이해하려 노력하면서도 동시에 이론의 부재를 한탄했습니다. 그는 인터뷰에서 “새로운 분석적 통찰을 알려주는 개념적인 논문을 사람들은 인정하지 않는다”라고 말했습니다. 기계가 발견 속도를 높일수록, 사람들은 이론을 추구하는 학자들을 시대에 뒤떨어진 불필요한 존재로 보게될 것입니다. 특정한 분야에 대한 지식은 그 문제에 대해 답을 바로 알려주는 기계 학습 모델을 만드는 실력에 비해 덜 중요한 것으로 여겨지게 될 것입니다.
금융에서 부채는 채무자에게서 채권자에게로, 그리고 미래로부터 과거로 권력을 이양합니다. 지적 부채 또한 마찬가지입니다. 이해가 없는 지식으로 가득찬 세상은 인과를 구별할 수 없는 세상으로 바뀔 것이며, 우리는 우리의 디지털 비서가 시키는 대로 행하는 존재가 될 것입니다. 대학이 입학 사정관으로 하여금 두꺼운 지원서류를 뒤적이게 하는 대신 기계 학습 모델에 모든 판단을 넘기게 될 수 있으리라는 것은 쉽게 상상할 수 있습니다. 그 기계 학습 모델은 신입생 집단의 학문적 성공 뿐 아니라 학창시절 동안 조화로운 인간관계를 맺고, 졸업 후에는 대학에 큰 기부를 할 수 있는 이들을 학생으로 뽑을 것입니다. 이런 세상에서 원하는 대학에 들어가기 위해서는 학생들 또한 자신만의 인공지능 알고리즘을, 곧 자신의 소셜 미디어 프로필을 그 대학의 학생선발 알고리즘이 가장 선호할 형태로 만들어주는 신경망을 만들어내야 할 것입니다.
아마 이 모든 기술이 처음에는 잘 작동할 것이고, 그러다 어느날 문제가 발생할 것입니다. 오늘날 인공 지능에 대한 적절한 비판의 대부분은 이 인공지능이 제대로 작동하지 않는 경우를 문제삼고 있습니다. 곧, 인공지능은 기존의 편견을 답습하거나 새로 만들 수 있으며, 실수를 할 수 있으며, 악한 존재가 될 수 있다는 것입니다. 하지만 우리는 인공지능이 모든 것을 제대로 해낼 때 과연 세상은 어떤 모습이 될지에 대해서도 준비해야 합니다.
-뉴요커, Jonathan Zittrain
출처: 뉴스페퍼민트