[매경의 창] AI가 당신을 신뢰하지 않으면

윤태성 카이스트 기술경영전문대학원 교수

머지않은 미래를 상상해보자. 당신은 인공지능(AI) 앱에 접속해 자율주행 택시를 호출하려고 한다. 먼저 AI에 당신이 인격을 가진 인간임을 증명해야 한다. AI가 당신을 인간으로 인식하고 본인임을 확인해야 첫 단계를 넘을 수 있다. 다음 단계는 신뢰다. AI가 당신을 믿지 않는다면 호출에 아예 반응하지 않는다. 수사기관에서 수배 중이거나 범죄를 저지른 상태라면 승차를 거부한다. AI가 당신을 그다지 믿지 않으면 배차 시간을 크게 늦추거나 까다로운 승차 조건을 추가해 사실상 포기하도록 유도한다. 택시가 도착해도 AI는 당신 상태를 다시 확인한다. 당신이 과도한 음주, 약물중독, 극심한 스트레스를 느끼는 상태면 문을 열어주지 않는다. 택시에 손상을 입히거나 주행을 방해할 수 있기 때문이다. 한 대의 문제가 네트워크 전체의 문제로 확산할 수 있다.

청구하는 요금은 개인마다 다르다. AI가 당신을 믿는다면 요금은 최저 금액으로 저렴하게 청구한다. 당신이 문제를 일으킬 확률이 낮고 운송 생태계를 유지하는 비용도 낮기 때문이다. AI가 당신을 믿지 않는다면 승차를 허락하더라도 요금은 최고 금액으로 높이 청구한다. 택시 서비스를 제공하는 기업은 당신에게 자율주행 택시를 사용할 권리를 판매한다. 당신은 AI가 당신을 믿는 정도만큼만 그 권리를 구매할 수 있다. AI가 당신을 얼마나 믿는지에 따라 택시뿐만 아니라 공공재 이용, 공유경제 참여, 금융 대출, 고용 등 모든 활동에 영향을 받는다. 아직은 상상이라고 말하고 싶지만 현실에서 하나씩 진행되고 있는 모습이다. 이미 대부분 플랫폼 기업과 국가는 AI를 이용해 당신을 얼마나 신뢰할 수 있을지 끊임없이 평가하고 있다.

신뢰는 일반적 신뢰와 개별적 신뢰로 나눌 수 있다. 일반적 신뢰는 도덕을 기반으로 하며 시간이 지나도 쉽게 변하지 않는다. 개별적 신뢰는 구체적인 경험에 따라 크게 달라진다. AI는 인간에 대한 일반적 신뢰와 당신에 대한 개별적 신뢰를 구분한다.

일반적 신뢰는 대부분 인간이 AI가 예측한 대로 행동할 확률을 의미한다. AI의 신뢰는 도덕이 아니다. 위험을 예측하고 비용을 최소화하려는 계산에서 비롯된다. AI가 당신에 대한 개별적 신뢰를 높이 유지한다면 이는 당신의 데이터와 행동이 일관성을 가진다는 의미다. 당신이 AI에 의도를 미리 알리고 숨김없이 데이터를 제공하며 AI가 예측한 대로 행동하면 일관성이 있다. 그러면 AI는 당신을 믿는다. AI가 생성한 답을 평가해서 AI가 학습할 수 있도록 교사 역할을 제대로 해도 당신을 믿는다.

AI가 당신을 믿지 않으면 택시 승차에 제한을 주는 식으로 당신에게 제공하는 기능을 줄이거나 서비스를 제한한다. AI는 당신에 대한 믿음을 수치화해 신뢰 지수로 표현하고 당신이 하려는 모든 활동의 판단 근거로 삼는다. AI가 신뢰를 측정하는 대상은 인간을 포함한 모든 존재다. 예를 들어 AI가 명령한 대로 앱이 실행되거나 자율주행 택시가 주행하면 하드웨어나 소프트웨어에도 높은 신뢰 지수가 부여된다.

AI의 신뢰가 생활수준을 정하는 시대는 이미 시작되었다. 사회 신용 시스템, 차량 공유 평점, 보험료 차등처럼 편리하고 안전하다는 이유로 받아들이고 있다. AI는 중립적이나 이 기술을 이용하는 기업이나 국가는 중립적이지 않다. 기업은 최대 이익을 위해 AI를 이용하고, 국가는 시민 통제를 위해 AI를 이용하면서 신뢰라는 명분으로 의도를 숨긴다. AI가 신뢰 지수를 부여하는 과정은 투명해야 하며 누구나 자신의 신뢰 지수에 이의를 제기할 수 있어야 한다. AI가 당신을 얼마나 신뢰하는지보다 당신이 어떤 사회를 신뢰하는지가 더 중요하지 않겠나.

[윤태성 카이스트 기술경영전문대학원 교수]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]