베이즈 정리, 인공지능의 초석을 놓다 [생활 속, 수학의 정석]

통계학에서의 중요 이론인 '베이즈 정리'. BBC

생성형 인공지능(AI)의 시대다. 사람의 입력 정보에 따라 신경망이 그림도, 음악도 만든다. 입력된 문장을 다른 언어로 번역하여 새 문장을 만들기도 한다. 신경망이 사람이 입력한 단순 정보를 바탕으로 복잡한 결과를 창작해 낸다. 이때 새 결과를 창작하기 위해 필요한 신경망이 생성형 신경망이다.

신경망의 기능은 두 가지다. 학습과 생성이다. 학습은 데이터에 포함된 정보를 축약하는 기능이고, 생성은 데이터로 학습하지 않은 새로운 결과를 만들어 내는 기능이다. 생성형 신경망에는 학습기능과 생성기능이 결합되어 있다. 신경망에서의 학습과 생성기능 결합에 필요한 원리가 '베이즈 정리'다.

이 정리는 1763년 영국 장로회 신학자, 토머스 베이즈(Thomas Bayes)가 발표했다. 조건변수가 'θ'이고, 분포변수가 'y'인 조건부분포 p(yΙθ)가 있을 때, 조건변수와 분포변수를 바꾸면 다음의 새로운 조건부분포 p(θΙy)를 구할 수 있다.

p(θΙy)= p(θ)p (yΙθ)/p(y)

보통 이 식을 베이즈 정리라고 말한다. 수식 자체는 어렵지 않고, 중고등학생도 이해할 수 있다.

그러나 정리의 의미를 이해하려면 확률과 통계에 대한 조금 더 깊은 사고가 필요하다. 베이즈 정리에서 변수 y는 관찰로부터 얻은 값을 의미하고, 모수 θ는 관찰값이 생성된 원인을 설명하는 값, 즉 모집단의 특성값이다. 사람들이 관찰을 하는 목적은 관심 대상이 되는 모수 θ를 알고 싶기 때문이다. 관찰값 y는 이중적 성격을 갖는다. 관찰 이전에는 확률적 성격을 갖지만, 관찰 이후에는 확률적 성격은 사라지고 데이터로서의 성질만 갖는다. 베이즈 정리에서의 y는 이미 관찰된 값, 즉 데이터를 의미한다. 보통의 경우라면 관찰된 값 y를 확률적으로 해석하는 것은 난센스이고, p(yΙθ)를 확률 개념으로 해석할 수 없다. 베이즈 정리는 관찰값 y가 주어진 경우, 관심대상인 θ에 사전확률 p(θ)를 부여하여 수학적 방법으로 사후확률 p(θΙy)를 구하는 방법을 의미한다.

베이즈는 평생 3편의 논문을 발표했다. 신의 섭리에 대한 신학논문, 미분법에 대한 수학논문 그리고 확률론에 대한 논문이다. 베이즈 정리는 사후 2년 후인 1763년 발표된 확률론 논문에 등장한다. 베이즈가 신학자란 점에서 θ와 y를 신학적 개념과 연결하여, θ는 신의 섭리이며 y는 관찰되는 세상 모습이라는 설명도 있다. 신학자가 만든 정리가 인공지능의 초석을 놓은 것이다.

이윤동 서강대 경영학부 교수(통계학)