구글 제미나이의 대단한 속임수

이럴 때는 현실과 현실이 충돌하는 것 같은 기분이 들지 않을 수 없다.

한쪽에는 연례 개발자 행사인 구글 I/O에서 밝힌 구글의 미래 비전이 있다. 구글은 거의 두 시간 동안 제미나이 생성형 AI 비서가 웹에서 훨씬 더 복잡한 질문에도 답변하고 사용자를 대신해 물건을 사고 예약을 완료하는 등 지금 하고 있는 모든 제미나이 작업을 더 빠르고 더 잘 수행하는 방법을 설명했다. 구글만이 아니다. 불과 하루 전에 마이크로소프트는 빌드 행사에서 코파일럿이 곧 ‘기업의 두뇌’ 역할을 하고, 사용자가 입력하는 대로 ‘아이디어를 제안’하고, 심지어 사용자를 대신해 법률 계약서도 작성할 수도 있다고 밝혔다.

오픈AI도 마찬가지로 초현실적으로 보이는 현실을 그리고 있는데, 솔직히 요즘은 모든 IT 업체가 그렇다. 이들 업체의 말을 곧이곧대로 믿는다면, 우리는 인공지능이 삶을 바꿀 획기적인 발전을 목전에 두고 있는 시대에 살고 있는 것이다.

더욱 놀라운 점은 이 모든 것이 이미 수개월 동안 이런 종류의 시스템이 약속했던 것에서 크게 발전하지 않았다는 것이다. 그리고 이는 여전히 일을 올바르게 처리하고자 하는 사람 모두에게 책임만 커졌다는 것을 의미한다.

생성형 AI의 커튼 뒤에 숨겨진 비밀

잠시 뒤로 물러나서 이런 모든 생성형 AI 도구가 실제로 어떤 것이고, 어떤 것이 아닌지 이야기해 보겠다.

여기서 진짜 문제는 이런 유형의 기술이 전혀 유효하지 않거나 유용하지 않다는 것이 아니다. 단지 거의 모든 IT 업체가 개인 및 직장 생활에서 처리할 수 있다고 숨 가쁘게 말하는 것을 수행하도록 설계되지 않았거나 현재 수행할 수 있는 능력이 없다는 것이다.

제미나이, 챗GPT 및 기타 이런 시스템은 LLM이라는 기술을 기반으로 한다는 것이 핵심이다. 간단히 설명하자면, LLM은 방대한 양의 실제 언어 데이터를 살펴본 다음 이를 사용해 패턴을 학습하고 주어진 프롬프트에 대한 응답으로 가장 가능성이 높은 다음 단어를 예측한다.

다시 말해, LLM은 문맥을 정말로 이해하지 않으며, 인간과 같은 방식으로 답변을 ‘생각’하지 않는다. 단지 사람이 만든 방대한 데이터 세트에서 관찰된 패턴을 기반으로 단어를 예측하고 그 단어들을 연결해 문장을 만들고, 최종적으로 전체 문단과 문서를 만든다.

어쨌든 이들 업체는 가능한 모든 곳에 온통 이 기술을 붙이고는 모든 목적에 대한 최종적인 해답으로 제시하고 있다. 구글도 단순 검색의 대체부터 지메일과 구글 문서도구의 글쓰기 대체 등 모든 곳에 적용한다. 이런 상황은 다른 곳에서는 더 극단적인데, 재앙을 불러올 수 있는 법률 문서까지 만들 수 있다는 마이크로소프트가 대표적인 예다.

그리고 이것이 얼마나 위험한 상황을 초래할 수 있는지 이론적인 사례에 의존할 필요도 없다.

인공지능, 진정한 위험

이런 시스템의 한계는 너무도 현실적인 시나리오를 통해 꽤 오랫동안 반복적으로 현실로 드러나고 있으며, 이는 과대광고에 현혹된 기업이나 개인에게 심각한 경각심을 불러일으킬 만한 것이다.

단순하고 간단하게 말하자면, 이런 시스템은 자신이 무슨 말을 하는지 모른다. 때로는 말이 되지만 오류와 심지어는 완전히 조작된 말도 안 되는 내용을 포함할 가능성이 매우 높다. 그들이 무언가를 맞추는 경우는 대부분 우연에 의한 것이다. 그리고 사용자는 그 차이를 즉시 감지할 방법이 없다.

제미나이를 비롯한 다른 모든 유사한 시스템에 영향을 미치는 근본적인 한계는 생성형 AI 환경 전반에 걸쳐 있다.

• - 지난 주, 기업 환경에서 인기를 끌고 있는 생성형 AI 챗봇 클로드의 개발사 앤트로픽은 자사의 시스템이 법원에서 사과를 해야만 했는데, 자사 변호사가 저작권 소송의 일부로 사용한 법적 인용문이 완전히 만들어 낸 것이라는 사실을 알게 됐기 때문이다.
• - 며칠 전 캘리포니아의 한 판사는 AI의 도움으로 작성된 것으로 보이는 제출 서류에서 “수많은 허위, 부정확하고 오해의 소지가 있는 법적 인용과 인용문”을 발견했다.
• - 지난달에는 AI ‘지원 에이전트’에 의존하는 한 회사가 해당 에이전트가 고객과 소통하는 동안 존재하지 않는 정책을 만들어낸 사실을 알게 되어 사과해야 했다.
• - 카네기 멜론 대학교는 한 실험에서 AI 에이전트에게 실제와 같은 구조의 소프트웨어 회사에서 낮은 수준의 잡무를 처리하도록 하는 시뮬레이션을 만들었는데, 이런 시스템이 능숙하다고 알려진 작업을 맡긴 것이다. 결과는 비참할 정도의 실패였다.
• - 자주 인용되는 생성형 AI 코딩 분야에서도 시스템이 존재하지 않는 패키지 이름을 발명하고 시간과 비용을 낭비하는 모든 종류의 오류를 유발하는 사례가 잇달아 발견되고 있다. 보안 취약성 문제는 말할 것도 없다.
• - 컬럼비아 저널리즘 리뷰가 8개의 서로 다른 생성형 AI 검색 엔진을 테스트한 결과, 모든 종류의 정보가 크게 잘못됐다는 것을 발견했다. 부정확하고 조작된 정보는 물론, 심지어 존재하지 않는 인용을 제공하기도 했다. 더구나 이런 부정확한 정보를 놀라울 정도로 자신 있게 제공했다.

생성형 AI의 초기 버전에서나 일어나는 일이라고 생각하고 싶겠지만, 모두 지난 몇 달 동안의 일이다. 더구나 현재 거의 매일 발생하는 수많은 생성형 AI 실패 사례 중 극히 일부에 불과하다. 더 심각한 문제는 이달 초 뉴욕 타임즈가 보도한 것처럼, “거짓과 부정확한 정보를 제공하는 경향”을 완곡하게 표현한 “AI 환각”이 시스템이 더욱 강력해질수록 더욱 심해지는 것처럼 보인다는 점이다.

하지만 어떻게 된 일인지 아무도 이런 현실에 주목하지 않거나, 기술 업계가 필사적으로 팔고 있는 훨씬 더 매력적인 비전에 방해가 되는 현실을 방관하는 것 같다. 최근 발표된 새로운 보고서에 따르면, IT 업체 경영진의 무려 절반이 향후 2년 이내에 이런 오류투성이 AI 에이전트가 자사에서 자율적으로 동작할 것으로 예상한다. 이 말은 인간 직원을 대체하고 거의 또는 전혀 감독 없이 운영될 것이라는 의미다. 맙소사!

생성형 AI를 재설정해야 할 시간

구글을 비롯해 생성형 AI 도구를 개발하는 모든 업체, 그리고 숫자에 집착하는 기업, 영향력을 쫓는 링크드인, 과대광고에 맹목적으로 동조하는 주류 언론 매체들은 방금 살펴본 모든 내용이 이런 시스템에 대해 심각하고 즉각적인 결격 사유가 되지 않는 것처럼 행동한다. 그러나 어떤 인상적인 시연과 과장된 마케팅 자료가 있더라도 현실에서는 LLM 챗봇이 정확한 답변과 정보를 제공한다고 믿을 수 없는 것이 사실이다.

확실히 따져보자.

• - 챗봇은 편리한 법률 자문이다. 하지만, 챗봇이 실제로 어떻게 작동하는지, 그리고 (1) 잘못된 정보를 제공할 가능성이 얼마나 높은지, (2) 그 과정에서 사실을 완전히 지어낼 가능성이 얼마나 높은지를 깨닫기 전까지는 그렇다.
• - 챗봇은 훌륭한 검색 엔진이다. 제공하는 정보의 20%가 부정확할 가능성이 있다는 사실을 깨닫기 전까지만 그렇다.
• - 또한 ‘코딩 도우미’와 ‘고객 서비스 에이전트’로도 매우 유용하다. 끊임없이 일을 망치고 비즈니스에 손해를 끼치는 사례를 그냥 지나쳐 버리면 그렇다.

특히 문제가 되는 것은 이런 생성형 AI 어시스턴트가 점점 좋아지고 있으며, 적어도 실수할 가능성은 점점 줄어들고 있다고 정당화하는 것이다. 이런 주장에 반하는 데이터를 무시한다고 해도, 5%, 10%, 심지어 20%의 시간 동안 무언가를 잘못하는 시스템은 절반의 시간 동안(또는 그 이상) 잘못하는 시스템보다 틀림없이 더 나쁘다.

생각해 보자. 무언가가 계속 잘못되면 사람들은 적어도 그 사실을 알아차리고 정보 제공 도구로서 쓸모없다는 것을 깨닫게 될 것이다. 하지만 10회 또는 20회 사용 중 한두 번만 오류가 발생하면, 사용자는 잘못된 보안 감각에 빠져 오류를 주시하지 않게 되므로 더 위험하다.

그렇다고 해서 이런 생성형 AI 시스템이 전혀 유용하지 않거나 사용할 가치가 없다는 말은 아니다. 올바른 방식으로 활용하면 상당히 유용한 도구가 될 수 있다. 현실은 AI 업체가 내세우는 원대한 비전과 일치하지 않는. 하지만 이런 시스템을 특정 유형의 특정 작업에 대한 제한된 출발점으로 생각하면, 실제로 시간을 절약하고 삶을 더 쉽게 만들 수 있다.

잊지 말자. 제미나이를 비롯한 생성형 AI 서비스는 즉각적인 답변 엔진도 아니고, 디지털 변호사나 코더도 아니다. 하지만 유용한 메모 작성기나 정보 정리 도구는 될 수 있다. 이미지 분석기 및 조작기로서 유용하다. 큰 수고를 들이지 않고 세련된 프레젠테이션을 만들거나 투박하지 않은 캘린더 이벤트를 만들 때도 놀라운 효과를 발휘할 수 있다.

어떤 의미에서 브레인스토밍 파트너나 심층 연구 조력자가 될 수도 있다. 하지만 생성형 AI가 제공하는 결과물을 단순한 시작점, 다시 말해 인간의 결정적인 사고를 대체하는 것이 아니라 자료를 찾고 아이디어를 발견하는 초기 단계를 줄여주는 도구로 취급하는 것이 중요하다.

결국, 운이 좋았다고 해서 무작위 조작과 부정확성이라는 매우 현실적이고 완전히 예측할 수 없는 위험을 무시할 수는 없다. 그리고 분명한 것은 이런 도구를 현명하게 사용하고 일부 기업이 간절히 원하는 다목적 자동 응답기가 아니라 제한적이고 특정한 시나리오에서 도움이 될 수 있는 단어 예측 엔진이라는 점을 명심해야 한다.

dl-itworldkorea@foundryco.com

JR Raphael editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지