윤리적 넘어 안전한 AI 화두…정부 '위험 지도' 만든다

[모두의 AI - 산업에서 안전까지] ⑮AI 잠재적 위험 대응책 마련

[편집자주] AI(인공지능)를 둘러싼 전 세계 패권 경쟁이 치열하다. 이재명 정부도 '모두의 AI'를 기치로 포용적이고 책임 있는 AI 생태계 구축에 나섰다. 전 세계에서 통용될 K-AI가 되기 위해 우린 어떤 길을 걸어야 할까. 주요국 AI 산업 현장부터 기업의 전략, 사용자의 안전까지, 지속가능한 K-AI 생태계 조성 방안을 모색해본다.

전세계 연간 AI 사건 및 신고 건수/그래픽=임종철

정부가 인공지능(AI) 위험지도를 구축한다. AI를 국가신성장동력으로 육성하면서도 기술 확산에 따른 잠재적 위험에 선제 대응하기 위한 조치다.

27일 정부에 따르면 인공지능안전연구소(AISI)는 연내 'AI 리스크 맵'을 공개할 예정이다. 한국판 'AI 리스크 저장소'(AI Risk Repository)를 만드는 것이다.

미 메사추세츠공과대(MIT)가 만든 AI 리스크 저장소는 1600개 위험 요소를 인과(주체·의도·시점)와 분야별로 분류한 공개 데이터베이스다. 정부·업계·학계가 AI에 대한 사전 예방과 관리·감독을 강화하도록 지원하기 위해 만들어졌다. 한국은 이 중 200개 위험 요소에 대해 맵(지도)을 만든다.

영국의 AI안전연구소도 2024년 5월 세계 최초로 'AI 석학' 요슈아 벤지오 몬트리올대 교수와 AI 위험 분류체계를 발표했다. 'AI가 위험하다'는 주장은 많지만, 정확히 어떤 위험인지, 어느 단계서 발생하는지 구조화돼 있지 않다 보니 기업의 예방책이나 정부의 감독기준을 만드는 데 한계가 따른다는 인식에서 시작됐다.

김 소장은 "이를테면 특정 위험이 사람의 실수 때문인지, AI 시스템 자체의 문제인지, 개발 단계 또는 배포 후 발생했는지 등을 파악하면 이에 맞는 제도적 대안이나 해결방안을 마련할 수 있다"며 "이런 체계를 통해 향후 발생할 위험도 예측 가능해질 것"이라고 말했다.

'AI 위험' 어떤 것들이 있나/그래픽=윤선정

━

AI 윤리→AI 안전으로…사업자 책임 더 커져
━
과거 AI 윤리에 대한 관심은 생성형 AI 등장 후 AI 안전 중심으로 이동했다. 기술 개발 속도에 비해 통제장치가 부족하다는 인식에서다.

실제 AIID(AI Incident Database)에 따르면 지난해 세계에서 AI로 발생한 치명적 사고는 총 273건으로 전년 대비 66% 증가했다. 2020년과 비교하면 3배로 급증했다. 이에 대해 소프트웨어정책연구소는 "AI 확산과 함께 사건 수도 지속적으로 증가해 AI 개발사의 위험 대응 요구도 확대되고 있다"고 분석했다.

2021년 혐오·차별 발언으로 논란이 된 챗봇 '이루다' 사태에서 보듯 AI 윤리가 다양성 존중, 개인정보 보호 등 규범적 원칙에 초점을 맞췄다면, AI 안전은 설계·배포 전 과정에서 발생 가능한 기술적·비기술적 위험 요소 전반을 포괄한다. 개발자와 사업자의 책임이 보다 강화되는 구조다.

━
민감정보 접근하는 AI, 인간 통제 벗어날까…'킬스위치' 관심
━

최근엔 AI 통제에 대한 우려가 잇따른다. AI가 자신의 이익을 위해 인간을 속이거나 협박할 수 있다는 가능성이 새롭게 제기된다. 앤트로픽의 '에이전틱 오정렬:LLM의 내부자 위협 가능성' 보고서에 따르면 교체 위기에 빠진 AI는 담당 임원이 치명적인 산소·온도 조건의 서버룸에 갇히자 구조 당국에 보낸 경보를 '임의 취소'해 사망에 이르게 했다.

물론 이는 AI가 인간의 관리·감독을 어떻게 우회할 수 있는지 확인하는 극단적 스트레스 테스트의 일환이다. 앤트로픽도 "이는 극히 억지스러운 사례"라며 "이런 시나리오가 흔히 발생하지는 않을 것"이라고 했다. 다만 "AI가 점점 더 높은 지능, 자율성, 민감정보 접근권한을 갖게 되면서 안전장치에 대한 연구가 중요해졌다. 유해 정보 제공을 넘어 유해 행동을 하지 못하게 하는 기술이 필요하다"고 강조했다.

이에 따라 '킬스위치'(Kill Switch), 통제 불능 상태에 빠진 AI를 즉시 중단시키는 기술에 대한 관심도 커진다. AI기본법 역시 정부가 긴급정지 기술연구·사업확산 지원을 할 수 있도록 명시하고 있다. 이에 AI안전연구소도 관련 기술을 연구할 예정이다.

김 소장은 "현재 AI 회복탄력성(resilience·AI 시스템이 예기치 않은 공격을 받았을 때 안정적으로 복구) 기술을 연구개발 중인데 후속으로 킬스위치를 준비 중"이라며 "기업 입장에선 성능에 초점을 두고 기술을 개발하는 만큼 양극단의 위험을 대비하기 쉽지 않다. 정부 차원에서 중장기적 위험에 대비한 연구개발을 하려는 것"이라고 말했다.

[제작 지원 : 문화체육관광부 국민중심 소통활성화 사업]

윤지혜 기자 yoonjie@mt.co.kr

Copyright ⓒ 머니투데이 & mt.co.kr. 무단 전재 및 재배포, AI학습 이용 금지.