대학은 찾고, 학생은 피하고 ‘AI 글 숨바꼭질’…“평가 기준 바꾸자” : zum 뉴스

안서현 홍익대 교양교육원 교수가 20일 화상으로 열린 ‘챗지피티 뒤에 숨은 학생들, 그 앞에 선 교수들’ 콜로키엄(토론회)에서 생성형 인공지능의 등장으로 인공지능 생성 글에 대한 탐지와 회피의 악순환이 벌어지는 상황을 설명하고 있다. 줌(ZOOM) 화상 화면 갈무리

“학생들이 챗지피티(GPT)로 쓴 글을 수업 과제로 제출하자 ‘생성형 인공지능’이 쓴 글을 적발하는 서비스가 나왔어요. 그러자 탐지를 피하는 서비스도 나오고요. 적발과 회피가 반복되면서 학생과 교수들이 숨바꼭질을 하고 있습니다.”

안서현 홍익대 교양교육원 교수가 지난 20일 화상으로 열린 ‘챗지피티 뒤에 숨은 학생들, 그 앞에 선 교수들’ 콜로키엄(토론회)에서 한 말이다. 생성형 인공지능이 활성화된 시대, 대학 교육에 던져진 큰 과제다. 서울과학기술대 ‘논리적 글쓰기’ 교수진(최형섭·김민수·오승현·오영진·이성근·전세진 교수)이 주최한 이날 토론회에는 대학교수·강사, 학생 등 500여명이 참여해 생성형 인공지능 문제에 대한 고민을 나눴다.

생성형 인공지능이 글쓰기 영역에서 강점을 보이고 있는 만큼, 대학에서도 글쓰기 과목이 가장 크게 영향을 받고 있다. “과제 평가를 하는 시기가 될 때마다 학생들과 진실게임을 한다”, “학생들이 인공지능을 사용하면서 유려한 문체로 논문을 작성해 오지만 질문하면 제대로 답하지 못한다”, “학생들은 글을 ‘쓰려고’ 하지 않고 ‘시키려고’만 한다” 등 교육자들은 글쓰기를 가르치고 평가하는 다양한 어려움을 토로했다.

글쓰기 수업을 담당하는 인문·사회 교수들은 생성형 인공지능 등장 이후 더는 전통적인 방식으로 글쓰기를 가르치거나 평가할 수 없다고 주장했다. 그러면서 인공지능을 사용한 학생들의 글쓰기에 대응하는 각자의 전략을 공유했다.

안서현 교수는 생성형 인공지능이 쓴 글인지 확인할 수 있는 도구를 직접 만들었다. 그는 생성형 인공지능의 도움을 받아 코드를 작성하는 ‘바이브 코딩’ 방식으로 ‘노 할루(No Hallu)’라는 도구를 개발했다. 현재 널리 쓰이고 있는 인공지능 표절 검사기 ‘지피티킬러’의 경우 표절률을 퍼센트(%)로 제시하고 있다. 가르치는 교수 입장에선 그 수치가 무엇을 의미하는지 모호해 활용하기 어렵다. 안 교수는 학생들이 생성형 인공지능을 이용해 글을 쓸 경우 참고 문헌에서 ‘환각 현상’(존재하지 않는 것을 실제처럼 꾸며내는 현상)이 자주 나타난다는 점에 주목했다. ‘노 할루’는 인공지능이 참고 문헌을 지어내는 패턴이 나타날 경우 생성형 인공지능이 작성했을 가능성이 있다고 판단한다.

다만 안 교수는 “인공지능 사용을 적발하자는 것이 이 도구의 목적은 아니다”라며 “지어낸 참고 문헌이 발견됐을 경우 교수가 해당 학생과 면담을 진행한다. 실제로 자료를 읽었는지 대화를 나누고 학습 기회를 주는 방식으로, 무너진 교수와 학생 간의 신뢰가 형성되길 기대한다”고 말했다.

교수들은 글쓰기의 순서 자체가 바뀌고 있다는 점도 지적했다. 과거에는 텍스트를 읽은 뒤 글을 쓰는 구조였다면, 이제는 생성형 인공지능에 프롬프트(명령어)를 쓰고 생성된 결과물을 읽는 방식으로 읽기와 쓰기의 단계가 전도되고 있다는 것이다. 글쓰기를 위해 반드시 선행돼야 할 ‘읽기’ 단계가 사라지면서, 학생들이 더는 문헌을 충분히 살펴보지 않게 됐다. 이런 이유로 교수들은 학생들이 읽을 수밖에 없는 수업 구조를 만들기 위해 다양한 시도를 하고 있다. 안 교수는 글쓰기 수업에서 읽어야 하는 참고 문헌을 20개 가량 먼저 제시한 뒤, 학생들이 몇 가지를 골라 요약하는 방식의 과제를 내고 있다.

학생들을 읽게 만들기 위해 ‘함께 읽기’ 방식을 활용하는 사례도 공유됐다. 노연숙 서울대 학부대학 강의교수는 수업에서 온라인 협업 독서 플랫폼인 ‘퍼루절’을 활용하고 있다. 교수가 읽기 자료를 올리면 학생들이 특정 구절에 밑줄을 긋고, 각자의 생각을 댓글로 남기는 방식이다. 노 교수는 “한 학기 동안 쌓인 댓글과 메모를 바탕으로 학기 말에 긴 글을 쓸 수 있도록 유도하고 있다”며 “학생들은 동료들의 생각을 읽고, 자신의 통찰력을 확보해나가는 경험을 할 수 있다”고 했다.

함께 읽는 과정에서 플랫폼에 남긴 기록은 최종 과제물을 평가할 때 참고할 수 있는 ‘과정’이 되기도 한다. 노 교수는 “‘지피티킬러’에서 최종 과제물의 표절률이 80%로 나왔더라도, 한 학기 내내 플랫폼에 댓글과 메모를 성실히 남긴 학생이라면 표절했을 가능성은 작다고 판단하게 된다”고 말했다. 그는 “학생의 사유 방식과 학습 태도를 한 학기 내내 관찰할 수 있어 학생을 신뢰하는 근거로도 삼을 수 있다”고 덧붙였다.

읽기 플랫폼 ‘세미콜론’을 개발한 이은수 서울대 철학과 교수는 “학생들이 텍스트에 분석과 공감, 의문 등으로 분류해 댓글을 달도록 설계했다”며 “이런 데이터가 대학 4년 동안 쌓이면 학생의 사고 패턴을 한 눈에 볼 수 있게 된다”고 했다.

생성형 인공지능을 글쓰기에 적극적으로 활용하도록 지도하는 교수도 있다. 박숙자 서강대 전인교육원 교수는 글쓰기 수업에서 ‘프롬프트 글쓰기’를 하나의 장르로 가르치고 있다. 학생들은 수업 시간에 온라인 협업 도구인 구글 독스를 활용해 조별로 글쓰기를 위한 생성형 인공지능 프롬프트를 만든다. 에이포(A4) 한장 반 정도 분량의 프롬프트에는 인공지능의 역할 규정, 한 학기 동안 배운 글쓰기 지식, 자신의 글쓰기 경험, 피드백 절차 등이 포함된다. 학생들은 학기 말 과제를 작성하는 과정에서 이 프롬프트를 활용할 수 있다. 박 교수는 “학생들은 잘 짜인 프롬프트를 통해 좋은 생성 결과가 나오는 것을 경험한다. 생성형 인공지능을 잘 활용하려면 자신만의 맥락을 촘촘하게 정리해야 한다는 점을 깨닫게 된다”고 했다.

학생들의 글을 평가하는 기준 자체를 바꿔야 한다는 주장도 나왔다. 박숙자 교수는 “그동안 주제의 타당성, 논리의 일관성, 표현의 정확성, 자료의 신뢰성을 기준으로 글을 평가했지만 이제는 달라져야 한다”며 “글 뿐만이 아니라 구술 과제를 통해 학습자가 무엇을 경험했는지, 인용을 적절히 하고 있는지, 어떤 문제의식을 가졌는지를 봐야 한다”고 말했다. 이은수 서울대 교수는 “학생들의 글쓰기 결과만 놓고 상대평가를 진행하던 시스템에서 벗어나야 한다. 한 학기 동안 학생이 배움에 있어서 성장했다면 이를 인정해줄 수 있는 방식의 평가 틀을 대학들이 고민해야 한다”고 했다.

이우연 기자 azar@hani.co.kr