AI 챗봇 '환각' 여전…검증 없는 신뢰 위험

[AI리포터]

\'AI 환각\' 논란이 확산되고 있다. [사진: 셔터스톡]

[디지털투데이 AI리포터] 인공지능(AI) 챗봇이 사실과 다른 정보를 그럴듯하게 전달하는 환각(Hallucination) 현상이 여전히 발생하고 있어, 사용자의 주의와 검증이 필수적이라는 지적이 나왔다.

15일(현지시간) IT매체 테크레이더에 따르면, 챗GPT, 제미나이 등 주요 AI 모델은 훈련 데이터 기반 패턴을 예측해 답변을 생성하는 과정에서 잘못된 정보나 존재하지 않는 세부 데이터를 포함할 수 있다. 날짜, 이름, 구체적 사실이 포함된 답변도 실제 근거가 없을 수 있어, 사용자 스스로 검증할 필요가 있다.

환각의 특징 중 하나는 AI가 자신감 있는 어조로 잘못된 정보를 전달하는 경우가 많다는 점이다. 전문가들은 과학, 의학 등 불확실성이 내재된 분야에서 AI가 단정적으로 답변할 경우, 이는 환각 가능성을 시사한다고 설명했다. 또한 표면상 존재하는 참고문헌이나 논문을 제시하더라도 실제로 확인되지 않는 가짜 인용이 포함될 수 있어 학술·전문적 맥락에서는 문제가 될 수 있다.

후속 질문을 통해 AI 답변의 일관성을 점검하는 것도 환각을 확인하는 방법으로 꼽힌다. AI는 내부적으로 사실 검증 기능이 없기 때문에, 논리적 모순이나 현실적 제약과 맞지 않는 답변이 반복되면 해당 정보는 신뢰하기 어렵다.

전문가들은 AI 사용자가 단순히 답변을 신뢰하기보다는 독립적 출처를 확인하고, 논리적·현실적 검토를 병행해야 한다고 강조했다. 디지털 리터러시 향상과 비판적 검증 능력이 AI 시대 핵심 역량으로 부상하고 있다는 평가다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>