보고 듣고 대답하는 챗GPT 안경 등장

[박찬 위원]

챗GPT 안경 ‘리즈GPT’ (사진=스탠포드대)

대규모 언어모델 'GPT-4'와 음성인식 및 증강현실(AR) 기술을 혼합해 대화를 듣고 말할 내용을 알려 주는 인공지능(AI) 안경이 나왔다.

기술 매체 톰스하드웨어는 20일(현지시간) 스탠포드 대학생들이 오픈AI의 챗GPT를 활용해 이같은 기능을 하는 AR 스마트 안경 '리즈GPT(RizzGPT)'를 개발했다고 보도했다.

채팅에 사용하는 챗GPT를 일상에서 다른 사람과 상호 작용할 수 있는 휴대형 챗GPT로 만든 셈이다.

'리즈GPT'는 오픈AI의 대규모 언어모델 GPT-4와 자동 음성인식모델 '위스퍼(Whisper)'를 스마트폰을 통해 AR 안경과 결합한 제품이다.

GPT-4를 활용해 대화 중에 나온 질문과 의견 또는 이미지를 인식해 실시간 답변을 생성한다. 위스퍼는 음성을 텍스트로 변환해주는 역할을 한다.

AR 안경은 카메라, 마이크 및 고해상도 디스플레이로 구성된 브릴리언트 랩의 클립형 'AR 단안경(Monocle AR)'을 사용했다. 프롬프터처럼 사용자가 실시간으로 읽을 수 있는 텍스트를 표시한다.

리즈GPT 구성 (사진=스탠포드대)

리즈GPT는 AR 안경에 장착한 마이크를 통해 입력된 음성 질문이나 AR 카메라로 감지한 이미지를 이해하고, 도출해 낸 답변을 안경 화면에 표시해준다.

리즈GPT는 주변에서 무슨 일이 일어나고 있는지 이해하기 위해 텍스트, 오디오 및 이미지에 대한 다중 모드 인식 기능을 활용한다.

리즈GPT 데모 영상 (영상=스탠포드대)즉석에서 생성한 라이브 프롬프트를 사용하면 사람들이 대중 연설이나 취업 면접을 준비하거나 친구와의 만남, 식당에서 음식 주문과 같은 상황에 도움이 될 수 있다.

예를 들어 친구와 우연히 마주쳤을 때 GPT-4의 이미지 인식 기능을 이용해 친구를 알아보고 그 친구와 교환한 스마트폰 메시지를 기반으로 대화를 끌어 갈 수 있다.

식당에서 음식 주문을 할 때에도 메뉴를 보거나 읽고 추천을 요구하면 OCR 이나 음성 인식 기능을 활용해 좋아하는 음식과 싫어하는 것, 그리고 영양가에 대해 알고 있는 내용을 기반으로 음식을 추천한다.

박찬 위원 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>