사람 손놀림을 데이터로···휴먼 팩토리로 피지컬AI 판도 바꾼다

카메라와 로봇 핸드를 착용한 사람들이 빨래를 개고, 음식을 접시에 옮긴다. 다른 한쪽에서는 연필과 볼펜을 상자에 차곡차곡 담고, 책상 위에 흩어진 쓰레기를 휴지통에 버리는 동작이 반복된다. 이 같은 행동이 몇 시간 이어지자 카메라로 촬영된 영상은 손의 위치와 각도, 힘의 세기 등 세부 정보와 함께 정밀한 행동 데이터로 전환된다. 이렇게 축적된 데이터는 로봇을 사람처럼 각종 작업을 수행하도록 학습시키는 핵심 재료로 활용된다. 이는 '피지컬 인공지능(AI)' 구현의 핵심 요소인 행동 데이터를 전문적으로 생산하는 '휴먼 데이터 팩토리'의 모습이다.

6일 정보기술(IT) 업계에 따르면 국내 피지컬 AI 기업인 ‘컨피그인텔리전스코리아’는 지난해 베트남 하노이에 휴먼 데이터 확보를 위한 전용 공장 구축을 완료했다. 피지컬 AI 구현을 위한 휴먼 데이터 전용 공장을 구축한 것은 국내 기업 중 컨피그인텔리전스가 처음이다. 컨피그인텔리전스는 지난해 하반기 본격적인 공장 가동 이후 10만 시간 이상의 데이터를 축적한 것으로 전해진다.

컨피그인텔리전스의 창업자는 한국과학기술원(KAIST)에 재직 중인 서민준 교수다. 학계에서 축적한 연구 성과를 바탕으로 휴먼 데이터 공장에 대한 이론적 토대를 정립하고 이를 사업화했다. 앞으로 해당 공장의 규모와 인력을 지속적으로 확대해 데이터 확보 양을 늘려간다는 방침이다.

서민준 대표는 “내부적으로 직접 데이터를 생산함으로써 빠르게 실제 산업 현장에 피지컬 AI 기술을 적용하는 것이 첫 번째 목표”라며 “우리가 만드는 데이터와 실제 산업 현장의 데이터를 결합해 더욱 많은 데이터를 생산하는 선순환을 이뤄나가겠다”고 말했다.

컨피그인텔리전스는 휴먼 데이터 공장에서 일할 현지 직원 약 300명을 고용해 행동 데이터 확보에 주력하고 있다. 휴먼 데이터 공장의 노동자들은 실제 생산 활동을 하는 것이 아니라 데이터 확보를 위한 노동에만 집중한다. 카메라와 특수 장비를 착용한 작업자들이 물건을 집고 옮기는 등 사람의 손 동작을 반복적으로 수행하면서 데이터를 확보하는 것이다. 이는 사람이 로봇 혹은 기계를 조작하는 ‘휴먼 에고센트릭(Egocentric)’ 방식이라고 볼 수 있다. 현재 인력 규모로는 1주일에 약 5000시간 정도의 데이터를 확보할 수 있다는 것이 회사 측의 설명이다.

컨피그인텔리전스는 자체적으로 행동 데이터를 확보하고 있다는 것을 가장 큰 강점으로 꼽는다. 고객이 필요로 하는 작업과 환경에 맞춰 데이터와 로봇 AI 모델을 맞춤형으로 제공할 수 있어서다. 가사 노동 관련 학습 데이터를 원하는 고객에게는 컵에 물을 따르거나 수건을 개는 등의 동작 데이터를 제공할 수 있고 공장에서 물품을 운반하는 작업을 목표로 하는 기업에는 이에 특화된 산업 현장 데이터를 공급하는 방식이다.

피지컬 AI 구현을 위한 전용 공장 구축 사례는 국내는 물론 해외에서도 아직 드문 상황이다. LG전자(066570)와 미래에셋그룹이 투자한 것으로 알려진 중국의 ‘애지봇’과 미국의 AI 데이터 기업 ‘오브젝트웨이스’ 등이 컨피그인텔리전스와 유사한 방식으로 데이터 공장을 통해 휴먼 데이터를 확보하고 있는 것으로 전해진다. 서 대표는 “학계에서는 1년 반쯤 전부터 이러한 데이터 확보 방식이 거론되기 시작했으며 AI에 관해 가장 앞서나가는 것으로 평가되는 미국에서도 최근 들어 도입되기 시작했다”면서 “일찍 이 시장에 뛰어들어 데이터와 기술적 노하우를 확보해나간다면 높은 진입 장벽을 만들어나갈 수 있을 것”이라고 말했다.

컨피그인텔리전스는 축적한 행동 데이터를 자체 기술 고도화에 활용하는 동시에 외부 기업에 공급하는 데이터 비즈니스도 병행하고 있다. 로봇 AI 모델을 자체 개발하는 디바이스 제조사와 중소형 피지컬 AI 기업들이 주요 수요처다. 외부 제조사와 피지컬 AI 기업들이 컨피그인텔리전스의 데이터를 이용해 기술 구현을 진행할수록 데이터 활용 효율이 가장 높은 자사 로봇 AI 모델에 대한 수요도 자연스럽게 확대될 것이라는 판단에서다.

또 다른 국내 피지컬 AI 기업인 테파로보틱스도 자체 휴먼 데이터 확보에 나섰다. 테파로보틱스는 에고센트릭의 일종인 ‘범용 조작 인터페이스(UMI)’ 형태의 데이터 수집 방식을 채택했다. 이는 사람이 로봇의 그리퍼 등 조작 장비를 착용한 상태에서 직접 작업을 수행하고 그 과정에서 생성되는 조작 데이터를 학습에 활용하는 방식이다. 또 테파로보틱스는 로봇이 스스로 행동하는 것을 데이터화하는 셀프임프루빙(자가 진화) 방식도 병행하고 있다. 사람보다 로봇이 더 최적화된 움직임을 보이는 경우가 많다는 점에서 더욱 효과적인 행동 데이터를 확보할 수 있다는 것이다.

테파로보틱스는 아직 별도의 공장을 마련하지는 않고 사무실 내 특정 공간에서 UMI 방식의 휴먼 데이터 확보에 주력하고 있다. 향후 로봇 셀프임프루빙 방식으로 데이터를 모으는 무인 데이터 공장을 꾸리는 것을 목표로 하고 있다. 박정혁 테파로보틱스 대표는 “피지컬 AI를 위한 행동 데이터 확보는 업체마다 다양한 방식으로 진행되고 있으며 해답이 있는 상황은 아니다”라면서 “대규모 데이터 확보가 절실한 만큼 이러한 경쟁 구도에서 생겨난 다양한 데이터들이 우리나라 피지컬 AI 발전에 큰 기여를 하게 될 것”이라고 밝혔다.

리얼월드는 국내외 제조 대기업들과의 협력을 통해 실제 산업 현장 데이터를 확보하는 데 주력하고 있다. 회사는 지난해부터 CJ를 비롯해 롯데호텔, SK, 일본 KDDI 등과 계약을 맺고 제조·물류·서비스 현장에서 실증을 진행하며 데이터를 축적해왔다. 실제 산업 현장에 4차원(4D) 영상 카메라를 설치해 작업자의 동작을 촬영하고 센서가 부착된 장갑 등을 착용한 작업자로부터 행동 데이터를 수집하는 방식이다. 실제 공정 과정에서 확보한 데이터를 활용할 수 있다는 점에서 시뮬레이션이나 가상 환경 기반 데이터 대비 현장 적용성과 신뢰도가 높다는 평가를 받는다. 리얼월드 관계자는 “대기업들과의 협력을 통해 실제 산업 현장에서 생성되는 데이터를 바로바로 확보할 수 있기 때문에 높은 데이터 퀄리티를 얻을 수 있었다”며 “서비스와 물류·제조 등 다양한 분야 기업들과 실증을 통해 현장 데이터를 확보해나갈 것”이라고 말했다.

류석 기자 ryupro@sedaily.com
[ⓒ 서울경제, 무단 전재 및 재배포 금지]