넷플릭스, 관리 시스템 '마에스트로' 오픈소스화

[AI리포터]

넷플릭스가 자체 개발한 워크플로우 오케스트레이터 '마에스트로'를 오픈소스로 공개했다. [사진: 셔터스톡]

[디지털투데이 AI리포터] 넷플릭스가 자체 개발한 워크플로우 오케스트레이터 '마에스트로'(Matstro)를 오픈소스로 공개했다.

23일(현지시간) 온라인 매체 기가진은 넷플릭스가 마에스트로를 오픈소스로 공개하며 데이터 관리에 혁명적인 변화를 가져올 것이라고 전했다.

마에스트로는 넷플릭스 내부에서 데이터 파이프라인 및 머신 러닝 파이프라인과 같은 대규모 워크플로우를 관리하는 데 사용된다.

넷플릭스는 현재 수천개의 머신러닝 워크플로우 인스턴스를 운영하고 있으며 '사용자가 다음에 시청할 작품 예측' 등을 목적으로 머신러닝을 활용하고 있다. 하루에 약 50만개의 작업을 실행하며, 바쁜 날에는 약 200만개의 작업을 처리한다고 알려졌다.

넷플릭스는 2016년경부터 머신러닝 워크플로우 관리를 위해 자체 개발한 오케스트레이터 '메손'(Meson)을 사용해 왔다. 하지만 머신러닝 인스턴스 수가 계속 증가함에 따라 한계에 부딪혔고 시스템을 수평적으로 확장할 수 있는 새로운 오케스트레이터 마에스트로를 개발해 운영하기 시작했다.

한편 마에스트로 사용자는 '도커 이미지', '노트북', 'bash 스크립트', 'SQL', '파이썬'과 같은 형식으로 비즈니스 로직을 관리할 수 있으며, 워크플로우 정의는 JSON 형식(JavaScript Object Notation, 사람이 읽을 수 있는 텍스트를 사용해 데이터를 저장하고 전송하는 데이터 공유를 위한 개방형 표준 파일 형식)으로 작성한다고 알려졌다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>