업데이트 커리어 로드맵 : 머신러닝 엔지니어

직책이나 지식 영역에 ‘머신러닝’이 포함된 사람은 요즈음 경력을 관리하기 좋은 위치에 있다. 머신러닝 기술력과 경험이 있는 인력에 대한 수요가 많기 때문인데, 가장 중심에 있는 자리가 바로 머신러닝 엔지니어이다.

리서치 회사 M&M(Markets and Markets)에 따르면, 머신러닝 툴과 시스템에 대한 수요는 2016년의 10억3,000만 달러에서 올해 88억 1,000만억 달러로 증가할 것으로 보인다. 연간 성장률이 무려 44%에 이른다. 전 세계 기업이 고객 경험을 개선하고 비즈니스 운영에서 경쟁 우위를 점하기 위해 머신러닝을 도입하고 있는 상황이다.

ⓒ Getty Images Bank

M&M의 조사에 따르면, 데이터의 증가가 추가적인 머신러닝 솔루션과 기술인력에 대한 수요를 이끌고 있다. 주요 수직 산업군의 애플리케이션으로는 금융 부문의 사기 방지, 위험 관리, 고객 분류, 투자 예측을 필두로, 의료부문의 이미지 분석, 약물 발견 및 제조, 개인화된 치료, 소매부문의 재고 계획 및 채널간 마케팅, 제조 부문의 예측 유지보수와 수요 전망, 에너지 및 유틸리티 부문의 전력 사용량 분석 및 스마트 그리드 관리 등이 있다.

이 외에도 머신러닝의 사용례는 무궁무진하며, 모든 머신러닝 구현에서 엔지니어는 필수적이다. 그렇다면 머신러닝 엔지니어가 하는 일은 무엇일까?

머신러닝에서 사람은 학습하고 예측할 수 있는 인공 지능(AI) 알고리즘을 설계하고 개발한다. 머신러닝 엔지니어는 일반적으로 데이터 과학팀에 참여하며, 데이터 과학자, 데이터 분석가, 데이터 아키텍트, 기타 여러 전문가와 긴밀히 협력한다.

온라인 교육 플랫폼 Study.com에 따르면, 머신러닝 엔지니어는 독립적으로 지식을 학습하고 적용할 수 있는 머신을 개발하는 고급 프로그래머다. 정교한 머신러닝 프로그램은 특정 작업을 수행할 때 사람의 지시나 명령을 받지 않고 조치를 취할 수 있다. 머신러닝 엔지니어는 수학, 컴퓨터 프로그래밍, 데이터 분석 및 데이터 마이닝 등의 기술력이 필요하다. 클라우드 서비스와 애플리케이션에 관한 지식도 있어야 하며, 또한 좋은 의사소통자이자 협업자여야 한다.

링크드인(LinkedIn)은 2022년 떠오르는 일자리에 대한 연구의 일환으로, 머신러닝 엔지니어를 지난 5년 동안 미국에서 4번째로 빠르게 성장한 직종으로 꼽았다.

머신러닝 엔지니어가 되는 길

머신러닝 엔지니어가 되기 위해 무엇이 필요한지 알아보기 위해 온라인 스타일링 서비스 회사 D&C(Dia & Co.)의 데이터 과학자 겸 머신러닝 엔지니어인 니콜라스 크리들러와 이야기했다. 크리들러는 미국 메릴랜드대학교의 수학 이학사 학위를 취득했으며, 콜로라도대학교에서 응용수학 석사 학위를 취득했다. 크리들러는 “대학원에서 컴퓨터 수학과 과학 컴퓨팅에 집중했다. 학교에서 그렇게 좁은 분야에 집중하기로 결정했기 때문에 기술 관련 분야의 직장 생활은 유일한 선택지였다”고 말했다.
2005년 대학원을 졸업했을 때, 소프트웨어 개발 경험이 많지 않았기 때문에 선택권은 제한적이었다. 첫 번째 직무는 시뮬레이션 소프트웨어를 개발하는 메트론(Metron)이라는 소규모 방위산업체의 분석가였다. 2006년 10월에는 다른 방위산업체 아레트 어소시에이츠(Arete Associates)에 연구 과학자로 입사했다. 아레트는 원격 감지 알고리즘 개발 전문 회사이다. 크리들러는 “나는 아레트에서 머신러닝, 소프트웨어 개발, 데이터를 이용한 일반적인 문제해결 등 많은 것을 배웠다”고 밝혔다.

크리들러는 데이터 과학이 각광받기 시작한 2012년 말에 아레트를 퇴사했으며, 의료 기술 전문 회사인 어크레티브 헬스(Accretive Health, 현 R1 RCM)에 수석 데이터 과학자로 입사했다. 크리들러는 “어크레티브는 데이터 과학 통합에 대한 야심이 있었지만 당시의 툴로는 진행이 어려웠다”고 덧붙였다.

크리들러는 어크레티브에 재직할 당시 친구와 함께 캐글(Kaggle) 대회에 참가했다. 해당 대회에는 오디오 데이터에서 웨일 콜(Whale Call)을 분류하는 과제가 포함되어 있었는데, 크리들러가 아레트에서 하던 일과 유사했다. 크리들러는 “우리는 종이 한 장 차이로 우승했으며, 당시 아직 초기 단계였던 딥러닝 알고리즘을 이길 수 있었다”며, “대회 우승은 항상 가장 기억에 남는 순간인데, 그 이유는 많은 기회를 얻을 수 있었기 때문이다”라고 설명했다.

캐글 대회 참가와 성공은 크리들러가 2014년에 온라인 의류 회사 스티치 픽스(Stitch Fix)에서 데이터 과학자 일자리를 얻는 데 도움이 되었다. 크리들러는 “데이터 과학은 여전히 꽤 새로운 분야였다. 어크레티브 같은 많은 기업이 데이터 과학에 대해 포부가 있었지만, 팀이 성공할 수 있는 환경이 반드시 마련되어 있지는 않은 것 같았다”고 말했다.

스티치 픽스는 아레트의 환경에 훨씬 가까워 보였으며, 알고리즘이 단순히 있으면 좋은 수준이 아니라 비즈니스의 핵심이었다. 크리들러는 2014년부터 2018년까지 스티치 픽스에서 데이터 과학자로 근무했다. 크리들러는 “운 좋게도 성장하는 회사에서 근무했다. 덕분에 재능 있는 데이터 과학자와 데이터 플랫폼 엔지니어로부터 배울 수 있는 기회도 얻었다. 재고 알고리즘을 개발하는 판매팀과 긴밀히 협력하고, 분석 도구도 개발했다”고 설명했다.

스티치 픽스에서 크리들러의 가장 큰 업적은 브랜드 매출 및 피드백 데이터에 접근할 수 있는 벤더 대시(Vendor Dash)를 개발한 것이었다. 크리들러는 “회사의 브랜드에 많은 가치를 제공해 S-1 기록에 언급되었다”고 덧붙였다.

크리들러는 2018년에 스티치 픽스를 떠나 스티치 픽스와 유사한 스타일링 서비스 회사인 D&C에 입사했다. 그리고 머신러닝 엔지니어로써 스타일링 추천을 개발하고 추천 인프라를 재구성하는 프로젝트를 주도했다. 크리들러는 “스티치 픽스에서 개발한 머신러닝 인프라 지식을 적용하고 엔지니어로써의 기술 역량을 더욱 발전시킬 수 있었다”고 말했다. 안타깝게도 D&C는 사업을 축소해야 했고, 이후 2년 동안 다른 두 기업에서 데이터 과학자로 근무하다가 책임 머신러닝 엔지니어로 D&C에 복귀했다.

학교, 초기 경력, 시기의 조합 덕분에 크리들러는 지금의 직위에 올랐다. 크리들러는 “학교를 다니고 직장 생활을 시작했을 때는 없었던 강력한 툴이 많다. 초기에는 지금보다 훨씬 낮은 수준에서 작업해야 했고, 이것이 새로운 기술을 신속하게 선택하는 데 도움이 된다고 생각한다”고 평가했다.

크리들러는 “예를 들어, C와 포트란(Fortran)으로 프로그래밍하는 방법을 배웠고, 프로그래밍 기초가 탄탄해질 때가지 파이썬(Python) 같은 스크립트 작성 언어는 만지지 않았다. 나는 머신러닝 알고리즘이 보급되기 전에 개발했고, 그 덕분에 조금 더 앞설 수 있었다”고 말했다.

머신러닝 엔지니어의 일상 업무와 비전

일반적인 근무일 또는 근무주는 회사마다 꽤 다르다. 스티치 픽스에서 크리들러는 비즈니스 이해관계자들과 긴밀히 협력했고 공유 로드맵 개발을 담당했다. 덕분에 이니셔티브의 현황을 공유하고 추후 작업을 계획하기 위해 회의가 빈번했다. 이렇게 업무 시간 중 절반 이상을 회의 또는 회의 준비에 소요했다. 나머지 절반은 알고리즘 구현 또는 분석 등의 개발에 소요했다.

D&C에서 크리들러의 역할은 주로 회사의 플랫폼을 지원하는 것이고, 이해관계자 상호작용은 줄었다. 크리들러는 “이해관계자가 요청서를 제출하면 티켓으로 전환되고 소프트웨어 개발팀처럼 근무한다. 나의 시간의 약 90%가 코드 작성 또는 알고리즘 개발에 사용되고 있다”고 밝혔다.

크리들러는 “데이터 과학을 위한 인력 채용은 항상 어려웠고, 나는 내가 할 수 있는 일을 명확하게 입증할 수 있다는 것이 유리하다고 느꼈다. 또 다른 기억에 남는 순간은 스티치 픽스가 상장되고 내 업무가 해당 기업의 S-1 기록물에 언급되었을 때였다. 나는 정말 운 좋게도 알고리즘 및 데이터 과학에 대해 그렇게 차별화된 관점을 가진 기업에서 근무할 수 있었다”고 말했다.

크리들러는 “학교로 돌아가거나 자격증을 취득할 필요가 없었지만 운 좋게도 업무를 통해 배울 수 있었다. 데이터 과학으로 경력 방향을 정했을 때, 캐글 대회를 통해 배우는 데 많은 시간을 할애했다. 이렇게 배운 지식을 적용할 수 있는 프로젝트가 있으면 더 쉽게 새로운 것을 배울 수 있다. 공식적인 교육 같은 것을 추구하지 않으며, 출판물과 문서에 의지해 새로운 기술을 배운다. 기술 역량을 확대하기 위해 사이드 프로젝트에 의지하는 경우가 많았다”고 밝혔다.

크리들러는 그것이 새로운 알고리즘이든 회사든 무엇인가를 세우는 것을 즐긴다. 크리들러는 “개발하는 일을 계속 하고 싶다. 나의 현재 위치에서는 인프라를 기반으로 개발하고 개발한 알고리즘의 적용을 확대한다. 앞으로는 스티치 픽스가 시도했던 것을 기반으로 개발하고 해당 알고리즘의 목적이 대체가 아니라 강화였음을 입증하고 싶다. 누군가 더 나은 결정을 내리거나 지루한 일을 할 필요가 없어지는 데 도움되고 싶다”고 밝혔다. 또 “사람들은 다수의 작은 알고리즘을 만들어 얻는 전반적인 이점에 대한 이해 없이 AI란 과대포장에만 집중하는 것 같다고”고 지적했다.

크리들러에게 영감을 주는 사람 중 하나는 스티치 픽스의 설립자인 카트리나 레이크이다. 크리들러는 “레이크는 뭔가 다른 것을 개발하고 싶어했고 그렇게 했다. D&C의 CTO 크리스타 스텔즈뮬러는 데이터 활용법에 대한 멋진 아이디어가 있고, 무엇이 효과가 있는지 잘 이해하고 있다”고 말했다.

자신과 유사한 경로를 추구하는 개발자를 위한 크리들러의 조언은 열정을 따르라는 것이다. “직장 생활 중 많은 사람들에게 이 조언을 들었으며, 열정이 있는 일을 한다면 항상 더 나은 시간을 보낼 수 있을 것이다. 또한, 밖으로 나가 많은 것을 개발하는 것이 좋다. 좋은 소프트웨어 개발자가 되는 방법과 마찬가지로 많은 코드를 작성하는 것이며, 다양한 문제를 경험하는 데 실질적인 도움이 된다”고 강조했다
editor@itworld.co.kr

Bob Violino editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지