개발자가 망하는 AI 프로젝트를 살리는 방법 : zum 뉴스

생성형 AI가 검토 단계를 벗어나고 있지만, 여전히 많은 기업의 AI/ML 프로젝트가 실질적인 가치를 제공하기 전에 좌초되고 있다. AI에 대한 투자가 급증하고 있음에도 불구하고, 대다수의 기업 AI/ML 프로젝트는 개념 검증 단계를 넘어 실제 운영 단계에 이르지 못한다. 이유는 무엇일까?

CIO 설문조사에 따르면 “불명확한 목표, 준비되지 않은 데이터, 사내 전문성 부족”이 많은 AI 프로젝트를 실패로 이끈다. 하지만, AI 실패의 핵심에는 2013년 빅데이터 열풍 당시 필자가 지적한 원인이 있다. “모두가 하고 있지만, 왜 하는지는 아무도 모른다”는 것이다.

그렇다면, 개발자가 이런 AI 프로젝트의 성공 가능성을 어떻게 높일 수 있는지 살펴보자.

모든 문제가 AI를 필요로 하는 것은 아니다

기업은 AI를 다양한 비즈니스 문제에 적용하고 싶어하지만, 실제로는 AI가 필요 없거나 오히려 부적절한 경우가 많다. 모든 작업이 머신러닝 모델을 필요로 하는 것은 아니며, 단순한 분석이나 규칙 기반 시스템으로 충분한 상황에 AI를 억지로 적용하면 낭비로 이어진다. 데이터 과학자 노아 로랑은 “머신러닝으로 가장 잘 해결되는 비즈니스 문제는 극히 일부에 불과하다. 대부분은 좋은 데이터와 그 의미에 대한 이해만 있으면 된다”고 말했다. 즉, 탄탄한 데이터 분석과 소프트웨어 엔지니어링이 일상적인 과제에서는 AI 기술보다 더 효과적일 때가 많다.

최선의 전략은 명확성과 단순성이다. 텐서플로우나 파이토치 코드를 작성하기 전에 한 발 물러서서 “우리가 실제로 해결하려는 문제가 무엇이며, AI가 최선의 해결책인가?”라고 자문해야 한다. 때로는 간단한 알고리즘이나 심지어 스프레드시트 모델로 충분하다. ML 전문가 산티아고 발다라마는 팀이 AI로 뛰어들기 전에 단순한 휴리스틱이나 규칙부터 시작할 것을 조언했다. 발다라마는 “이 과정을 통해 해결해야 할 문제를 훨씬 더 잘 이해할 수 있고, 이후 ML 솔루션을 위한 기준선을 마련할 수 있다”고 강조했다.

쓰레기 데이터를 넣으면 쓰레기 결과가 나온다

적절한 AI 문제를 선택해도 잘못된 데이터를 투입하면 실패한다. 기업은 종종 데이터 준비라는 지루하지만 중요한 작업을 과소평가한다. 적절한 데이터 세트를 수집하고 정제하고 라벨링하며, 문제가 반영되도록 확보하는 과정이 필수다. 가트너 조사에 따르면, 거의 85%의 AI 프로젝트가 데이터 품질 문제나 관련 데이터 부족으로 실패한다. 훈련 데이터가 편향되거나 불완전하거나 오래됐으면, 아무리 고급 알고리즘을 사용해도 결과물은 쓸모가 없다.

데이터 문제는 AI 프로젝트 실패의 최상위 원인으로 꼽힌다. 기업은 종종 데이터가 부서별로 분산돼 있거나 오류가 많거나 문제와 무관하다는 사실을 뒤늦게 깨닫는다. 이상적인 데이터 세트로 훈련된 모델은 현실 세계 데이터를 만나면 무너진다. 반면 성공적인 AI/ML 프로젝트는 데이터를 핵심 자산으로 다룬다. 이를 위해 데이터 엔지니어링 파이프라인, 데이터 거버넌스, 도메인 전문성에 먼저 투자한 뒤에 고급 알고리즘에 비용을 쓰는 것이 바람직하다. 한 전문가는 데이터 엔지니어링을 AI의 “숨은 영웅”이라고 표현하며, 잘 정제된 데이터 없이는 “아무리 고급 AI 알고리즘이라도 무력해진다”라고 강조했다.

개발자 입장에서는 데이터 준비에 집중해야 한다는 의미다. 모델에 필요한 데이터를 확보하고, 확보한 데이터가 정말 필요한 데이터인지 검증해야 한다. 고객 이탈을 예측하려 한다면, 최신 고객 상호작용 데이터가 충분히 확보돼 있어야 한다. 그렇지 않다면 어떤 신경망 조정도 소용없다. AI에 대한 기대감에 눈이 멀어 ETL, 데이터 정제, 특성 엔지니어링 같은 필수 작업을 소홀히 해서는 안 된다.

성공 기준이 모호하다

많은 AI/ML 프로젝트가 ‘가치를 제공하겠다’는 막연한 목표만으로 시작되며, 그 가치를 어떻게 측정할지에 대한 합의가 없다. 명확한 지표의 부재는 AI 프로젝트 실패의 주요 원인으로 잘 알려져 있다. 예를 들어, 소매 기업이 고객 맞춤형 제안을 위해 머신러닝 모델을 도입했지만, 클릭률 증가나 고객당 수익 증대, 고객 유지율 개선 중 어떤 지표로 성공을 평가할지 결정하지 못하는 경우가 있다. 이런 명확성이 부족하면 기술적으로 정확한 모델조차 실패로 간주될 수 있다.

특히 생성형 AI 분야에서는 평가 체계 없이 모델을 출시하는 경우가 많다. 머신러닝 엔지니어 슈레이야 샨카르는 “대부분 출시 전에 체계적인 평가를 전혀 하지 않는다. 기대치는 오직 느낌에 의존한다”고 지적했다. 시연에서는 좋아 보일 수 있지만, 실제 운영에서는 무너진다. 성공을 정의하지 않고 시작하면 성공을 선언하기도, 실패를 인정하기도 어렵다.

해결책은 간단하다. 사전에 구체적인 성공 지표를 설정하는 것이다. 예를 들어 AI 기반 금융 사기 탐지 시스템을 구축한다면, “거짓 긍정 비율을 X% 줄이면서 사기 적발률을 Y% 높인다”와 같이 목표를 설정할 수 있다. 1~2개의 명확한 KPI를 정하면 팀의 노력이 집중되고 과장된 기대를 현실적으로 점검할 수 있다. 또한 현업과 협의할 수 있는 기회도 생긴다. “이 지표를 달성하면 프로젝트를 성공으로 볼 수 있는가?”라는 질문을 던질 수 있다. 개발자와 데이터 과학자는 이런 명확성을 요구해야 한다. 사후에 유리한 통계만 골라서 AI 프로젝트를 정당화하려 하기보다, 사전에 무엇이 중요한지 협상하는 것이 낫다.

피드백 루프를 무시한다

AI/ML 모델의 첫 버전을 만들어 배포했다고 해서 일이 끝난 것은 아니다. AI 프로젝트가 좌초하는 주요 원인 중 하나는 지속적인 학습과 반복 개선 계획이 부족하기 때문이다. 기존 소프트웨어와 달리 AI 모델의 성능은 시간이 지나며 변한다. 데이터 분포가 바뀌고, 사용자의 반응도 예측과 다르게 나타난다. 이상적인 AI 모델도 결국 현실 세계와 마주해야 한다. 피드백 루프를 무시하고 지속적인 모델 튜닝 계획을 생략하면 AI 프로젝트는 빠르게 시대에 뒤처진 실험으로 전락한다.

AI 성공의 핵심은 지속적인 모델 튜닝이다. 많은 팀이 AI 출시에 들뜬 나머지 이를 간과한다. 실무에서는 현대적 MLOps팀이 말하는 ‘데이터 플라이휠(Data Flywheeel)’을 구축해야 한다. 모델 출력을 모니터링하고 오류나 불확실성이 나타난 지점을 수집하고, 이를 기반으로 모델을 재훈련·개선해 개선된 버전을 다시 배포하는 과정이다. 샨카르는 “많은 팀이 출시 직후 AI 애플리케이션에 과도한 정확도를 기대하며, 데이터를 점검하고 새로운 테스트를 반영하고 시스템 전반을 개선하는 인프라 구축을 소홀히 한다”고 경고했다. 모델 배포는 종착점이 아니라 장거리 레이스의 출발선이다.

말뿐이고 실행이 없다

많은 기업이 인상적인 AI 프로토타입과 파일럿 프로젝트를 성공적으로 만들어 놓고, 이를 신뢰할 수 있는 대규모 운영 시스템으로 전환하는 데 필요한 노력을 투자하지 않는다. 왜 이런 일이 자주 발생할까? 앞서 언급한 과장된 열풍 때문이다. CEO와 이사회가 기업에 “AI 열차에 올라타라”고 압박할 때, 표면적인 성과라도 빨리 보여주려는 동기가 생긴다. 필자가 지적했듯이, 때로는 “AI의 가능성이 현재의 현실을 가리는 것을 허용해왔다.”

또 다른 요인은 ‘파일럿 지옥’이라고 부를 만한 현상이다. 기업은 다양한 AI 개념 검증 프로젝트를 시작하지만 최소한의 예산만 지원하고 본격 운영 시스템과는 분리해 둔다. 이런 파일럿 프로젝트들은 기술적 실패가 아니라 운영을 고려하지 않은 설계 때문에 사라진다. 끝없이 이어지는 단절된 실험은 비용만 늘리고 사기를 꺾는다. 실질적 이익 없이 ‘파일럿 피로감’만 누적된다. 이런 상황은 조직 내부의 역학이 부추기기도 한다. IDC의 아시시 나드카르니는 “대부분의 실패한 생성형 AI 프로젝트는 이사회 차원에서 시작된다. 강력한 비즈니스 논리가 있어서가 아니라 일종의 낙수 경제 논리로 추진된다”고 지적했다.

이 함정을 피하려면 프로토타입을 운영 시스템으로 강화하는 데 충분한 시간과 자원을 투자해야 한다. 실시간 데이터 흐름에 연결하고 사용자 피드백 채널을 추가하고 예외 상황을 처리하며, 프롬프트 필터링이나 민감 업무에 대한 인간 개입 같은 보호장치를 구현하는 등의 작업이 필요하다. 결국 성공 여부는 개발자에게 달렸다.

개발자가 나설 차례다

높은 실패율을 보면 기업용 AI에 냉소적이 되기 쉽다. 그러나 실패한 프로젝트 속에서도 성공 사례가 존재하며, 대부분 회의적인 태도와 창의력을 균형 있게 조화시킨 팀이 있다. 차이를 만드는 것은 보여주기보다 본질을 중시하는 개발자적 사고방식이다. 실제 운영 수준의 AI는 “프롬프트 전후에 이뤄지는 모든 작업”이라는 말처럼, 그 준비 과정이 핵심이다.

좋은 소식은 이런 실패를 바로잡을 힘이 개발자, 데이터 과학자, 기술 책임자 손에 있다는 것이다. 명확한 목표와 성공 지표가 없는 프로젝트에 대해서는 ‘어떻게’가 아니라 ‘왜’를 먼저 물어야 한다. 지루하지만 필수적인 데이터 품질 관리와 MLOps의 중요성을 조직에 끊임없이 상기시켜야 한다. AI는 마법이 아니라 엔지니어링이라는 점을 분명히 해야 한다. AI 솔루션을 도입할 때는 시연용이 아니라 제품 전체 생명주기를 고려한 계획을 세우고 추진해야 한다.

dl-itworldkorea@foundryco.com