AI 주도형 개발에서 빈약한 신뢰를 회복하는 방법

소프트웨어 개발자는 그 어느 때보다 생산성이 높아졌지만 불안감도 커졌다. AI 코딩 어시스턴트와 생성형 모델의 부상은 소프트웨어 개발 방식을 근본적으로 바꿨다. 그러나 함정이 있다. 스택 오버플로의 2025년 개발자 설문조사에 따르면, 전체 개발자의 84%가 AI를 현재 사용하거나 도입할 계획이라고 답했다. 2024년 76%에서 크게 증가한 수치다. 하지만 AI 결과의 정확성을 신뢰한다고 답한 비율은 33%에 불과했다. 이 신뢰 격차는 AI 한계에 대한 현장의 경험을 반영한다. AI가 생성한 코드는 “거의 맞지만 완전히 정확하지는 않은” 경우가 많다고 개발자의 66%가 답했다. 이로 인해 개발자는 AI 코드의 디버깅과 다듬기에 추가 시간을 투입하게 되면서 생산성이 눈에 띄게 떨어진다.

이는 개발자만의 문제가 아니다. 오늘날 AI 기반 애플리케이션을 개발하려면 개발자와 데이터 과학자, 프롬프트 엔지니어, 제품 관리자, UX 디자이너 등 다양한 직군이 참여한다. 각 직군은 AI가 만든 신뢰 격차를 줄이기 위해 고유한 역할을 맡으며, 개발자는 이런 다양한 라인을 조율해 신뢰할 수 있는 상용 코드를 만드는 중심 역할을 수행한다.

‘거의 맞는’ 코드를 고치는 일

개발자가 삶을 더 편하게 해주겠다던 도구에 점점 실망하는 이유는 한 단어로 요약된다. 바로 ‘거의’다. 스택 오버플로의 2025년 설문에서 66%의 개발자가 AI 출력물이 “거의 맞다”고 답했으며, 복잡한 문제를 잘 처리한다고 생각하는 비율은 29%로, 2024년 35%에서 하락했다. 이런 회의론은 합리적이다.

2025년의 다른 조사에서 엔지니어링 책임자의 약 60%가 AI 생성 코드가 절반 이상에서 버그를 유발한다고 답했고, AI 코드 디버깅에 자신의 코드보다 더 많은 시간을 쏟는 경우가 많았다. 결과적으로 보이지 않는 생산성 세금이 발생한다. 전체적으로는 여전히 개발 속도가 빨라지지만, 누군가가 체계적으로 극단적인 상황이나 보안 취약점, 아키텍처 불일치를 잡아내야만 가능하다. 이 ‘누군가’는 항상 적절한 맥락과 가드레일을 갖춘 개발자다.

소프트웨어 개발자는 여전히 많은 코드를 작성하고 시스템을 통합하지만, 이제 AI 감독 역할까지 맡게 됐다. 오늘날 개발자는 원본 코드를 작성하는 데 쓰는 시간만큼 AI 생성 코드를 검토하는 데 시간을 들인다. 프로덕션에 배포되기 전, ‘거의 맞는’ 코드를 완전히 올바른 코드로 만드는 최종 방어선 역할을 한다. 앞서 언급했듯, 개발자는 이제 AI의 감독자이자 멘토, 검증자다.

특히 엔터프라이즈 환경에서 개발자는 품질과 신뢰성을 지키는 수호자로, AI가 기여한 코드를 승인하거나 거부해 제품의 완전성을 보호한다. 프롬프트 엔지니어링이 별도 전문 분야로 자리잡으려 했지만, 실제로는 많은 개발자와 데이터 과학자가 이 기술을 습득하고 있다. 스택 오버플로우 조사에서도 지난 1년간 응답자의 36%가 AI를 위해 코딩을 새로 배웠다고 답해, AI 중심 역량이 전반적으로 얼마나 중요해졌는지를 보여줬다.

좋은 소식이자 나쁜 소식은, 이 문제가 개발자만의 문제가 아니라는 점이다. 이제 코드를 만드는 사람은 개발자뿐만이 아니다. 대표적인 다른 역할은 다음과 같다.

• - 모델과 데이터를 다루는 데이터 과학자와 머신러닝 엔지니어는 신뢰 구축의 핵심 역할을 맡는다. 잘 훈련된 모델은 환각이나 무의미한 출력을 내놓을 가능성이 낮다. 이들 전문가는 모델을 고품질 대표 데이터로 학습시키고 엄격하게 평가해야 한다. 또 AI 코드 제안 기능이 안전하지 않은 패턴이나 이미 알려진 취약 함수를 생성하지 않도록 가드레일을 구현한다.
• - 제품 관리자와 UX 디자이너는 모든 소프트웨어 프로젝트의 큰 그림을 그린다. AI를 어디에 적용하고 어디에는 적용하지 않을지 결정하고, 사용자가 AI 기능과 어떻게 상호작용하며 얼마나 신뢰할지를 설계한다. 유능한 제품 관리자는 “이 AI 기능이 고객에게 정말 준비됐는가? 품질 관리를 위해 인간 검토자가 필요한가? 사용자 기대치를 어떻게 설정할 것인가?” 같은 질문을 던진다. 또 AI 감사 가능성(auditability)과 설명 가능성(explainability) 같은 기능을 우선순위에 올릴 수 있다. UX 디자이너는 AI 결과의 불확실성을 시각적 신호로 표시해 이를 보완한다. 뛰어난 제품 관리자와 UX 디자이너는 AI를 전지전능한 해답이 아닌 조종사 보조 역할로 만들어 신뢰를 높인다.
• - 품질 보증, 보안, 운영팀 등도 AI 애플리케이션 개발의 필수 역할이다.

이처럼 많은 인력이 참여하는 환경에서 전통적인 소프트웨어 개발자의 위치는 어디일까? 여러 면에서 개발자는 AI 기반 소프트웨어 프로젝트의 지휘자가 됐다. 제품 관리자의 요구사항을 코드로 구현하고, 데이터 과학자의 모델과 가이드를 반영하며, 프롬프트 엔지니어의 수정사항을 적용하고, 디자이너와 함께 사용자 인터페이스 동작을 조율한다. 특히 개발자는 AI가 결코 가지지 못한 시스템 전체의 거시적 관점을 제공한다. LLM은 파이썬이나 자바 코드를 즉시 생성할 수 있지만, 시스템 아키텍처나 특정 비즈니스 로직, 레거시 스택의 특이점을 이해하지 못한다. 개발자는 이를 이해하며, 이 맥락이야말로 핵심이다.

무엇보다, 개발자를 대체 가능한 부품이 아니라 AI 리더로 대우하는 조직은 실질적인 혜택을 보고 있다. 흥미롭게도 스택 오버플로우 데이터에 따르면, AI를 더 자주 사용하는 개발자가 더 나은 경험을 하고 있다. AI를 매일 쓰는 개발자의 88%가 AI 도구에 호의적이었지만, 주 1회 사용하는 경우는 64%에 그쳤다. 이는 적절한 교육과 통합 환경이 마련되면 개발자가 언제 AI를 신뢰하고 언제 의심해야 하는지를 배울 수 있다는 사실을 시사한다.

신뢰를 회복하는 방법

AI를 둘러싼 과도한 기대와 우려 속에서, AI가 모든 소프트웨어를 완벽하게 작성하는 미래를 상상하거나, AI의 모든 결과를 믿을 수 없는 미래를 두려워하기 쉽다. 그러나 현실은 언제나 그렇듯 그 중간에 있다. 최신 데이터와 개발 현장의 경험은 AI가 소프트웨어 개발의 강력한 증폭기가 되고 있음을 보여주지만, 성공 여부는 전적으로 AI를 다루는 사람에게 달려 있다.

그렇다면 신뢰를 주는 AI 애플리케이션 개발 프로세스는 어떤 모습일까?

• - AI 시스템에 견제와 균형 장치를 구축해야 한다. AI가 코드를 제안하면 자동화된 테스트와 오류 검사를 통해 명백한 오류를 걸러내고, 나머지는 반드시 사람이 코드 리뷰를 해야 한다. AI가 엔터프라이즈 애플리케이션에서 금융 예측과 같은 추천을 제공한다면, 신뢰 점수나 설명을 제공하고 중요한 결정은 반드시 사람이 검증하게 해야 한다. 이는 특히 책임이 따르는 역할에서는 인간 검증이 필요하다는 설문 조사 결과와 일치한다.
• - 사람이 루프에 있어야 한다. 이는 자동화를 거부하라는 뜻이 아니라, 자동화를 인간 전문성을 보완하는 도구로 사용하라는 의미다. 실제로는 개발자가 포럼이나 동료를 통해 AI 답변을 재확인하도록 장려하는 단순한 방식부터 어려운 문제를 인간 전문가에게 전달하는 AI를 설계하는 복잡한 방식까지 가능하다. 어떤 경우든 안전망이 있다는 것을 알 때 신뢰가 생긴다.
• - 역할을 명확히 하고 기대치를 설정해야 한다. 팀 내에서 AI가 관여할 때 누가 어떤 책임을 지는지 분명히 해야 한다. 데이터 과학자가 모델을 제공하면, 소프트웨어 개발자가 애플리케이션 맥락에서 결과를 검증하는 식이다. 책임 공백을 피해야 ‘거의 맞는’ 버그 같은 문제가 누군가에 의해 반드시 잡히게 된다.
• - AI를 다루는 사람에게 투자해야 한다. 이것이 어쩌면 가장 중요한 요소다. 숙련된 인력이 AI를 올바르게 사용할 때만 AI의 이점을 실현할 수 있다. 개발자 교육, 데이터 과학자 채용, 디자이너 역량 강화 등을 통해 조직은 신뢰할 수 있는 사람을 중심에 두고 신뢰할 수 있는 AI를 만든다.

결국, AI 시대의 소프트웨어 개발자는 신뢰의 수호자다. 개발자는 더 이상 단순한 코드 작성자가 아니라, 지능형 기계를 안내하고 그 출력을 신뢰할 수 있는 솔루션으로 통합하는 AI 부조종사다. ‘개발자’의 정의는 소프트웨어 제작 과정의 다양한 참여자를 포괄하도록 확장됐지만, 모든 참여자는 공통된 임무를 갖고 있다. 기술이 우리를 잘 돕도록 하고, 절대 편법을 쓰지 않게 하는 것이다. 프롬프트 엔지니어에서 제품 관리자에 이르기까지 모든 역할이 AI의 ‘거의 맞는’ 답을 상용 소프트웨어 수준의 결과로 다듬는 데 기여한다.

dl-itworldkorea@foundryco.com

Matt Asay editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지