프롬프트 주입으로 흔들리는 CI/CD 보안 : zum 뉴스

CI/CD 파이프라인에 내장된 인공지능 에이전트는 정교하게 구성된 깃허브 이슈나 풀리퀘스트 텍스트 속에 숨겨진 고권한 명령을 실행하도록 속을 수 있다.

아이키도 보안 연구진은 이 문제가 깃허브 액션, 깃랩 CI/CD 같은 워크플로가 제미나이 명령줄 도구, 클로드 코드 액션, 오픈AI 코덱스 액션, 깃허브 인공지능 추론 기능 등과 결합되는 과정에서 발생한다고 밝혔다. 이 과정에서 이슈 본문, 풀리퀘스트 설명, 커밋 메시지 등 사용자 제공 문자열이 검증 없이 인공지능 에이전트 프롬프트로 전달돼 프롬프트펀드 공격이 성립한다.

워크플로가 인공지능에 허용한 권한 범위에 따라 저장소 콘텐츠가 의도치 않게 수정되거나, 비밀 정보가 노출되거나 다른 고위험 행위로 이어질 수 있다.

연구진은 프롬프트펀드 관련 보고에서 “깃허브 액션·깃랩 CI/CD에 연결된 인공지능 에이전트가 신뢰할 수 없는 사용자 입력을 처리하고 있으며, 높은 권한을 지닌 토큰으로 셸 명령을 실행하는 상황이 발생한다”라고 밝혔다. 연구진은 테스트 환경에서 문제를 재현했으며 영향받는 기업에 통보했다고 전했다.

연구진은 의심되는 깃허브 액션 설정 파일(와이엠엘)에 오픈소스 탐지 규칙을 적용하거나, 깃허브·깃랩 저장소에서 자사 무상 코드 스캐너를 사용할 것을 권고했다.

아이키도 보안은 제미나이 명령줄 도구에서 문제를 발견한 후 구글이 패치를 적용했다고 밝혔으며, 구글은 관련 질의에 즉각 답변하지 않았다.

프롬프트펀드가 작동하는 이유

프롬프트펀드 공격은 두 가지 잘못된 파이프라인 구성 조건이 동시에 충족될 때 가능해진다. 첫째, CI/CD 워크플로 내 인공지능 에이전트가 강력한 토큰(예: 깃허브 토큰, 클라우드 접근 키)에 접근할 수 있는 경우, 둘째, 프롬프트가 사용자 제어 필드를 그대로 포함하는 경우다.

연구진은 이런 구조에서 프롬프트 주입이 훨씬 쉬워진다고 설명했다. 공격자는 공개 저장소에서 이슈를 열고 숨겨진 지시문이나 겉보기에는 무해한 댓글을 삽입하면, 모델이 이를 명령으로 해석할 수 있다. 연구진은 “대규모 언어 모델에 프롬프트를 보낼 때 커밋 메시지를 함께 포함한다고 상상해보라. 커밋 메시지가 악성 프롬프트라면 모델이 수정된 데이터를 반환하게 만들 수 있다”라고 설명했다. 모델의 응답이 CI/CD 도구 명령에 그대로 전달될 경우, 공격자는 민감한 정보를 훔치도록 도구 동작을 조작할 수 있다.

아이키도 보안은 실제 토큰이 아닌 테스트 환경에서 이를 시연하며, 제미나이 명령줄 도구가 공격자가 작성한 깃허브 이슈만으로 임의 명령을 실행하고 자격 증명을 노출하도록 조작될 수 있음을 보였다. 연구진은 “제미나이 명령줄 도구만의 문제가 아니라, 유사한 구조는 다양한 인공지능 기반 깃허브 액션 전반에서 발견된다”라고 언급하며, 여기에는 클로드 코드, 오픈AI 코덱스, 깃허브 인공지능 추론 도구 등이 포함된다고 밝혔다.

이들 도구는 모두 이슈·풀리퀘스트 설명·사용자 제어 텍스트를 통해 조작될 수 있으며, 워크플로는 이를 높은 권한의 깃허브 액션 토큰으로 실행하게 된다.

대응 방안

아이키도는 ‘오픈그렙’ 도구를 통해 탐지 규칙을 공개했으며, 개발자와 보안 팀은 이 규칙을 활용해 YAML 기반 워크플로를 자동으로 검사하고 신뢰할 수 없는 입력이 인공지능 프롬프트로 전달되는지 확인할 수 있다.

연구진은 현재까지 전체 워크플로 가운데 일부만 명확한 악용 경로가 확인됐으며, 다른 기업과도 협력해 근본적 취약점을 해결하고 있다고 밝혔다. 일부 워크플로는 공동작업자 수준 권한이 있어야 악용되지만, 일부는 단순히 이슈나 풀리퀘스트를 생성하는 것만으로도 악용이 가능하다.

개발 팀은 인공지능 에이전트의 권한을 제한하고, 신뢰할 수 없는 사용자 콘텐츠가 프롬프트에 포함되지 않도록 하며, 인공지능 출력물을 신뢰할 수 없는 코드로 간주하고, 깃허브 토큰이 유출될 경우 손상을 최소화하는 보호 조치를 취해야 한다.

아이키도 보안은 자사 코드 스캐너가 위험한 깃허브 액션 구성(위험한 인공지능 프롬프트 흐름 포함), 과도한 권한을 가진 토큰, 취약한 CI/CD 패턴 등을 식별하는 데 도움이 된다고 밝혔다.

엔터프라이즈 환경에서는 CI/CD 파이프라인 보안을 강화하기 위한 추가 모범 사례도 도입할 수 있다.

dl-itworldkorea@foundryco.com