[스노우플레이크 서밋] “변환 없는 데이터 통합”…오픈플로우로 ETL 복잡성 없앤다

[디지털데일리 이안나 기자] 스노우플레이크가 AI 시대에 맞는 데이터 통합을 위해 새로운 데이터 이동 서비스 ‘오픈플로우(OpenFlow)’를 공개했다. 기존 수작업 위주 데이터 파이프라인 구축 과정을 자동화해, 기업들이 복잡한 인프라 관리 대신 데이터 분석과 AI 개발에 집중할 수 있도록 지원한다.

3일(현지시간) 미국 샌프란시스코 모스콘센터에서 열린 ‘스노우플레이크 서밋 2025’에서 크리스티안 클라이네만 스노우플레이크 제품 총괄 부사장은 “최고의 변환 도구는 변환 자체가 필요 없는 것”이라며 “오픈플로우는 어디서든 데이터를 가져와서 스노우플레이크 내부와 동일한 개발 경험으로 만든다”고 설명했다.

그동안 기업들은 다양한 소스의 데이터를 스노우플레이크에 통합하기 위해 수많은 도구와 스크립트를 조합해 파이프라인을 수작업으로 설계해야 했다. 이 과정은 추출·변환·적재(ETL) 전문가나 인프라 운영 인력을 요구했고, 설계와 유지보수에 상당한 시간과 비용이 들게 만들었다. 특히 생성형 AI가 요구하는 규모와 속도, 데이터 다양성을 기존 방식으로는 따라가기 어려운 상황이었다.

오픈플로우는 이런 문제를 해결하기 위한 통합 데이터 이동 서비스다. 수백개 사전 구축된 확장 가능한 커넥터를 통해 고객들은 AI 모델, 앱, 데이터 에이전트를 스노우플레이크 플랫폼에서 직접 통합할 수 있게 된다. 구글 애즈, 서비스나우, 워크데이 등 타사 서비스형소프트웨어(SaaS) 데이터 소스는 물론, 클라우드 저장소 데이터도 실시간으로 스노우플레이크로 가져올 수 있다. 정형, 비정형, 배치, 스트리밍 데이터 등 모든 데이터를 지원한다.

기술적으로는 오픈소스 아파치 나이파이(Apache NiFi) 기반으로 설계돼 안정성을 확보했다. 초당 최대 10GB 스트리밍 데이터를 수집하고 5~10초 내 분석 가능한 상태로 전환하는 초저지연 처리 성능을 제공한다. 또한 고객이 선택한 클라우드 환경에서 운영할 수 있는 BYOC(Bring Your Own Cloud) 배포 모델로 현재 AWS 환경에서 정식 출시됐으며, 향후 다른 클라우드로도 확대할 예정이다.

실제 먼저 도입한 기업들 성과도 나타나고 있다. 제약회사 아스트라제네카는 스노우플레이크 도입 후 데이터 제품 개발 속도가 2배 빨라지고 비용은 30% 절감됐다고 전했다. 브라이언 듀먼 아스트라제네카 최고데이터책임자(CDO)는 “과거에는 여러 기술을 사용해 데이터를 통합하는 복잡한 환경이었지만 오픈플로우를 통해 통합된 플랫폼에서 효율성을 높일 수 있게 됐다”고 말했다.

스노우플레이크는 오픈플로우와 함께 데이터 개발 환경도 통합적으로 개선하고 있다. 오픈소스 워크플로우 도구인 dbt(data build tool)를 스노우플레이크에 네이티브로 통합해, 개발자들이 깃(Git) 연동 환경에서 dbt 프로젝트를 직접 구축하고 관리할 수 있도록 했다. AI 기반 코드 추천, 시각적 코드 변경 비교 등 기능도 포함된다.

또한 ‘스노우플레이크 워크스페이스’라는 새로운 파일 기반 개발 환경을 통해 데이터 엔지니어들이 몇 분 만에 커스텀 커넥터를 생성하고 실행할 수 있도록 지원한다. 클라이네만 부사장은 “우리는 여러분이 데이터를 통합하고 연결하도록 돕고, 사용자가 그 데이터에 쉽게 접근할 수 있도록 지원하고 싶다”고 강조했다.

150억달러 규모로 추산되는 데이터 통합 시장에서 스노우플레이크는 오픈플로우를 통해 AI 시대에 맞는 데이터 인프라 플랫폼으로서 입지를 강화하려는 전략이다. 현재 금융정보업체 팩트세트(FactSet) 자회사 어윈(Irwin), 보안업체 시큐로닉스(Securonix) 등이 오픈플로우를 도입해 데이터 거버넌스를 유지하면서 AI 혁신 기반을 구축하고 있다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -