"데이터 늪에서 속도 건져올리다" 바이낸스가 보이지 않는 병목에 집착하는 이유

[최진홍 기자] 글로벌 최대 가상자산 거래소 바이낸스는 자체 개발한 데이터 최적화 도구 스몰 파일 닥터 프레임워크를 통해 대규모 데이터 처리 과정의 비효율을 제거하고 시스템 안정성을 확보했다고 16일 밝혔다.

빅데이터 시대의 역설은 데이터의 양보다 파편화된 파일의 개수에서 발생한다. 데이터 웨어하우스에 쌓이는 수많은 스몰 파일은 단순한 저장 공간의 문제를 넘어선다. 좁쌀처럼 흩어진 데이터는 메타데이터 처리 부담을 가중시키고 시스템이 데이터를 읽어들이는 과정에서 불필요한 증폭을 유발한다. 이는 곧 서비스 지연 시간 악화로 이어진다. 초단위 거래와 이상 탐지가 실시간으로 이뤄져야 하는 가상자산 거래소 입장에서 이러한 미세한 지연은 곧장 사용자 경험 저하와 금전적 손실로 직결될 수 있는 치명적 리스크다.

바이낸스가 이번에 도입한 프레임워크는 이러한 데이터 찌꺼기를 정제하는 시스템적 해결책이다. 기존에 개발자들이 수작업 스크립트로 정리하던 방식에서 벗어나 상시 운영 가능한 자동화 구조를 구축했다. 바이낸스는 S3와 HDFS 등 스토리지의 메타데이터를 분석해 파일 수가 지나치게 많거나 크기가 작은 디렉터리를 우선 선별한다. 이후 데이터 소비 패턴을 분석해 최적화가 시급한 곳부터 수술대에 올린다.

핵심은 흩어진 데이터를 의미 있는 크기로 뭉치는 작업이다. 선별된 테이블과 파티션 내의 파일들은 목표 크기인 256MB를 기준으로 병합된다. 이 과정에서 무의미한 반복 작업을 막기 위한 안전 규칙이 적용되며 클러스터 과부하를 방지하기 위해 트래픽이 적은 오프피크 시간대에만 작업이 수행되도록 설계됐다.

성과는 수치로 증명됐다. 바이낸스는 해당 프레임워크를 적용해 533개 테이블을 최적화했다. 그 결과 5900만개에 달하던 스몰 파일은 290만개 수준으로 급감했다. 파일 개수가 95% 이상 줄어들면서 데이터 접근 속도가 빨라진 것은 물론 연간 약 9만~10만달러 규모의 컴퓨팅 및 스토리지 비용을 절감하는 효과까지 거뒀다. 구글이나 아마존 같은 글로벌 빅테크 기업들이 인프라 효율화를 위해 막대한 리소스를 투입하는 것과 같은 맥락이다.

안전장치도 마련했다. 테이블과 파티션별로 작업 전후의 파일 수와 실행 시점 등을 기록하는 거버넌스 로그를 도입해 작업이 중간에 중단되더라도 중복 처리 없이 해당 지점부터 재개할 수 있다. 바이낸스는 향후 이 시스템을 스케줄러와 통합해 파티션 생성 즉시 최적화 작업이 수행되도록 구조를 고도화할 계획이다.

바이낸스 관계자는 "스몰 파일 닥터는 데이터 규모와 서비스 복잡성이 증가하는 환경에서 바이낸스의 시스템 안정성을 유지하는 데 중요한 역할을 하고 있다"며 "지속적인 프레임워크 고도화를 통해 보이지 않는 병목을 유발하는 스몰 파일 문제를 근본적으로 해결하겠다"고 말했다.

<저작권자 Copyright ⓒ ER 이코노믹리뷰 무단전재 및 재배포 금지>