하둡 택한 신용 평가 기업 '1천 건 기록을 6시간에 처리'

익스페리언은 오픈소스 소프트웨어, 마이크로서비스, API 기술 덕분에 페타바이트 규모의 데이터를 신속하게 처리해 고객에게 제공할 수 있게 됐다.


Images Credit: GettyImages
전 세계 수억 고객으로부터 수집되는 페타바이트 규모의 데이터 처리 작업은 정보서비스 기업인 익스페리언(Experian)에게 수개월이 걸리던 부담스러운 일이었다. 그러나 새로운 데이터 분석 시스템을 도입해 이제는 단 몇 시간 만에 작업을 처리할 수 있게 됐다. 이 회사는 현재 하둡(Hadoop) 파일 프로세싱 시스템 기반 데이터 패브릭 레이어를 마이크로서비스 및 API 플랫폼과 함께 구축하고 있다. 이를 통해 기업 고객 및 소비자들이 신용 평가 보고서와 정보에 더욱 빠르게 접근할 수 있도록 하는 것이 익스페리언의 목표다.

익스페리언의 CIO 베리 리벤슨(왼쪽 사진)은 “새로운 솔루션을 통해 구현된 실시간 정보 접근 역량은 기존의 처리 시간을 큰 폭으로 줄여주며 고객에게 새로운 가치를 전달할 가능성을 열어줬다”라고 이야기했다.

빅데이터 파일럿 프로젝트용 오픈소스 툴로서 하둡은 고객에게 정보 기반 상품 및 서비스를 전달할 방법을 고민하는 CIO들에게 필수적인 분석 전략 구현 도구로 받아들여지고 있다. 이 테크놀로지는 병렬 프로세싱 테크닉을 활용해 소프트웨어 엔지니어들이 SQL 기반 데이터 관리 툴을 이용할 때보다 신속하게 대량의 데이터를 처리할 수 있도록 지원한다.

하둡을 통한 보다 빠른 데이터 프로세싱
2015년 익스페리언에 합류한 리벤슨은 이들 기업이 여전히 메인프레임 시스템을 통해 데이터를 처리하고 있다는 사실을 알게 됐다. 기업의 데이터 규모가 기하급수적으로 늘어나는 상황 속에서, 소프트웨어 엔지니어들은 데이터 파일들을 단편적으로 소화해 처리하고 별도의 정보 정상화, 청소 과정까지 거친 후에야 현업에 전달할 수 있었던 것이다. 새로운 데이터 관리 요청이 전달되면 더 많은 MIPS를 추가하는 방식으로 대응했다. 리벤슨은 “아마존닷컴(Amazon.com)에서 신발에서 컴퓨팅 파워까지, 원하는 것은 무엇이건 몇 번의 클릭만으로 주문할 수 있는 이 시대에서 생존하려면, 우리는 좀더 매끄러운 데이터 관리와 실시간의 데이터 처리를 가능케 하는 전략을 마련해야 했다”고 당시 상황을 설명했다.

새로운 데이터 툴을 시험하는 여러 기업과 마찬가지로, 익스페리언의 현업부서 역시 구축형 샌드박스 및 아마존 웹 서비스(AWS, Amazon Web Services) 환경에서 클라우데라(Cloudera), 호튼웍스(Hortonworks), 맵알(MapR) 등 다양한 하둡 솔루션들을 실험했다. 리벤슨은 익스페리언이 정말 효과적으로 데이터로부터 통찰력을 도출하고 새로운 상품들을 수백만의 고객들에게 전달하려면 하나의 플랫폼을 선정해 표준화의 대상으로 삼는 전략이 필요하다고 판단했다.

검토 끝에 리벤슨은 클라우데라를 제1 플랫폼으로 선정했다. 클라우데라는 멀티테넌트 시스템으로서 익스페리언의 하이브리드 클라우드 내부에 구축형으로 구동된다. 리벤슨은 필요한 경우 AWS를 이용해 컴퓨팅 용량을 확장할 수 있다고 덧붙였다.

익스페리언의 하둡 데이터 패브릭을 통해 성과를 거둔 초기 고객 가운데 한 곳인 남미 콜롬비아 지역의 신용 조회사의 경우, 하둡의 실시간 처리 기능을 활용해 1,000건의 기록을 6시간 이내에 처리하는 데 성공했다. 리버슨에 따르면, 기존의 메인프레임 시스템을 통한 데이터 정상화 및 정리 과정을 통해서라면 6개월이 소요됐을 규모의 작업이다. 리벤슨은 “고객들에게 실시간에 가까운 데이터 처리 기능을 제공하며, 데이터의 시의성 역시 개선될 수 있었다”라고 이야기했다.

IDC에 따르면, 하둡은 빅데이터 및 비즈니스 애널리틱스 테크놀로지 시장에서 꾸준히 그 점유율을 확대하며 2019년에는 1,870억 달러 규모까지 성장할 전망이다. 이러한 전망과 익스페리언 등 실제 기업들의 사례들이 늘어나는데도, 더 많은 기업들이 이에 기반을 둔 표준화에 나서지 않는 데에는 이유가 있다.

우선, 소프트웨어의 시행과 관련한 어려움이 문제다. 하둡은 병렬 프로세싱과 비정형 정보 처리라는, 상반되는 데이터 조작을 요구하는 기술로, 이를 온전히 다룰 수 있는 엔지니어 인력은 아직 충분하지 않은 것이 현실이다.

리벤슨은 “애플리케이션들에 대해 말하는 것과 생각하는 것은 완전히 다른 방식이다. 우리는 각 노드는 실패의 가능성을 내포하고 있음을 이해해야 한다. SQL 코드 작성에 익숙한 대부분의 소프트웨어 개발자들에게 이러한 사고방식은 매우 낯선 것이다. 대상을 적절히 구축, 설계할 수 있는 전문 인력을 확보하는 일은 우리 앞에 놓인 가장 큰 장애물이다”고 설명했다.

리벤슨은 하둡을 다루는 작업에는 SQL에 익숙한 데이터베이스 엔지니어들 보다는 젊은 학부 졸업생들이나 통계학자, 데이터 과학자들이 더 적합하다고 밝혔다. 그러나 인력에 대한 수요 급증으로 최근에는 SQL 엔지니어, 학부 졸업생, 데이터 과학자들이 팀을 이뤄 하둡을 다루는 방식도 확산되고 있다고 덧붙였다.

새로운 지원 구조: 마이크로서비스와 API 요청
하둡 이전을 통해 익스페리언의 엔지니어들은 자사 디지털 상품 이전 관련 데이터 준비가 야기한 병목 현상을 해결할 수 있었다. 은행이나 금융 서비스 등 기업 고객들은 익스페리언의 신형 API 플랫폼 및 마이크로서비스 아키텍처를 통해 신용 평가 보고서를 비롯한 다른 상품들에 접근할 수 있게 됐다. 이 신형 솔루션들은 애플리케이션 기능을 분리하고 느슨하게 이어주는 구조를 취한다. 예를 들어 한 금융 서비스 기관이 고객의 신용 평점을 요청하거나 신용 카드 지불 기록을 확인하고자 하는 경우, 전체 애플리케이션을 다운로드하고 사용하는 게 아니라 익스페리언을 통한 API 요청으로 원하는 특정 데이터만 회수할 수 있게 된다.

리벤슨은 “우리는 전통적인 구축형 앱과는 다른, 마이크로서비스를 통한 정보 소비를 원하는 고객들의 수요를 확인할 수 있었다. 모든 금융 기관들이 마이크로서비스 모델로의 이전을 진행 중이다. API 메커니즘 역시 고객들이 원하는 정보 소비 방식으로 가고 있다”라고 설명했다.

익스페리언의 보다 현대적인, 모듈형 아키텍처(하둡, 마이크로서비스, API)로의 이전은 기업의 소프트웨어 개발 전략에도 변화를 요구하고 있다. 기존의 소프트웨어 개발이 철저히 명문화돼 수개월에 걸쳐 단계별로 진행되는 과정이었다면, 이제는 각 기능을 하나하나의 조각으로 전달하는 방식으로 변화한 것이다. 리벤슨은 IT부서가 애자일, 데브옵스 방법론을 채택해 최소한의 골격만을 갖춘 상품을 생성해 테스트를 거치며 필요한 부분을 보완하고 다듬어나가는 전략을 취하고 있다고 소개했다.

리벤슨은 “하이브리드 클라우드 모델, 마이크로서비스 아키텍처, API 플랫폼으로의 이전을 통해 익스페리언은 오류를 줄이고 비용을 절감하며, 혁신을 가속하는 등 커다란 가치를 창출하는 데 성공했다”라고 말했다.