[DD 프리즘] 빅 데이터를 향한 IBM의 쌍두마차

2012년 03월 27일 (화)

- 출처 : http://www.ddaily.co.kr

ⓒ 디지털데일리, 심재석 기자 sjs@ddaily.co.kr

[디지털데일리 심재석기자]

최근 IT업계에 부는 빅 데이터 바람은 열풍을 넘어 광풍에 가까울 정도다. 바람의 속도가 너무 빨라 기존의 IT업체들은 따라가기도 벅찬 상황이다.특히 빅 데이터 기술은 주로 구글, 페이스북, 넷플릭스와 같은 인터넷 서비스 업체들이 주도하고 있다.

주로 기업에 제품과 서비스를 제공하는 전통의 IT업체들이 기존의 솔루션을 빅 데이터로 재포장하는데 급급한 이유가 여기에 있다.

IBM은 상대적으로 빅 데이터 분석 면에서 한 발 앞서 있다. IBM의 빅 데이터 분석 능력은 인공지능 컴퓨터 ‘왓슨’으로 눈길을 끈 바 있다. 지난 해 초 2011년 초 미국 인기 TV 퀴즈쇼인 ‘제퍼디!’쇼에서 우승한 왓슨은 약 100만 권의 책을 저장해 두고 이를 분석해 퀴즈에 대한 답을 찾아냈다.

포레스터 리서치는 지난 2월 ‘포레스터 웨이브’ 보고서에서 기업용 하둡 솔루션을 제공하는 업체 중에서 IBM과 아마존이 가장 경쟁 우위에 있다고 발표한 바 있다.

실제로 IBM은 기존 제품과 서비스를 빅 데이터로 재포장하는 수준을 넘어 빅 데이터 분석을 위한 새로운 솔루션을 선보이고 있다. 대표적인 것이 ‘IBM 인포스피터 스트림즈(InfoSphere Streams, 이하 스트림즈)’와 ‘IBM 인포스피어 빅인사이트(InfoSphere BigInsights, 이하 빅인사이트)’다.

스트림즈는 실시간으로 발생하는 데이터를 저장하기 전에 분석하는 기술이다. 이는 지난 2003년 IBM이 미국 정부와의 협력으로 개발한 솔루션으로, 센서네트워크 등을 통한 실시간 데이터를 캡처해 분석하는 것이 특징이다.

지금까지 IT산업에서 분석 작업은 데이터웨어하우스(DW) 등 DB에 저장된 데이터를 대상으로 했다. 빅 데이터 시대를 이끌고 있는 하둡도 데이터를 분산병렬 저장한 후 분석하는 것이 목표다. 하지만 끝도 없이 쏟아지는 데이터를 모두 저장한다는 것은 비용적으로 부담으로 작용한다. 아무리 저사양 시스템을 활용한다고 해도 데이터의 양이 늘어나면 저장비용도 늘어난다. 또 저장후 분석하는 것은 속도를 느리게 하는 요인이 돼 왔다.

반면 스트림즈는 데이터가 발생하면 저장하지 않고 순간적으로 분석하는 것을 목표로 한다. 일단 분석이 끝난 후 저장 여부를 결정한다. 온타리오 병원의 미숙아 치료 사례가 대표적인 활용사례다. 온타리오 병원은 스트림즈를 통해 미숙아의 상태를 실시간으로 분석하고 있다. 각종 의료장치와 센서를 통해 실시간으로 수집된 심장 박동, 호흡 상태 등과 같은 신체 정보 관련 데이타를 실시간으로 분석해 의료진에게 전달하는 것이다. IBM은 스트림즈는 분석 알고리즘을 쉽게 프로그램화 할 수 있는 툴을 제공한다. 이를 통해 긴박한 순간을 미리 대비하거나 빠르게 감지할 수 있다고 IBM 측은 설명했다.

한국IBM 정보관리사업부 이지은 실장은 “스트림즈는 저장하지 않고 실시간으로 분석하고, 필요하다면 분석 후 다시 저장해 나중에 트렌드 분석 자료로 쓸 수 있다”면서 “빅 데이터는 대용량 데이터을 처리하는 것도 중요하지만, 실시간 데이터를 빠르게 처리하는 속도(velocity)도 중요하다”고 말했다.

빅 데이터 열풍에 대응하는 IBM의 두 번째 무기 ‘빅인사이트’는 일반 기업이 하둡을 좀더 쉽게 활용할 수 있도록 지원하는 솔루션이다. 하둡은 빅 데이터 시대를 연 뛰어난 도구이지만, 일반 기업들은 이를 즉각적으로 사용하는 것에 주저하고 있다. 새로운 기술을 습득해야 하는 어려움도 있고, 오픈소스로 제공되는 하둡을 그대로 이용하기에는 안정성 및 확장성, 보안성 등에 대한 의구심도 있기 때문이다.

빅인사이트는 이런 의구심을 해소하기 위한 솔루션이라고 볼 수 있다. 오픈 소스 아파치 하둡 소프트웨어 프레임워크 상에 구축된 빅인사이트는 하둡의 일반 기능에 관리 툴, 워크플로우, 프로비저닝, 보안, SQL 기능 등을 추가했다. 여기에는 왓슨 랩에서 개발하는 알고리즘이 들어있다. 하둡 데이터를 쉽게 엑셀이나 차트로 볼 수 있는 기능나 텍스트 분석 알고리즘이 보강돼 있다.

이 실장은 “빅인사이트는 기업의 요구사항을 감당하도록 하둡 기술을 강화했다”면서 “고객은 이를 통해 개발자 및 사용자 친화적인 복잡한 대규모 분석을 위한 솔루션을 확보할 수 있다”고 강조했다.

※ 본 내용은 (주)디지털데일리(http://www.ddaily.co.kr)의 저작권 동의에 의해 공유되고 있습니다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지